Altmetria - Altmetrics

Este artigo é sobre métricas alternativas de impacto acadêmico. Não deve ser confundido com métricas no nível do artigo .
Parte de uma série sobre
Métricas de citação
O logotipo original do Manifesto Altmetrics.

Em publicações acadêmicas e científicas, altmetria é bibliometria não tradicional proposta como alternativa ou complemento a métricas de impacto de citação mais tradicionais , como fator de impacto e índice h . O termo altmetria foi proposto em 2010, como uma generalização da métrica em nível de artigo , e tem suas raízes na hashtag #altmetrics . Embora altmetrics sejam frequentemente considerados métricas sobre artigos, eles podem ser aplicados a pessoas, jornais, livros, conjuntos de dados, apresentações, vídeos, repositórios de código-fonte, páginas da web, etc. Altmetrics usam APIs públicas em plataformas para reunir dados com scripts abertos e algoritmos. A Altmetrics originalmente não cobria contagens de citações , mas calculava o impacto acadêmico com base em diversos resultados de pesquisa online, como mídia social, mídia de notícias online, gerenciadores de referência online e assim por diante. Ele demonstra o impacto e a composição detalhada do impacto. A Altmetria pode ser aplicada a filtros de pesquisa, dossiês de promoção e estabilidade, pedidos de bolsas e para classificar artigos recém-publicados em mecanismos de busca acadêmicos .

Adoção

O desenvolvimento da web 2.0 mudou a busca e o compartilhamento de publicações de pesquisa dentro ou fora da academia, mas também oferece novas construções inovadoras para medir o amplo impacto científico do trabalho acadêmico. Embora as métricas tradicionais sejam úteis, elas podem ser insuficientes para medir os impactos imediatos e não citados, especialmente fora do domínio da revisão por pares.

Projetos como ImpactStory e várias empresas, incluindo Altmetric e Plum Analytics estão calculando altmetria. Vários editores começaram a fornecer essas informações aos leitores, incluindo BioMed Central , Public Library of Science (PLOS) , Frontiers , Nature Publishing Group e Elsevier .

Em 2008, o Journal of Medical Internet Research começou a coletar sistematicamente tweets sobre seus artigos. A partir de março de 2009, a Public Library of Science também introduziu métricas no nível do artigo para todos os artigos. Os financiadores começaram a mostrar interesse em métricas alternativas, incluindo o Conselho de Pesquisa Médica do Reino Unido. Altmetrics têm sido usados ​​em aplicativos para revisão de promoção por pesquisadores. Além disso, várias universidades, incluindo a Universidade de Pittsburgh, estão experimentando altmetria em nível de instituto.

No entanto, também é observado que um artigo precisa de pouca atenção para saltar para o quartil superior de artigos classificados, sugerindo que não há fontes de altmetria suficientes atualmente disponíveis para dar uma imagem equilibrada do impacto para a maioria dos artigos.

Importante na determinação do impacto relativo de um papel, um serviço que calcula estatísticas altmétricas precisa de uma base de conhecimento de tamanho considerável. A tabela a seguir mostra a quantidade de artigos atendidos por serviços (a partir de 2016):

Local na rede Internet Número de papéis
Plum Analytics ~ 29,7 milhões
Altmetric.com ~ 27,6 milhões
ImpactStory ~ 1 milhão

Categorias

Altmetria é um grupo muito amplo de métricas, capturando várias partes do impacto que um papel ou trabalho pode ter. Uma classificação de altmetria foi proposta pela ImpactStory em setembro de 2012, e uma classificação muito semelhante é usada pela Public Library of Science:

  • Visualizado - visualizações de HTML e downloads de PDF
  • Discutido - comentários de jornais, blogs de ciência, Wikipedia, Twitter, Facebook e outras mídias sociais
  • Salvo - Mendeley , CiteULike e outros favoritos sociais
  • Citado - citações na literatura acadêmica, rastreadas por Web of Science , Scopus , CrossRef e outros
  • Recomendado - por exemplo, usado por F1000Prime

Visto

Uma das primeiras métricas alternativas a serem utilizadas foi o número de visualizações de um artigo. Tradicionalmente, um autor desejaria publicar em um periódico com alta taxa de assinaturas, de forma que muitas pessoas teriam acesso à pesquisa. Com a introdução das tecnologias da web, tornou-se possível contar com que frequência um único artigo foi consultado. Normalmente, os editores contam o número de visualizações em HTML e visualizações em PDF. Já em 2004, o BMJ publicou o número de visualizações de seus artigos, que foi considerado um tanto correlacionado com as citações.

Discutido

A discussão de um artigo pode ser vista como uma métrica que captura o impacto potencial de um artigo. Fontes típicas de dados para calcular essa métrica incluem páginas do Facebook , Google+ , Twitter , blogs de ciência e Wikipedia. Alguns pesquisadores consideram as menções nas redes sociais como citações. Por exemplo, as citações em uma plataforma de mídia social podem ser divididas em duas categorias: internas e externas. Por exemplo, o primeiro inclui retuítes, o último se refere a tweets contendo links para documentos externos. A correlação entre as menções e curtidas e a citação da literatura científica primária foi estudada e, na melhor das hipóteses, uma pequena correlação foi encontrada, por exemplo, para artigos no PubMed . Em 2008, o Journal of Medical Internet Research começou a publicar opiniões e tweets . Esses "tweetações" mostraram-se um bom indicador de artigos bastante citados, levando o autor a propor um "fator Twimpact", que é o número de Tweets que recebe nos primeiros sete dias de publicação, bem como um Twindex, que é o percentil de classificação do fator Twimpact de um artigo. No entanto, se estiver implementando o uso do fator Twimpact, a pesquisa mostra que as pontuações são altamente específicas ao assunto e, como resultado, as comparações dos fatores Twimpact devem ser feitas entre artigos da mesma área de assunto. É necessário notar que, embora pesquisas anteriores na literatura tenham demonstrado uma correlação entre tweetations e citações, não é uma relação causal. No momento, não está claro se as citações mais altas ocorrem como resultado da maior atenção da mídia via Twitter e outras plataformas, ou simplesmente refletem a qualidade do próprio artigo.

Uma pesquisa recente conduzida no nível individual, ao invés do nível do artigo, apóia o uso do Twitter e das plataformas de mídia social como um mecanismo para aumentar o valor do impacto. Os resultados indicam que os pesquisadores cujo trabalho é mencionado no Twitter apresentam índices h significativamente mais elevados do que os pesquisadores cujo trabalho não foi mencionado no Twitter. O estudo destaca o papel do uso de plataformas baseadas em discussão, como o Twitter, a fim de aumentar o valor das métricas de impacto tradicionais.

Além do Twitter e outros fluxos, o blog tem se mostrado uma plataforma poderosa para discutir literatura. Existem várias plataformas que controlam quais artigos estão sendo publicados em blogs. Altmetric.com usa essas informações para calcular métricas, enquanto outras ferramentas apenas relatam onde a discussão está acontecendo, como ResearchBlogging e Chemical blogspace.

Recomendado

As plataformas podem até fornecer uma maneira formal de classificar artigos ou recomendar artigos de outra forma, como o Corpo Docente de 1000 .

Salvou

Também é informativo quantificar o número de vezes que uma página foi salva ou marcada. Acredita-se que os indivíduos normalmente escolhem marcar páginas que têm alta relevância para seu próprio trabalho e, como resultado, os marcadores podem ser um indicador adicional de impacto para um estudo específico. Os fornecedores dessas informações incluem serviços de favoritos sociais específicos da ciência , como CiteULike e Mendeley .

Citado

A categoria citada é uma definição restrita, diferente da discussão. Além das métricas tradicionais baseadas em citações na literatura científica, como as obtidas no Google Scholar , CrossRef , PubMed Central e Scopus , as altmétricas também adotam citações em fontes secundárias de conhecimento. Por exemplo, ImpactStory conta o número de vezes que um artigo foi referenciado pela Wikipedia. Plum Analytics também fornece métricas para várias publicações acadêmicas, buscando rastrear a produtividade da pesquisa. PLOS também é uma ferramenta que pode ser usada para utilizar informações sobre o engajamento.

Interpretação

Embora haja menos consenso sobre a validade e consistência da altmetria, a interpretação da altmetria em particular é discutida. Os defensores da altmetria deixam claro que muitas das métricas mostram atenção ou envolvimento, em vez da qualidade dos impactos no progresso da ciência. Mesmo as métricas baseadas em citações não indicam se uma pontuação alta implica um impacto positivo na ciência; ou seja, os artigos também são citados em artigos que discordam do artigo citado, uma questão abordada, por exemplo, pelo projeto Citation Typing Ontology.

A altmetria pode ser interpretada de forma mais adequada, fornecendo contexto detalhado e dados qualitativos. Por exemplo, para avaliar a contribuição científica de um trabalho acadêmico para a formulação de políticas por altmetria, dados qualitativos, como quem está citando online e até que ponto a citação online é relevante para a formulação de políticas, devem ser fornecidos como evidência.

Em relação à correlação relativamente baixa entre métricas tradicionais e altmétricas, altmetria pode medir perspectivas complementares do impacto escolar. É razoável combinar e comparar os dois tipos de métricas na interpretação dos impactos sociais e científicos. Os pesquisadores construíram uma estrutura 2 * 2 com base nas interações entre altmetria e citações tradicionais. Explicações adicionais devem ser fornecidas para os dois grupos com altmetria alta / citações baixas e altmetria baixa / citações altas. Assim, a altmetria fornece abordagens convenientes para pesquisadores e instituições monitorarem o impacto de seus trabalhos e evitar interpretações inadequadas.

Controvérsia

A utilidade das métricas para estimar o impacto científico é controversa. A pesquisa descobriu que o buzz online pode amplificar o efeito de outras formas de divulgação sobre o impacto científico dos pesquisadores. Para os nanocientistas mencionados no Twitter, suas interações com repórteres e não cientistas previram de forma positiva e significativa um índice h mais alto, enquanto o grupo não mencionado falhou. Altmetrics expande a medição do impacto acadêmico para conter uma compreensão rápida, uma gama mais ampla de públicos e diversos resultados de pesquisa. Além disso, a comunidade mostra uma necessidade clara: os financiadores exigem mensuráveis ​​sobre o impacto de seus gastos, como o engajamento público.

No entanto, existem limitações que afetam a utilidade devido a problemas de técnica e viés sistemático de construção, como qualidade de dados, heterogeneidade e dependências particulares. Em termos de problemas técnicos, os dados podem estar incompletos, porque é difícil coletar esses resultados de pesquisa online sem links diretos para suas menções (ou seja, vídeos) e identificar diferentes versões de um trabalho de pesquisa. Além disso, se a API leva a dados ausentes não foi resolvido.

Quanto ao viés sistemático, como outras métricas, altmétricas são propensas a autocitação, jogos e outros mecanismos para aumentar o impacto aparente de alguém. Altmetrics podem ser jogados : por exemplo, gostos e menções podem ser comprados. A altmetria pode ser mais difícil de padronizar do que as citações. Um exemplo é o número de tweets vinculados a um jornal, onde o número pode variar amplamente, dependendo de como os tweets são coletados. Além disso, a popularidade online pode não ser igual a valores científicos. Algumas citações online populares podem estar longe do valor de gerar novas descobertas de pesquisa, enquanto algumas pesquisas teóricas ou direcionadas a minorias de grande importância relacionada à ciência podem ser marginalizadas online. Por exemplo, os principais artigos tuitados em biomedicina em 2011 eram relevantes para conteúdo curioso ou engraçado, aplicações em potencial para a saúde e catástrofe.

A altmetria para artigos mais recentes pode ser maior devido à crescente aceitação da web social e porque os artigos podem ser mencionados principalmente quando são publicados. Como resultado, pode não ser justo comparar as pontuações altmétricas dos artigos, a menos que tenham sido publicados em um momento semelhante. Os pesquisadores desenvolveram um teste de sinal para evitar o viés de consumo, comparando as métricas de um artigo com os dois artigos publicados imediatamente antes e depois dele.

Deve-se ter em mente que as métricas são apenas um dos resultados do rastreamento de como a pesquisa é disseminada e usada. A altmetria deve ser interpretada cuidadosamente para superar o viés. Ainda mais informativo do que saber com que frequência um artigo é citado, é quais artigos o estão citando. Essas informações permitem que os pesquisadores vejam como seu trabalho está impactando o campo (ou não). Provedores de métricas também fornecem acesso às informações a partir das quais as métricas foram calculadas. Por exemplo, Web of Science mostra quais são os artigos citados, ImpactStory mostra quais páginas da Wikipedia estão fazendo referência ao artigo e CitedIn mostra quais bancos de dados extraíram dados do artigo.

Outra preocupação da altmetria, ou qualquer métrica, é como as universidades ou instituições estão usando métricas para classificar seus funcionários nas decisões de promoção ou financiamento, e o objetivo deve ser limitado a medir o engajamento.

A produção geral da pesquisa online é muito pequena e variada entre as diferentes disciplinas. O fenômeno pode ser consistente com o uso de mídia social entre cientistas. Pesquisas mostraram que quase metade dos entrevistados manteve atitudes ambivalentes sobre a influência da mídia social no impacto acadêmico e nunca anunciou seu trabalho de pesquisa nas redes sociais. Com a mudança de mudança na ciência aberta e no uso de mídia social, a altmetria consistente entre disciplinas e instituições será mais provavelmente adotada.

Pesquisa em andamento

Os casos de uso e características específicos são um campo ativo de pesquisa em bibliometria , fornecendo dados muito necessários para medir o impacto da própria altmetria. A Public Library of Science possui uma coleção Altmetrics e tanto o Information Standards Quarterly quanto o Aslib Journal of Information Management publicaram recentemente edições especiais sobre altmetria. Uma série de artigos que revisam extensivamente a altmetria foi publicada no final de 2015.

Existem outras pesquisas examinando a validade de uma altmetria ou fazendo comparações entre diferentes plataformas. Os pesquisadores examinam a correlação entre altmetria e citações tradicionais como teste de validade. Eles assumem que a correlação positiva e significativa revela a precisão da altmetria para medir o impacto científico como citações. A baixa correlação (menos de 0,30) leva à conclusão de que a altmetria desempenha um papel complementar na medição do impacto escolar, como o estudo de Lamba (2020), que examinou 2.343 artigos com pontuações de atenção altmétrica e citações publicadas por 22 professores de políticas básicas de saúde membros da Harvard Medical School e uma correlação positiva forte significativa (r> 0,4) foi observada entre os escores de atenção altmétrica classificados agregados e citações classificadas / valores de citação aumentados para todos os membros do corpo docente no estudo. No entanto, ainda não foi resolvido quais altmétricas são mais valiosas e qual grau de correlação entre duas métricas gera um impacto mais forte na medição. Além disso, o próprio teste de validade também enfrenta alguns problemas técnicos. Por exemplo, a replicação da coleta de dados é impossível devido aos algoritmos de mudança instantânea dos provedores de dados.

Veja também

Referências

links externos