Quem tem medo da revisão por pares? -Who's Afraid of Peer Review?

Letharia vulpina , uma das espécies de líquen que tem uma molécula inibidora do câncer em um manuscrito falso.

Quem tem medo da revisão por pares? ” É um artigo escrito pelo correspondente da Science , John Bohannon, que descreve sua investigação de revisão por pares entre periódicos de acesso aberto que cobram taxas . Entre janeiro e agosto de 2013, Bohannon submeteu artigos científicos falsos a 304 periódicos pertencentes a tantos editores de acesso aberto que cobravam taxas. Os artigos, escreve Bohannon, "foram elaborados com falhas científicas tão graves e óbvias que deveriam ter sido rejeitados imediatamente pelos editores e revisores", mas 60% dos periódicos os aceitaram. O artigo e os dados associados foram publicados na edição de 4 de outubro de 2013 da Science como acesso aberto.

Fundo

As primeiras revistas científicas de acesso aberto com cobrança de taxa começaram a aparecer em 2000 com a criação da BioMed Central e, em seguida, da Biblioteca Pública de Ciências . Em vez de obter pelo menos parte de sua receita de taxas de assinatura, as revistas de acesso aberto que cobram taxas apenas cobram dos autores (ou de seus financiadores) uma taxa de publicação . Os artigos publicados ficam então disponíveis gratuitamente na internet. Este modelo de negócio, gold open access , é uma das várias soluções pensadas para tornar sustentável a publicação em acesso aberto. O número de artigos publicados em acesso aberto, ou disponibilizados gratuitamente depois de algum tempo atrás de um acesso aberto (acesso aberto atrasado ), cresceu rapidamente. Em 2013, mais da metade dos artigos científicos publicados em 2011 estavam disponíveis gratuitamente.

Em parte por causa da baixa barreira de entrada neste mercado, bem como o rápido e potencialmente grande retorno sobre o investimento, muitos dos chamados " editores predatórios " criaram periódicos de baixa qualidade que fornecem pouca ou nenhuma revisão por pares ou controle editorial, essencialmente publicando todos os artigos submetidos, desde que a taxa de publicação seja paga. Alguns desses editores também enganam os autores sobre as taxas de publicação, usam nomes de cientistas como editores e revisores sem seu conhecimento e / ou ofuscam a verdadeira localização e identidade dos editores. A prevalência dessas editoras enganosas e o que a comunidade científica deve fazer a respeito tem sido debatida acaloradamente.

Métodos

Papéis falsos

Bohannon usou Python para criar uma "versão científica de Mad Libs ". O modelo do artigo é "Molécula X da espécie de líquen Y inibe o crescimento da célula cancerosa Z". Ele criou um banco de dados de moléculas, líquenes e células cancerosas para substituir X, Y e Z. Os dados e conclusões eram idênticos em todos os artigos. Os autores e suas afiliações também eram únicos e falsos. Todos os artigos descreviam a descoberta de um novo medicamento contra o câncer extraído de um líquen, mas os dados não apoiavam essa conclusão e os artigos apresentavam falhas intencionalmente óbvias.

Alvos do editor

Para construir uma lista abrangente de editores de acesso aberto com cobrança de taxas, Bohannon baseou-se em duas fontes: a Lista de editores predatórios de Beall e o Directory of Open Access Journals (DOAJ). Depois de filtrar ambas as listas para periódicos de acesso aberto publicados em inglês, que cobram dos autores uma taxa de publicação e que têm pelo menos um periódico médico, biológico ou químico, a lista de alvos incluiu 304 editoras: 167 do DOAJ, 121 da lista de Beall e 16 que foram listados por ambos. A investigação se concentrou inteiramente em periódicos de acesso aberto com cobrança de taxas. Bohannon não incluiu outros tipos de periódicos de acesso aberto ou periódicos por assinatura para comparação porque o tempo de resposta para revisões em periódicos tradicionais é muito longo. Consequentemente, o estudo não faz nenhuma afirmação sobre a qualidade relativa dos diferentes tipos de periódicos.

Resultados

Aceitação versus rejeição

No total, 157 dos periódicos aceitaram o artigo e 98 rejeitaram, com os outros 49 não tendo concluído sua avaliação até o momento em que Bohannon escreveu seu artigo. Dos 255 artigos que passaram por todo o processo de revisão por pares até a aceitação ou rejeição, cerca de 60% das decisões finais ocorreram sem nenhum sinal de revisão por pares real. Para rejeições, isso pode possivelmente ter refletido a filtragem no nível editorial, mas para aceitação só pode refletir um processo falho. Apenas 36 submissões geraram comentários de revisão reconhecendo qualquer um dos problemas científicos do artigo. No entanto, 16 desses 36 artigos foram aceitos, apesar das críticas ruins a contundentes. Muitos dos periódicos que aceitaram o artigo são publicados por prestigiosas instituições e editoras, incluindo Elsevier , Sage , Wolters Kluwer (por meio de sua subsidiária Medknow ) e várias universidades.

Entre os que rejeitaram o artigo estão periódicos publicados pela PLOS e Hindawi . A revisão por pares fornecida pela PLOS ONE foi considerada a mais rigorosa de todas e foi a única revista que identificou os problemas éticos do artigo , por exemplo, a falta de documentação de como os animais foram tratados na criação das linhagens de células cancerígenas.

DOAJ versus lista de Beall

Entre as editoras da lista de Beall que concluíram o processo de revisão, 82% aceitaram o artigo. Bohannon afirmou que "os resultados mostram que Beall é bom em identificar editores com controle de qualidade ruim". De acordo com Jeffrey Beall , que criou a lista, isso apóia sua afirmação de estar identificando editoras "predatórias". No entanto, os 18% restantes dos editores identificados por Beall como predatórios rejeitaram o artigo falso, fazendo com que o comunicador científico Phil Davis declarasse: "Isso significa que Beall está acusando falsamente quase um em cada cinco."

Entre os editores do DOAJ que concluíram o processo de revisão, 45% aceitaram o artigo. De acordo com comunicado publicado no site do DOAJ, novos critérios para inclusão no DOAJ estão sendo implementados.

Mapa global de fraude de jornal

Junto com o relatório, a Science publicou um mapa que mostra a localização de editoras, editores e suas contas bancárias, codificados por cores para aceitação ou rejeição do artigo. Os locais foram derivados de rastreamentos de endereços IP nos cabeçalhos brutos de e-mails, registros de WHOIS e faturas bancárias para taxas de publicação. A Índia emergiu como a maior base mundial de publicação de acesso aberto com cobrança de taxa, com 64 aceitando os artigos fatalmente falhos e apenas 15 rejeitando-os. Os Estados Unidos são a segunda maior base, com 29 editoras aceitando o jornal e 26 rejeitando-o. Na África, a Nigéria tem o maior número, dos quais 100% aceitaram o trabalho.

Respostas

Respostas de editores acadêmicos de acesso aberto

Desde que a história foi lançada, os editores de três periódicos declararam que os estão fechando. O DOAJ está revisando sua lista e instituindo critérios mais rígidos para inclusão. A Open Access Scholarly Publishers Association (OASPA) formou um comitê para investigar as circunstâncias que levaram à aceitação do artigo falso por três de seus membros. Em 11 de novembro de 2013, a OASPA encerrou a associação de duas editoras ( Dove Medical Press e Hikari Ltd.) que aceitaram o papel falso. A Sage Publications, que também aceitou um artigo falso, foi colocada "sob revisão" por 6 meses. Sage anunciou em um comunicado que estava revisando o jornal que aceitou o papel falso, mas que não iria encerrá-lo. A afiliação de Sage foi restabelecida no final do período de revisão após as mudanças nos processos editoriais da revista.

Respostas da comunidade científica

Poucas horas depois de sua publicação, a investigação da Science foi intensamente criticada por alguns apoiadores do movimento de acesso aberto.

A primeira crítica substancial foi postada pelo cofundador da PLOS, Michael Eisen, em seu blog. "Sugerir - como a Science (embora não Bohannon) está tentando fazer - que o problema com a publicação científica é que o acesso aberto permite golpes na Internet é como dizer que o problema com o sistema financeiro internacional é que ele permite golpes de transferência eletrônica nigerianos. são problemas profundos com a publicação científica. Mas a maneira de consertar isso não é restringir a publicação de acesso aberto. É consertar a revisão por pares. " Eisen apontou a ironia de um jornal baseado em assinatura como a Science publicar este relatório quando sua própria revisão por pares falhou tanto antes, como na publicação de 2010 do artigo de DNA de arsênico .

Em uma troca entre Eisen e Bohannon em uma discussão hospedada por Peter Suber , diretor do Harvard Open Access Project, Eisen criticou a investigação pela má publicidade que gerou para o movimento de acesso aberto. “Seu estudo teve como alvo exclusivo os periódicos de acesso aberto - [o que] fortemente sugeriu, quer você quisesse sugerir isso ou não, que os periódicos de acesso aberto são mais propensos a se envolver em revisões por pares de má qualidade e, portanto, mais merecedores de escrutínio”. Bohannon respondeu que essa crítica era equivalente a " atirar no mensageiro ".

Também houve muitas declarações de apoio à investigação e declarações de preocupação sobre a fraude de publicação que ela revelou. O Comitê de Ética em Publicações respondeu que "Não há dúvida de que essa 'picada' levanta uma série de questões ... embora eu argumente que não são necessariamente aquelas que a Ciência considera as principais prioridades."

Implicações

Alguns cientistas discutiram uma série de opções para tornar a revisão por pares mais transparente . Isso tornaria mais difícil manter um jornal predatório que não faz revisão por pares, porque o registro da revisão por pares estaria faltando ou precisaria ser falsificado. Outra opção é examinar os periódicos com mais rigor, por exemplo, fortalecendo ainda mais o DOAJ ou o OASPA. O DOAJ recentemente endureceu seus critérios de inclusão, com o objetivo de servir como uma lista de permissões , da mesma forma que o de Beall tem sido uma lista de proibições .

Veja também

Referências

links externos