Pré-registro (ciência) - Preregistration (science)

Clincal Trial Transparency , um guia de política de 2017, defende o registro

Pré - registro é a prática de registrar as hipóteses, métodos e / ou análises de um estudo científico antes de sua realização. O registro do ensaio clínico é semelhante, embora possa não exigir o registro do protocolo de análise de um estudo. Finalmente, os relatórios registrados incluem a revisão por pares e, em princípio, a aceitação de um protocolo de estudo antes da coleta de dados.

O pré-registro auxilia na identificação e / ou redução de uma variedade de práticas de pesquisa potencialmente problemáticas, incluindo p-hacking , viés de publicação , dragagem de dados , formas inadequadas de análise post hoc e (relacionado) HARKing . Recentemente, ganhou destaque na comunidade da ciência aberta como uma solução potencial para alguns dos problemas que se acredita estarem subjacentes à crise de replicação . No entanto, os críticos argumentaram que pode não ser necessário quando outras práticas de ciência aberta são implementadas.

Tipos

Pré-registro padrão

No formato de pré-registro padrão, os pesquisadores preparam um documento de protocolo de pesquisa antes de conduzir sua pesquisa. Idealmente, este documento indica as hipóteses de pesquisa, procedimento de amostragem, tamanho da amostra, desenho de pesquisa, condições de teste, estímulos, medidas, codificação de dados e método de agregação, critérios para exclusões de dados e análises estatísticas, incluindo variações potenciais sobre essas análises. Este documento de pré-registro é então postado em um site disponível publicamente, como o Open Science Framework ou AsPredicted . O estudo pré-registrado é então conduzido, e um relatório do estudo e seus resultados são submetidos para publicação junto com o acesso ao documento de pré-registro (anônimo). Esta abordagem de pré-registro permite que revisores pares e leitores subsequentes cruzem o documento de pré-registro com o artigo de pesquisa publicado, a fim de identificar (a) quaisquer testes "exploratórios" que não foram incluídos no documento de pré-registro e (b) quaisquer testes suprimidos que foram incluído no protocolo pré-registrado, mas excluído do relatório final da pesquisa.

Relatórios registrados

O formato do relatório registrado exige que os autores apresentem uma descrição dos métodos e análises do estudo antes da coleta de dados. Depois que o método e o plano de análise são examinados por meio da revisão por pares do Estágio 1, a publicação dos resultados é provisoriamente garantida. O estudo associado é então conduzido e o relatório da pesquisa é submetido à revisão por pares do Estágio 2. A revisão por pares do Estágio 2 confirma que os métodos reais de pesquisa são consistentes com o protocolo pré-registrado e que os limites de qualidade são atendidos (por exemplo, verificações de manipulação confirmam a validade da manipulação experimental). Os estudos que passam na revisão por pares do Estágio 2 são publicados independentemente de os resultados serem confirmadores ou não, significativos ou não significativos.

Portanto, tanto os relatórios de pré-registro quanto os registrados envolvem a criação de um registro público não modificável com data e hora do estudo e do plano de análise antes que os dados sejam coletados. No entanto, o plano de estudo e análise é apenas submetido a uma revisão formal por pares antes da coleta de dados no caso de relatórios registrados.

Pré-registro especializado

O pré-registro pode ser usado em relação a uma variedade de diferentes projetos e métodos de pesquisa, incluindo:

Registro de ensaio clínico

O registro de ensaios clínicos é a prática de documentar ensaios clínicos antes de serem realizados em um registro de ensaios clínicos , a fim de combater o viés de publicação e o relato seletivo . O registro de ensaios clínicos é obrigatório em alguns países e está sendo cada vez mais padronizado. Algumas das principais revistas médicas publicam apenas os resultados de ensaios que foram pré-registrados .

Um registro de ensaios clínicos é uma plataforma que cataloga os ensaios clínicos registrados. ClinicalTrials.gov , administrado pela Biblioteca Nacional de Medicina dos Estados Unidos (NLM), foi o primeiro registro online para ensaios clínicos e continua sendo o maior e mais amplamente utilizado. Além de combater o preconceito, os registros de ensaios clínicos servem para aumentar a transparência e o acesso do público aos ensaios clínicos. Os registros de ensaios clínicos são frequentemente pesquisáveis ​​(por exemplo, por doença / indicação, medicamento, local, etc.). Os ensaios são registrados pela empresa farmacêutica, de biotecnologia ou de dispositivos médicos (patrocinador) ou pelo hospital ou fundação que está patrocinando o estudo, ou por outra organização, como uma organização de pesquisa contratada (CRO) que está realizando o estudo.

Tem havido um impulso de governos e organizações internacionais, especialmente desde 2005, para tornar as informações de ensaios clínicos mais amplamente disponíveis e para padronizar registros e processos de registro. A Organização Mundial da Saúde está trabalhando para "alcançar um consenso sobre os padrões operacionais mínimos e ideais para o registro de estudos".

Criação e desenvolvimento

Por muitos anos, os cientistas e outros têm se preocupado em relatar vieses, de modo que resultados negativos ou nulos de ensaios clínicos iniciados podem ter menos probabilidade de serem publicados do que resultados positivos, distorcendo assim a literatura e nosso entendimento de como as intervenções funcionam bem. Essa preocupação é internacional e há mais de 50 anos sobre ela. Uma das propostas para lidar com esse viés potencial era um registro abrangente de ensaios clínicos iniciados, que informaria ao público quais ensaios haviam sido iniciados. As questões éticas eram as que pareciam interessar mais ao público, pois os avaliadores (incluindo aqueles com potencial ganho comercial) se beneficiavam daqueles que se inscreviam nos ensaios, mas não eram obrigados a “retribuir”, dizendo ao público o que haviam aprendido.

Aqueles que estavam particularmente preocupados com o duplo padrão eram revisores sistemáticos, aqueles que resumem o que se sabe dos ensaios clínicos. Se a literatura for distorcida, então os resultados de uma revisão sistemática também tendem a ser distorcidos, possivelmente favorecendo a intervenção do teste quando de fato os dados acumulados não mostram isso, se todos os dados fossem divulgados.

ClinicalTrials.gov foi originalmente desenvolvido em grande parte como resultado do lobby do consumidor de câncer de mama, o que levou à autorização da Lei de Modernização da FDA de 1997 (Lei de Modernização da Administração de Alimentos e Medicamentos de 1997. Pub L No. 105-115, §113 Stat 2296 ), mas a lei não previa financiamento nem mecanismo de aplicação. Além disso, a lei exigia que ClinicalTrials.gov incluísse apenas ensaios de doenças graves e potencialmente fatais.

Então, dois eventos ocorreram em 2004 que aumentaram a consciência pública sobre os problemas de viés de reportagem. Primeiro, o então procurador-geral do Estado de Nova York, Eliot Spitzer, processou a GlaxoSmithKline (GSK) porque eles não revelaram os resultados de testes que mostravam que certos antidepressivos podem ser prejudiciais.

Pouco tempo depois, o Comitê Internacional de Editores de Revistas Médicas (ICMJE) anunciou que seus periódicos não publicariam relatórios de ensaios, a menos que tivessem sido registrados. A ação do ICMJE foi provavelmente o motivador mais importante para o registro do ensaio, já que os investigadores queriam reservar a possibilidade de publicar seus resultados em periódicos de prestígio, caso desejassem.

Em 2007, a Food and Drug Administration Amendments Act de 2007 (FDAAA) esclareceu os requisitos para registro e também estabeleceu penalidades para o não cumprimento (Lei Pública 110-85. The Food and Drug Administration Amendments Act de 2007 [1] .

Participação internacional

O Comitê Internacional de Editores de Revistas Médicas (ICMJE) decidiu que, a partir de 1º de julho de 2005, nenhum ensaio será considerado para publicação, a menos que esteja incluído em um registro de ensaio clínico. A Organização Mundial da Saúde começou a impulsionar o registro de ensaios clínicos com o início da Plataforma Internacional de Registro de Ensaios Clínicos. Também houve ação da indústria farmacêutica, que divulgou planos para tornar os dados dos ensaios clínicos mais transparentes e disponíveis ao público. Lançada em outubro de 2008, a Declaração de Helsinque revisada afirma que "Todo ensaio clínico deve ser registrado em um banco de dados acessível ao público antes do recrutamento do primeiro sujeito."

A Organização Mundial da Saúde mantém um portal de registro internacional em http://apps.who.int/trialsearch/ . A OMS afirma que a missão do registro internacional é "garantir que uma visão completa da pesquisa seja acessível a todos os envolvidos na tomada de decisões em saúde. Isso melhorará a transparência da pesquisa e, em última análise, fortalecerá a validade e o valor da base de evidências científicas".

Desde 2007, o Comitê Internacional de Editores de Revistas Médicas do ICMJE aceita todos os registros primários na rede da OMS, além de clinictrials.gov. O registro de ensaios clínicos em outros registros, exceto ClinicalTrials.gov, aumentou independentemente dos desenhos de estudo desde 2014.

Conformidade de relatórios

Vários estudos mediram até que ponto vários ensaios estão em conformidade com os padrões de relatório de seu registro.

Visão geral dos registros de ensaios clínicos

Veja também: Lista de registros de ensaios clínicos

Em todo o mundo, há um número crescente de registros. Um estudo de 2013 identificou os cinco principais registros a seguir (números atualizados em agosto de 2013):

1 ClinicalTrials.gov 150.551
2 Registro da UE 21.060
3 Rede de registros do Japão (JPRN) 12.728
4 ISRCTN 11.794
5 Austrália e Nova Zelândia (ANZCTR) 8.216

Suporte de jornal

Mais de 200 periódicos oferecem uma opção de relatórios registrados ( Center for Open Science, 2019 ), e o número de periódicos que estão adotando relatórios registrados está aproximadamente dobrando a cada ano ( Chambers et al., 2019 ).

A ciência psicológica encorajou o pré-registro de estudos e o relato de tamanhos de efeito e intervalos de confiança. O editor-chefe também observou que a equipe editorial solicitará a replicação dos estudos com descobertas surpreendentes de exames usando amostras pequenas, antes de permitir que os manuscritos sejam publicados.

A Nature Human Behavior adotou o formato de relatório registrado, pois “muda a ênfase dos resultados da pesquisa para as questões que norteiam a pesquisa e os métodos utilizados para respondê-las”.

O European Journal of Personality define este formato: “Em um relatório registrado, os autores criam uma proposta de estudo que inclui antecedentes teóricos e empíricos, questões / hipóteses de pesquisa e dados piloto (se disponíveis). Após a submissão, esta proposta será então revisada antes da coleta de dados e, se aceita, o artigo resultante deste procedimento revisado por pares será publicado, independentemente dos resultados do estudo. ”

Observe que apenas uma proporção muito pequena de periódicos acadêmicos em psicologia e neurociências declararam explicitamente que aceitam submissões de estudos de replicação em seu objetivo e escopo ou instruções para os autores. Esse fenômeno não incentiva o relato ou mesmo a tentativa de estudos de replicação.

De maneira geral, o número de periódicos participantes está aumentando, conforme indica o Center for Open Science , que mantém uma lista de periódicos que incentiva a submissão de relatórios registrados.

Justificativa

Vários artigos delinearam a justificativa para o pré-registro (por exemplo, Lakens, 2019 ; Nosek et al., 2018 ; Wagenmakers et al., 2012 ). Como Rubin (2020, Tabela 1) resumiu, o pré-registro ajuda a identificar e / ou reduzir os seguintes problemas:

  1. Hipóteses e testes mal planejados
  2. HARKing : hipótese não divulgada após os resultados serem conhecidos
  3. A supressão de hipóteses a priori que produzem resultados nulos ou não confirmadores
  4. Desvios das análises planejadas
  5. Falta de clareza entre análises confirmatórias e exploratórias
  6. Teste múltiplo não divulgado
  7. Caminhos bifurcados, nos quais os pesquisadores tomam decisões sobre quais testes conduzir com base nas informações de sua amostra
  8. p -hacking : continuar a análise de dados até que umvalor p significativoseja obtido
  9. Parada opcional: repetir o mesmo teste em diferentes estágios de coleta de dados até que um resultado significativo seja obtido
  10. Uso inválido de valores de p , porque os valores de p perdem seu significado em análises exploratórias
  11. Vieses dos pesquisadores, incluindo o viés de confirmação e viés retrospectivo
  12. Relatórios seletivos de resultados: “escolha seletiva” de resultados de suporte específicos e suprimindo resultados não de suporte
  13. Gravidade do teste pouco clara, impedindo a identificação de hipóteses que têm baixa probabilidade de serem confirmadas quando são falsas
  14. Descobertas nulas não relatadas
  15. Viés de publicação : descobertas nulas não publicadas, resultando no problema de desenho de arquivo
  16. Replicabilidade potencialmente baixa , ostensivamente devido ao uso de práticas de pesquisa questionáveis ​​(por exemplo, HARKing, p -hacking, parada opcional)

Identificar questões como essas por meio de pré-registro ajuda a melhorar "a interpretabilidade e a credibilidade dos resultados da pesquisa" ( Nosek et al., 2018 , p. 2605). No entanto, Rubin (2020) argumentou que apenas algumas dessas questões são problemáticas e apenas sob algumas condições. Ele também argumentou que, quando são problemáticos, o pré-registro não é necessário para identificar essas questões. Em vez disso, eles podem ser identificados por meio de (a) justificativas claras para as hipóteses atuais e abordagens analíticas, (b) acesso público aos dados, materiais e código de pesquisa e (c) demonstrações da robustez das conclusões da pesquisa para interpretações alternativas e abordagens analíticas .

Críticas

Os defensores do pré-registro argumentaram que é "um método para aumentar a credibilidade dos resultados publicados" ( Nosek & Lakens, 2014 ), que "torna sua ciência melhor, aumentando a credibilidade de seus resultados" ( Center for Open Science ), e que "melhora a interpretabilidade e a credibilidade dos resultados da pesquisa" ( Nosek et al., 2018 , p. 2605). Este argumento pressupõe que as análises exploratórias não pré-registradas são menos "críveis" e / ou "interpretáveis" do que as análises confirmatórias pré - registradas porque podem envolver "raciocínio circular" em que as hipóteses post hoc são baseadas nos dados observados ( Nosek et al., 2018 , p. 2600). No entanto, os críticos argumentaram que o pré-registro não é necessário para identificar o raciocínio circular durante as análises exploratórias ( Rubin, 2020 ). O raciocínio circular pode ser identificado analisando o raciocínio em si, sem a necessidade de saber se esse raciocínio foi pré-registrado. Os críticos também notaram que a ideia de que o pré-registro melhora a credibilidade da pesquisa pode impedir os pesquisadores de realizar análises exploratórias não pré-registradas ( Coffman & Niederle, 2015 ; ver também Collins et al., 2021, Estudo 1 ). Em resposta, os defensores do pré-registro enfatizaram que as análises exploratórias são permitidas em estudos pré-registrados e que os resultados dessas análises retêm algum valor em relação à geração de hipóteses, em vez de testes de hipótese. O pré-registro apenas torna mais clara a distinção entre pesquisa confirmatória e exploratória ( Nosek et al., 2018 ; Nosek & Lakens, 2014 ; Wagenmakers et al., 2012 ). Portanto, embora o pré-registro deva reduzir os graus de liberdade do pesquisador durante a fase de análise de dados, também deve ser “um plano, não uma prisão” ( Dehaven, 2017 ). No entanto, os críticos argumentam que, se o pré-registro é apenas um plano, e não uma prisão, os pesquisadores devem se sentir livres para se desviar desse plano e empreender análises exploratórias sem temer acusações de baixa credibilidade de pesquisa devido ao raciocínio circular e práticas de pesquisa inadequadas. como p -hacking e testes múltiplos não relatados que levam a taxas de erro familiares inflacionadas (por exemplo, Navarro, 2020 ). Novamente, eles apontaram que o pré-registro não é necessário para tratar de tais questões. Por exemplo, preocupações sobre p- hacking e testes múltiplos não relatados podem ser resolvidas se os pesquisadores se envolverem em outras práticas de ciência aberta , como (a) dados abertos e materiais de pesquisa e (b) robustez ou análises multiverso (Rubin, 2020 ; Steegen et al ., 2016 ; para várias outras abordagens, consulte Srivastava, 2018 ). Finalmente, e mais fundamentalmente, os críticos argumentaram que a distinção entre análises confirmatórias e exploratórias não é clara e / ou irrelevante ( Devezer et al., 2020 ; Rubin, 2020 ; Szollosi & Donkin, 2019 ), e que as preocupações com taxas de erro familiares inflacionadas são injustificadas quando essas taxas de erro se referem a hipóteses abstratas e teóricas de estudo que não estão sendo testadas (Rubin, 2020 , 2021 ; Szollosi et al., 2020 ).

Também existem preocupações sobre a implementação prática do pré-registro. Muitos protocolos pré- registrados deixam muito espaço para p- hacking ( Bakker et al., 2020 ; Heirene et al., 2021 ; Ikeda et al., 2019 ; Singh et al., 2021 ), e os pesquisadores raramente seguem os métodos de pesquisa exatos e análises que eles pré-registram ( Abrams et al., 2020 ; Claesen et al., 2019 ; Heirene et al., 2021 ; ver também Boghdadly et al., 2018 ; Singh et al., 2021 ; Sun et al., 2019 ). Por exemplo, uma pesquisa de 27 estudos pré-registrados descobriu que os pesquisadores se desviaram de seus planos pré-registrados em todos os casos ( Claesen et al., 2019 ). Os desvios mais frequentes foram em relação ao tamanho da amostra planejada, critérios de exclusão e modelo estatístico. Portanto, o que se pretendia como testes confirmatórios pré-registrados acabou como testes exploratórios não planejados. Novamente, os defensores do pré-registro argumentam que desvios dos planos pré-registrados são aceitáveis, desde que sejam relatados de forma transparente e justificada. Eles também apontam que mesmo pré-registros vagos ajudam a reduzir os graus de liberdade do pesquisador e tornar qualquer flexibilidade residual transparente ( Simmons et al., 2021, p. 180 ). No entanto, os críticos argumentaram que não é útil identificar ou justificar desvios dos planos pré-registrados quando esses planos não refletem a teoria e a prática de pesquisa de alta qualidade . Como Rubin (2020) explicou, “devemos estar mais interessados ​​na justificativa para o método e análises atuais do que na justificativa para as mudanças históricas que levaram ao método e análises atuais” (pp. 378-379).

Finalmente, alguns comentaristas argumentaram que, em algumas circunstâncias, o pré-registro pode realmente prejudicar a ciência ao fornecer uma falsa sensação de credibilidade aos estudos e análises de pesquisa ( Devezer et al., 2020 ; McPhetres, 2020 ; Pham & Oh, 2020 ; Szollosi et al. ., 2020 ). Consistente com esta visão, há algumas evidências de que os pesquisadores veem os relatórios registrados como sendo mais confiáveis ​​do que os relatórios padrão em uma variedade de dimensões ( Soderberg et al., 2020 ; ver também Field et al., 2020 para evidências inconclusivas), embora seja não está claro se isso representa um "falso" senso de credibilidade devido a atitudes positivas preexistentes da comunidade sobre o pré-registro ou um efeito causal genuíno de relatórios registrados sobre a qualidade da pesquisa.

Veja também

Referências

links externos