Meta-análise - Meta-analysis

Resumo gráfico de uma meta-análise de mais de 1.000 casos de glioma pontino intrínseco difuso e outros gliomas pediátricos, nos quais as informações sobre as mutações envolvidas, bem como os resultados genéricos, foram destiladas da literatura primária subjacente .

Uma meta-análise é uma análise estatística que combina os resultados de vários estudos científicos . As meta-análises podem ser realizadas quando há vários estudos científicos abordando a mesma questão, com cada estudo individual relatando medições que devem ter algum grau de erro. O objetivo, então, é usar abordagens de estatísticas para derivar uma estimativa agrupada mais próxima da verdade comum desconhecida com base em como esse erro é percebido.

As metanálises podem não apenas fornecer uma estimativa da verdade comum desconhecida, mas também tem a capacidade de contrastar os resultados de diferentes estudos e identificar padrões entre os resultados do estudo, fontes de discordância entre esses resultados ou outras relações interessantes que podem vir à luz com múltiplos estudos.

No entanto, ao realizar uma meta-análise, um investigador deve fazer escolhas que podem afetar os resultados, incluindo decidir como pesquisar estudos, selecionar estudos com base em um conjunto de critérios objetivos, lidar com dados incompletos, analisar os dados e contabilizar ou escolher não levar em conta o viés de publicação . As chamadas de julgamento feitas na conclusão de uma meta-análise podem afetar os resultados. Por exemplo, Wanous e colegas examinaram quatro pares de meta-análises sobre os quatro tópicos de (a) desempenho no trabalho e relação de satisfação, (b) visualizações realistas do trabalho, (c) correlatos de conflito e ambigüidade de papéis, e (d) o trabalho relação de satisfação e absenteísmo, e ilustrou como vários julgamentos feitos pelos pesquisadores produziram resultados diferentes.

As meta-análises são frequentemente, mas nem sempre, componentes importantes de um procedimento de revisão sistemática . Por exemplo, uma meta-análise pode ser conduzida em vários ensaios clínicos de um tratamento médico, em um esforço para obter uma melhor compreensão de como o tratamento funciona bem. Aqui é conveniente seguir a terminologia usada pela Colaboração Cochrane e usar "meta-análise" para se referir a métodos estatísticos de combinação de evidências, deixando outros aspectos de ' síntese de pesquisa ' ou 'síntese de evidência', como a combinação de informações qualitativas estudos, para o contexto mais geral de revisões sistemáticas. Uma meta-análise é uma fonte secundária .

História

As raízes históricas da meta-análise podem ser rastreadas até os estudos de astronomia do século 17, enquanto um artigo publicado em 1904 pelo estatístico Karl Pearson no British Medical Journal que reuniu dados de vários estudos de inoculação de febre tifóide é visto como a primeira vez que um abordagem meta-analítica foi usada para agregar os resultados de vários estudos clínicos. A primeira meta-análise de todos os experimentos conceitualmente idênticos relativos a uma questão de pesquisa específica, e conduzida por pesquisadores independentes, foi identificada como a publicação de livro de 1940 Extrasensory Perception After Sixty Years , de autoria dos psicólogos da Duke University JG Pratt , JB Rhine e associados. Isso englobou uma revisão de 145 relatórios sobre experimentos de ESP publicados de 1882 a 1939, e incluiu uma estimativa da influência de artigos não publicados no efeito geral (o problema da gaveta de arquivos ). O termo "meta-análise" foi cunhado em 1976 pelo estatístico Gene V. Glass , que afirmou "meu maior interesse atualmente é o que passamos a chamar ... a meta-análise da pesquisa. O termo é um pouco grandioso , mas é preciso e adequado ... Meta-análise refere-se à análise de análises ” . Embora isso o tenha levado a ser amplamente reconhecido como o fundador moderno do método, a metodologia por trás do que ele chamou de "meta-análise" antecede seu trabalho em várias décadas. A teoria estatística em torno da meta-análise foi bastante avançada pelo trabalho de Nambury S. Raju , Larry V. Hedges , Harris Cooper, Ingram Olkin , John E. Hunter , Jacob Cohen , Thomas C. Chalmers , Robert Rosenthal , Frank L. Schmidt , John E. Hunter e Douglas G. Bonett. Em 1992, a meta-análise foi aplicada pela primeira vez a questões ecológicas por Jessica Gurevitch, que usou a meta-análise para estudar a competição em experimentos de campo.

Etapas em uma meta-análise

Uma meta-análise é geralmente precedida por uma revisão sistemática, pois isso permite a identificação e avaliação crítica de todas as evidências relevantes (limitando assim o risco de viés nas estimativas resumidas). As etapas gerais são as seguintes:

  1. Formulação da questão de pesquisa, por exemplo, usando o modelo PICO (População, Intervenção, Comparação, Resultado).
  2. Busca de literatura
  3. Seleção de estudos ('critérios de incorporação')
    1. Com base em critérios de qualidade, por exemplo, o requisito de randomização e mascaramento em um ensaio clínico
    2. Seleção de estudos específicos sobre um assunto bem especificado, por exemplo, o tratamento do câncer de mama.
    3. Decida se estudos não publicados serão incluídos para evitar viés de publicação ( problema na gaveta do arquivo )
  4. Decida quais variáveis ​​dependentes ou medidas de resumo são permitidas. Por exemplo, ao considerar uma meta-análise de dados publicados (agregados):
    • Diferenças (dados discretos)
    • Meios (dados contínuos)
    • Hedges ' g é uma medida de resumo popular para dados contínuos que é padronizada a fim de eliminar diferenças de escala, mas incorpora um índice de variação entre os grupos:
      1. em que é a média do tratamento, é a média do controle, a variância combinada.
  5. Seleção de um modelo de meta-análise, por exemplo, efeito fixo ou meta-análise de efeitos aleatórios.
  6. Examine as fontes de heterogeneidade entre os estudos , por exemplo, usando análise de subgrupo ou meta-regressão .

A orientação formal para a conduta e relato de meta-análises é fornecida pelo Cochrane Handbook .

Para obter as diretrizes de relatório, consulte a declaração de Itens de Relatório Preferidos para Revisões Sistemáticas e Meta-análises (PRISMA).

Métodos e suposições

Abordagens

Em geral, dois tipos de evidência podem ser distinguidos ao realizar uma meta-análise: dados individuais do participante (IPD) e dados agregados (AD). Os dados agregados podem ser diretos ou indiretos.

AD está mais comumente disponível (por exemplo, na literatura) e normalmente representa estimativas resumidas, como odds ratios ou riscos relativos. Isso pode ser sintetizado diretamente em estudos conceitualmente semelhantes usando várias abordagens (veja abaixo). Por outro lado, os dados indiretos agregados medem o efeito de dois tratamentos que foram comparados com um grupo de controle semelhante em uma meta-análise. Por exemplo, se o tratamento A e o tratamento B foram comparados diretamente vs placebo em meta-análises separadas, podemos usar esses dois resultados agrupados para obter uma estimativa dos efeitos de A vs B em uma comparação indireta como efeito A vs Placebo menos efeito B vs Placebo.

As evidências de IPD representam dados brutos coletados pelos centros de estudo. Essa distinção levantou a necessidade de diferentes métodos meta-analíticos quando a síntese de evidências é desejada e levou ao desenvolvimento de métodos de um e dois estágios. Nos métodos de um estágio, a IPD de todos os estudos é modelada simultaneamente, enquanto contabiliza o agrupamento de participantes nos estudos. Os métodos de dois estágios calculam primeiro as estatísticas de resumo para AD de cada estudo e, em seguida, calculam as estatísticas gerais como uma média ponderada das estatísticas do estudo. Ao reduzir o IPD para AD, os métodos de dois estágios também podem ser aplicados quando o IPD está disponível; isso os torna uma escolha atraente ao realizar uma meta-análise. Embora se acredite convencionalmente que os métodos de um e dois estágios produzam resultados semelhantes, estudos recentes têm mostrado que eles podem ocasionalmente levar a conclusões diferentes.

Modelos estatísticos para dados agregados

Evidência direta: modelos que incorporam apenas efeitos de estudo

Modelo de efeitos fixos

O modelo de efeito fixo fornece uma média ponderada de uma série de estimativas de estudo. O inverso da variância das estimativas é comumente usado como peso do estudo, de modo que estudos maiores tendem a contribuir mais do que estudos menores para a média ponderada. Consequentemente, quando os estudos dentro de uma meta-análise são dominados por um estudo muito grande, os resultados de estudos menores são praticamente ignorados. Mais importante, o modelo de efeitos fixos assume que todos os estudos incluídos investigam a mesma população, usam a mesma variável e definições de resultados, etc. Essa suposição é tipicamente irrealista, pois a pesquisa é frequentemente sujeita a várias fontes de heterogeneidade ; por exemplo, os efeitos do tratamento podem diferir de acordo com o local, os níveis de dosagem, as condições do estudo, ...

Modelo de efeitos aleatórios

Um modelo comum usado para sintetizar pesquisas heterogêneas é o modelo de efeitos aleatórios da meta-análise. Esta é simplesmente a média ponderada dos tamanhos de efeito de um grupo de estudos. O peso que é aplicado neste processo de média ponderada com uma meta-análise de efeitos aleatórios é alcançado em duas etapas:

  1. Etapa 1: ponderação de variância inversa
  2. Etapa 2: Retirada da ponderação dessa ponderação de variância inversa aplicando um componente de variância de efeitos aleatórios (REVC) que é simplesmente derivado da extensão da variabilidade dos tamanhos de efeito dos estudos subjacentes.

Isso significa que quanto maior essa variabilidade nos tamanhos de efeito (também conhecido como heterogeneidade ), maior será a não ponderação e isso pode chegar a um ponto em que o resultado da meta-análise de efeitos aleatórios se torna simplesmente o tamanho do efeito médio não ponderado entre os estudos. No outro extremo, quando todos os tamanhos de efeito são semelhantes (ou a variabilidade não excede o erro de amostragem), nenhum REVC é aplicado e os padrões da meta-análise de efeitos aleatórios são simplesmente uma meta-análise de efeito fixo (apenas ponderação de variância inversa).

A extensão dessa reversão depende exclusivamente de dois fatores:

  1. Heterogeneidade de precisão
  2. Heterogeneidade do tamanho do efeito

Visto que nenhum desses fatores indica automaticamente um estudo maior defeituoso ou estudos menores mais confiáveis, a redistribuição dos pesos sob este modelo não terá uma relação com o que esses estudos realmente podem oferecer. Na verdade, foi demonstrado que a redistribuição de pesos é simplesmente em uma direção de estudos maiores para menores, à medida que a heterogeneidade aumenta até que, eventualmente, todos os estudos tenham o mesmo peso e não seja possível mais redistribuição. Outro problema com o modelo de efeitos aleatórios é que os intervalos de confiança mais comumente usados ​​geralmente não retêm sua probabilidade de cobertura acima do nível nominal especificado e, portanto, subestimam substancialmente o erro estatístico e são potencialmente confiantes em suas conclusões. Várias correções foram sugeridas, mas o debate continua. Uma outra preocupação é que o efeito médio do tratamento às vezes pode ser ainda menos conservador em comparação com o modelo de efeito fixo e, portanto, enganoso na prática. Uma correção interpretativa que foi sugerida é criar um intervalo de predição em torno da estimativa de efeitos aleatórios para retratar a gama de possíveis efeitos na prática. No entanto, uma suposição por trás do cálculo de tal intervalo de predição é que os ensaios são considerados entidades mais ou menos homogêneas e que as populações de pacientes incluídas e os tratamentos de comparação devem ser considerados trocáveis ​​e isso geralmente é inatingível na prática.

O método mais amplamente utilizado para estimar a variância entre os estudos (REVC) é a abordagem DerSimonian-Laird (DL). Existem várias técnicas iterativas avançadas (e computacionalmente caras) para calcular a variância entre os estudos (como máxima verossimilhança, perfil de verossimilhança e métodos de máxima verossimilhança restrita) e modelos de efeitos aleatórios usando esses métodos podem ser executados no Stata com o comando metaan. O comando metaan deve ser diferenciado do comando metan clássico ("a" único) no Stata que usa o estimador DL. Esses métodos avançados também foram implementados em um complemento gratuito e fácil de usar do Microsoft Excel, o MetaEasy. No entanto, uma comparação entre esses métodos avançados e o método DL de calcular a variância entre os estudos demonstrou que há pouco a ganhar e o DL é bastante adequado na maioria dos cenários.

No entanto, a maioria das metanálises inclui entre 2 e 4 estudos e essa amostra é mais frequentemente do que inadequada para estimar com precisão a heterogeneidade . Assim, parece que em pequenas meta-análises, um zero incorreto entre a estimativa de variância do estudo é obtido, levando a uma falsa suposição de homogeneidade. No geral, parece que a heterogeneidade está sendo consistentemente subestimada em meta-análises e análises de sensibilidade nas quais altos níveis de heterogeneidade são assumidos podem ser informativos. Esses modelos de efeitos aleatórios e pacotes de software mencionados acima se referem a metanálises de estudo agregado e os pesquisadores que desejam realizar metanálises de dados de pacientes individuais (IPD) precisam considerar abordagens de modelagem de efeitos mistos.

Modelo IVhet

Doi & Barendregt trabalhando em colaboração com Khan, Thalib e Williams (da University of Queensland, University of Southern Queensland e Kuwait University), criaram uma alternativa baseada em quase verossimilhança de variância inversa (IVhet) para o modelo de efeitos aleatórios (RE) para o qual os detalhes estão disponíveis online. Isso foi incorporado ao MetaXL versão 2.0, um suplemento gratuito do Microsoft Excel para meta-análise produzido pela Epigear International Pty Ltd e disponibilizado em 5 de abril de 2014. Os autores afirmam que uma vantagem clara deste modelo é que ele resolve os dois principais problemas do modelo de efeitos aleatórios. A primeira vantagem do modelo IVhet é que a cobertura permanece no nível nominal (geralmente 95%) para o intervalo de confiança, ao contrário do modelo de efeitos aleatórios que cai na cobertura com o aumento da heterogeneidade. A segunda vantagem é que o modelo IVhet mantém os pesos da variância inversa dos estudos individuais, ao contrário do modelo RE, que dá aos pequenos estudos mais peso (e, portanto, aos estudos maiores menos) com o aumento da heterogeneidade. Quando a heterogeneidade se torna grande, os pesos do estudo individual sob o modelo RE tornam-se iguais e, portanto, o modelo RE retorna uma média aritmética em vez de uma média ponderada. Este efeito colateral do modelo RE não ocorre com o modelo IVhet que, portanto, difere da estimativa do modelo RE em duas perspectivas: Estimativas agrupadas irão favorecer ensaios maiores (em oposição a penalizar ensaios maiores no modelo RE) e terão uma confiança intervalo que permanece dentro da cobertura nominal sob incerteza (heterogeneidade). Doi & Barendregt sugerem que, embora o modelo RE forneça um método alternativo de agrupar os dados do estudo, seus resultados de simulação demonstram que o uso de um modelo de probabilidade mais especificado com suposições insustentáveis, como com o modelo RE, não necessariamente fornece melhores resultados. O último estudo também relata que o modelo IVhet resolve os problemas relacionados à subestimação do erro estatístico, cobertura insuficiente do intervalo de confiança e maior MSE visto com o modelo de efeitos aleatórios e os autores concluem que os pesquisadores devem, doravante, abandonar o uso do modelo de efeitos aleatórios em meta-análise. Embora seus dados sejam convincentes, as ramificações (em termos da magnitude dos resultados positivos espúrios no banco de dados da Cochrane) são enormes e, portanto, aceitar essa conclusão requer uma confirmação independente cuidadosa. A disponibilidade de um software livre (MetaXL) que executa o modelo IVhet (e todos os outros modelos para comparação) facilita isso para a comunidade de pesquisa.

Provas diretas: modelos que incorporam informações adicionais

Modelo de efeitos de qualidade

Doi e Thalib originalmente introduziram o modelo de efeitos de qualidade. Eles introduziram uma nova abordagem para o ajuste da variabilidade entre estudos, incorporando a contribuição da variância devido a um componente relevante (qualidade), além da contribuição da variância devido ao erro aleatório que é usado em qualquer modelo de meta-análise de efeitos fixos para gerar pesos para cada estudo. A força da meta-análise de efeitos de qualidade é que ela permite que a evidência metodológica disponível seja usada sobre os efeitos aleatórios subjetivos e, assim, ajuda a fechar a lacuna prejudicial que se abriu entre a metodologia e a estatística na pesquisa clínica. Para fazer isso, uma variância de polarização sintética é calculada com base nas informações de qualidade para ajustar os pesos da variância inversa e o peso ajustado de qualidade do i ésimo estudo é introduzido. Esses pesos ajustados são então usados ​​na meta-análise. Em outras palavras, se o estudo i é de boa qualidade e outros estudos são de baixa qualidade, uma proporção de seus pesos ajustados de qualidade é matematicamente redistribuída para o estudo i, dando-lhe mais peso em relação ao tamanho do efeito geral. À medida que os estudos se tornam cada vez mais semelhantes em termos de qualidade, a redistribuição torna-se progressivamente menor e cessa quando todos os estudos são de qualidade igual (no caso de qualidade igual, o modelo de efeitos de qualidade é padronizado para o modelo IVhet - consulte a seção anterior). Uma avaliação recente do modelo de efeitos de qualidade (com algumas atualizações) demonstra que, apesar da subjetividade da avaliação de qualidade, o desempenho (MSE e variação real sob simulação) é superior ao alcançável com o modelo de efeitos aleatórios. Este modelo, portanto, substitui as interpretações insustentáveis ​​que abundam na literatura e um software está disponível para explorar mais este método.

Evidência indireta: métodos de meta-análise de rede

Uma meta-análise de rede analisa comparações indiretas. Na imagem, A foi analisado em relação a C e C foi analisado em relação a b. No entanto, a relação entre A e B é conhecida apenas indiretamente, e uma meta-análise de rede examina tais evidências indiretas de diferenças entre métodos e intervenções usando método estatístico.

Os métodos de meta-análise de comparação indireta (também chamados de meta-análises de rede, em particular quando vários tratamentos são avaliados simultaneamente) geralmente usam duas metodologias principais. Em primeiro lugar, é o método de Bucher, que é uma comparação única ou repetida de um loop fechado de três tratamentos, de modo que um deles seja comum aos dois estudos e forme o nó onde o loop começa e termina. Portanto, várias comparações dois por dois (loops de 3 tratamentos) são necessárias para comparar vários tratamentos. Esta metodologia requer que os ensaios com mais de dois braços tenham apenas dois braços selecionados, pois são necessárias comparações independentes de pares. A metodologia alternativa usa modelagem estatística complexa para incluir os testes de braço múltiplo e comparações simultaneamente entre todos os tratamentos concorrentes. Estes foram executados usando métodos bayesianos, modelos lineares mistos e abordagens de meta-regressão.

Estrutura bayesiana

Especificar um modelo de meta-análise de rede Bayesiana envolve escrever um modelo de gráfico acíclico direcionado (DAG) para software de cadeia de Markov de uso geral Monte Carlo (MCMC), como WinBUGS. Além disso, distribuições anteriores devem ser especificadas para vários parâmetros e os dados devem ser fornecidos em um formato específico. Juntos, o DAG, os antecedentes e os dados formam um modelo hierárquico bayesiano. Para complicar ainda mais as coisas, por causa da natureza da estimativa MCMC, valores iniciais superdispersos devem ser escolhidos para uma série de cadeias independentes para que a convergência possa ser avaliada. Atualmente, não existe um software que gere automaticamente esses modelos, embora existam algumas ferramentas para auxiliar no processo. A complexidade da abordagem Bayesiana limitou o uso desta metodologia. A metodologia para a automação desse método foi sugerida, mas requer que os dados de resultados no nível do braço estejam disponíveis, e isso geralmente não está disponível. Às vezes, grandes afirmações são feitas para a capacidade inerente da estrutura bayesiana de lidar com meta-análise de rede e sua maior flexibilidade. No entanto, esta escolha de implementação de framework para inferência, bayesiana ou frequentista, pode ser menos importante do que outras escolhas em relação à modelagem de efeitos (ver discussão sobre modelos acima).

Estrutura multivariada freqüentista

Por outro lado, os métodos multivariados frequentistas envolvem aproximações e suposições que não são declaradas explicitamente ou verificadas quando os métodos são aplicados (ver discussão sobre modelos de meta-análise acima). Por exemplo, o pacote mvmeta para Stata permite meta-análise de rede em uma estrutura frequentista. No entanto, se não houver um comparador comum na rede, isso deve ser tratado aumentando o conjunto de dados com braços fictícios com alta variância, o que não é muito objetivo e requer uma decisão sobre o que constitui uma variância suficientemente alta. A outra questão é o uso do modelo de efeitos aleatórios tanto nesta estrutura frequentista quanto na estrutura bayesiana. Senn aconselha os analistas a serem cautelosos ao interpretar a análise de 'efeitos aleatórios', uma vez que apenas um efeito aleatório é permitido, mas pode-se imaginar muitos. Senn prossegue, dizendo que é bastante ingênuo, mesmo no caso em que apenas dois tratamentos estão sendo comparados, assumir que a análise de efeitos aleatórios é responsável por toda a incerteza sobre como os efeitos podem variar de um ensaio para outro. Modelos mais novos de meta-análise, como os discutidos acima, certamente ajudariam a aliviar essa situação e foram implementados na próxima estrutura.

Estrutura de modelagem em pares generalizada

Uma abordagem que tem sido tentada desde o final da década de 1990 é a implementação da análise de ciclo fechado de três tratamentos múltiplos. Isso não é popular porque o processo se torna rapidamente opressor à medida que a complexidade da rede aumenta. O desenvolvimento nesta área foi então abandonado em favor dos métodos freqüentistas bayesianos e multivariados que surgiram como alternativas. Muito recentemente, a automação do método de circuito fechado de três tratamentos foi desenvolvida para redes complexas por alguns pesquisadores como uma forma de tornar essa metodologia disponível para a comunidade de pesquisa convencional. Esta proposta restringe cada tentativa a duas intervenções, mas também apresenta uma solução alternativa para várias tentativas de braço: um nó de controle fixo diferente pode ser selecionado em diferentes execuções. Ele também utiliza métodos robustos de meta-análise para que muitos dos problemas destacados acima sejam evitados. Mais pesquisas em torno dessa estrutura são necessárias para determinar se isso é de fato superior às estruturas frequentistas bayesianas ou multivariadas. Os pesquisadores que desejam experimentar têm acesso a esse framework por meio de um software livre.

Meta-análise sob medida

Outra forma de informação adicional vem da configuração pretendida. Se a configuração desejada para a aplicação dos resultados da meta-análise for conhecida, então pode ser possível usar os dados da configuração para adaptar os resultados, produzindo assim uma 'meta-análise personalizada'. Isso foi usado em meta-análises de precisão de teste, onde o conhecimento empírico da taxa de teste positivo e a prevalência foram usados ​​para derivar uma região no espaço Receiver Operating Characteristic (ROC) conhecida como uma 'região aplicável'. Os estudos são então selecionados para a configuração de destino com base na comparação com esta região e agregados para produzir uma estimativa resumida que é ajustada para a configuração de destino.

Agregando IPD e AD

A meta-análise também pode ser aplicada para combinar IPD e AD. Isso é conveniente quando os pesquisadores que conduzem a análise têm seus próprios dados brutos ao coletar dados agregados ou resumidos da literatura. O modelo de integração generalizada (GIM) é uma generalização da meta-análise. Permite que o modelo ajustado aos dados individuais do participante (IPD) seja diferente dos usados ​​para calcular os dados agregados (AD). O GIM pode ser visto como um método de calibração de modelo para integrar informações com mais flexibilidade.

Validação de resultados de meta-análise

A estimativa da meta-análise representa uma média ponderada entre os estudos e, quando há heterogeneidade, isso pode fazer com que a estimativa resumida não seja representativa dos estudos individuais. A avaliação qualitativa dos estudos primários usando ferramentas estabelecidas pode revelar potenciais vieses, mas não quantifica o efeito agregado desses vieses na estimativa resumida. Embora o resultado da meta-análise possa ser comparado com um estudo primário prospectivo independente, essa validação externa é frequentemente impraticável. Isso levou ao desenvolvimento de métodos que exploram uma forma de validação cruzada leave-one-out , às vezes referida como validação cruzada interna-externa (IOCV). Aqui, cada um dos k estudos incluídos, por sua vez, é omitido e comparado com a estimativa resumida derivada da agregação dos k-1 estudos restantes. Uma estatística de validação geral , Vn baseada em IOCV, foi desenvolvida para medir a validade estatística dos resultados da meta-análise. Para a precisão e predição dos testes, principalmente quando há efeitos multivariados, outras abordagens que buscam estimar o erro de predição também têm sido propostas.

Desafios

Uma meta-análise de vários pequenos estudos nem sempre prediz os resultados de um único grande estudo. Alguns argumentaram que uma fraqueza do método é que as fontes de viés não são controladas pelo método: uma boa meta-análise não pode corrigir um design ou viés pobre nos estudos originais. Isso significaria que apenas estudos metodologicamente sólidos deveriam ser incluídos em uma meta-análise, uma prática chamada de 'síntese da melhor evidência'. Outros meta-analistas incluiriam estudos mais fracos e adicionariam uma variável preditora em nível de estudo que reflete a qualidade metodológica dos estudos para examinar o efeito da qualidade do estudo no tamanho do efeito. No entanto, outros têm argumentado que uma abordagem melhor é preservar as informações sobre a variância na amostra do estudo, lançando uma rede tão ampla quanto possível, e que os critérios de seleção metodológica introduzem subjetividade indesejada, frustrando o propósito da abordagem.

Viés de publicação: o problema da gaveta do arquivo

Um gráfico de funil esperado sem o problema da gaveta do arquivo. Os maiores estudos convergem na ponta, enquanto estudos menores mostram uma dispersão mais ou menos simétrica na base
Um gráfico de funil esperado com o problema da gaveta do arquivo. Os maiores estudos ainda se agrupam em torno da ponta, mas o preconceito contra a publicação de estudos negativos fez com que os estudos menores como um todo tivessem um resultado injustificadamente favorável à hipótese

Outra armadilha potencial é a confiança no corpo disponível de estudos publicados, o que pode criar resultados exagerados devido ao viés de publicação , uma vez que estudos que mostram resultados negativos ou insignificantes têm menos probabilidade de serem publicados. Por exemplo, sabe-se que as empresas farmacêuticas ocultam estudos negativos e os pesquisadores podem ter negligenciado estudos não publicados, como estudos de dissertação ou resumos de conferências que não chegaram a ser publicados. Isso não é facilmente resolvido, pois não se pode saber quantos estudos não foram relatados.

Este problema de gaveta de arquivo (caracterizado por resultados negativos ou não significativos sendo guardados em um armário), pode resultar em uma distribuição enviesada de tamanhos de efeito, criando uma falácia de taxa de base séria , em que a importância dos estudos publicados é superestimada, como outros estudos não foram submetidos para publicação ou foram rejeitados. Isso deve ser considerado seriamente ao interpretar os resultados de uma meta-análise.

A distribuição dos tamanhos do efeito pode ser visualizada com um gráfico de funil que (em sua versão mais comum) é um gráfico de dispersão do erro padrão versus o tamanho do efeito. Faz uso do fato de que os estudos menores (portanto, erros-padrão maiores) têm mais dispersão da magnitude do efeito (sendo menos precisos) enquanto os estudos maiores têm menos dispersão e formam a ponta do funil. Se muitos estudos negativos não foram publicados, os estudos positivos restantes dão origem a um gráfico de funil em que a base é inclinada para um lado (assimetria do gráfico de funil). Em contraste, quando não há viés de publicação, o efeito dos estudos menores não tem razão para ser desviado para um lado e, portanto, resulta em um gráfico de funil simétrico. Isso também significa que, se nenhum viés de publicação estiver presente, não haverá relação entre o erro padrão e o tamanho do efeito. Uma relação negativa ou positiva entre o erro padrão e o tamanho do efeito implicaria que estudos menores que encontraram efeitos em apenas uma direção tinham maior probabilidade de serem publicados e / ou submetidos para publicação.

Além do gráfico de funil visual, métodos estatísticos para detectar viés de publicação também foram propostos. Eles são controversos porque normalmente têm baixo poder de detecção de viés, mas também podem gerar falsos positivos em algumas circunstâncias. Por exemplo, pequenos efeitos de estudo (estudos menores tendenciosos), em que existem diferenças metodológicas entre estudos menores e maiores, podem causar assimetria nos tamanhos de efeito que se assemelham ao viés de publicação. No entanto, os efeitos de pequenos estudos podem ser igualmente problemáticos para a interpretação de meta-análises, e o imperativo é que os autores meta-analíticos investiguem as fontes potenciais de viés.

Um método tandem para analisar o viés de publicação foi sugerido para eliminar problemas de erros falsos positivos. Este método Tandem consiste em três etapas. Primeiramente, calcula-se o N fail-safe de Orwin, para verificar quantos estudos devem ser adicionados a fim de reduzir a estatística de teste a um tamanho trivial. Se esse número de estudos for maior que o número de estudos utilizados na metanálise, é sinal de que não há viés de publicação, pois, nesse caso, são necessários muitos estudos para reduzir o tamanho do efeito. Em segundo lugar, pode-se fazer um teste de regressão de Egger, que testa se o gráfico do funil é simétrico. Como mencionado antes: um gráfico de funil simétrico é um sinal de que não há viés de publicação, pois o tamanho do efeito e o tamanho da amostra não são dependentes. Em terceiro lugar, pode-se fazer o método trim-and-fill, que imputa dados se o gráfico de funil for assimétrico.

O problema do viés de publicação não é trivial, pois sugere-se que 25% das metanálises nas ciências psicológicas podem ter sofrido de viés de publicação. No entanto, o baixo poder dos testes existentes e os problemas com a aparência visual do gráfico do funil permanecem um problema, e as estimativas de viés de publicação podem permanecer mais baixas do que o que realmente existe.

A maioria das discussões sobre o viés de publicação concentra-se nas práticas dos periódicos que favorecem a publicação de descobertas estatisticamente significativas. No entanto, práticas de pesquisa questionáveis, como retrabalhar modelos estatísticos até que a significância seja alcançada, também podem favorecer achados estatisticamente significativos em apoio às hipóteses dos pesquisadores.

Problemas relacionados a estudos que não relatam efeitos não estatisticamente significativos

Os estudos geralmente não relatam os efeitos quando eles não atingem significância estatística. Por exemplo, eles podem simplesmente dizer que os grupos não apresentaram diferenças estatisticamente significativas, sem relatar qualquer outra informação (por exemplo, uma estatística ou valor de p). A exclusão desses estudos levaria a uma situação semelhante ao viés de publicação, mas sua inclusão (assumindo efeitos nulos) também enviesaria a meta-análise. MetaNSUE, um método criado por Joaquim Radua , tem mostrado permitir aos pesquisadores incluir esses estudos de forma imparcial. Suas etapas são as seguintes:

Problemas relacionados com a abordagem estatística

Outros pontos fracos são que não foi determinado se o método estatisticamente mais preciso para combinar resultados são os modelos fixos, IVhet, aleatórios ou de efeito de qualidade, embora a crítica contra o modelo de efeitos aleatórios esteja crescendo devido à percepção de que os novos efeitos aleatórios ( usados ​​na meta-análise) são dispositivos essencialmente formais para facilitar a suavização ou redução e a previsão pode ser impossível ou desaconselhada. O principal problema com a abordagem de efeitos aleatórios é que ela usa o pensamento estatístico clássico de gerar um "estimador de compromisso" que torna os pesos próximos ao estimador naturalmente ponderado se a heterogeneidade entre os estudos for grande, mas perto do estimador ponderado de variância inversa se estiver entre a heterogeneidade do estudo é pequena. No entanto, o que foi ignorado é a distinção entre o modelo que escolhemos para analisar um determinado conjunto de dados e o mecanismo pelo qual os dados surgiram . Um efeito aleatório pode estar presente em qualquer uma dessas funções, mas as duas funções são bastante distintas. Não há razão para pensar que o modelo de análise e o mecanismo de geração de dados (modelo) são semelhantes na forma, mas muitos subcampos da estatística desenvolveram o hábito de assumir, para teoria e simulações, que o mecanismo de geração de dados (modelo) é idêntico ao modelo de análise que escolhemos (ou gostaríamos que outros escolhessem). Como um mecanismo hipotético para produzir os dados, o modelo de efeito aleatório para meta-análise é bobo e é mais apropriado pensar neste modelo como uma descrição superficial e algo que escolhemos como uma ferramenta analítica - mas esta escolha para meta-análise pode não funciona porque os efeitos do estudo são uma característica fixa da respectiva meta-análise e a distribuição de probabilidade é apenas uma ferramenta descritiva.

Problemas decorrentes de preconceito orientado pela agenda

A falha mais grave na meta-análise geralmente ocorre quando a pessoa ou pessoas que fazem a meta-análise têm uma agenda econômica , social ou política , como a aprovação ou derrota de legislação . Pessoas com esse tipo de agenda podem estar mais propensas a abusar da meta-análise devido a preconceitos pessoais . Por exemplo, pesquisadores favoráveis ​​à agenda do autor provavelmente terão seus estudos escolhidos a dedo, enquanto os desfavoráveis ​​serão ignorados ou rotulados como "não confiáveis". Além disso, os próprios autores preferidos podem ser tendenciosos ou pagos para produzir resultados que apóiem ​​seus objetivos políticos, sociais ou econômicos gerais, por exemplo, selecionando pequenos conjuntos de dados favoráveis ​​e não incorporando conjuntos maiores de dados desfavoráveis. A influência de tais vieses nos resultados de uma meta-análise é possível porque a metodologia da meta-análise é altamente maleável.

Um estudo de 2011 feito para divulgar possíveis conflitos de interesses em estudos de pesquisa subjacentes usados ​​para meta-análises médicas revisou 29 meta-análises e descobriu que conflitos de interesses nos estudos subjacentes às meta-análises raramente eram divulgados. As 29 meta-análises incluíram 11 de periódicos de medicina geral, 15 de periódicos de medicina especializada e três do Cochrane Database of Systematic Reviews . As 29 meta-análises revisaram um total de 509 ensaios clínicos randomizados (RCTs). Destes, 318 RCTs relataram fontes de financiamento, com 219 (69%) recebendo financiamento da indústria (ou seja, um ou mais autores com vínculos financeiros com a indústria farmacêutica). Dos 509 RCTs, 132 relataram revelações de conflito de interesses do autor, com 91 estudos (69%) revelando um ou mais autores com vínculos financeiros com a indústria. A informação foi, no entanto, raramente refletida nas meta-análises. Apenas dois (7%) relataram fontes de financiamento de RCT e nenhum relatou vínculos entre o autor e a indústria de RCT. Os autores concluíram que "sem o reconhecimento do COI devido ao financiamento da indústria ou laços financeiros da indústria do autor de RCTs incluídos nas meta-análises, a compreensão dos leitores e a avaliação das evidências da meta-análise podem ser comprometidas."

Por exemplo, em 1998, um juiz federal dos EUA descobriu que a Agência de Proteção Ambiental dos Estados Unidos abusou do processo de meta-análise para produzir um estudo alegando riscos de câncer para não fumantes devido à fumaça ambiental do tabaco (ETS) com a intenção de influenciar os legisladores para aprovar leis anti-fumo no local de trabalho. O juiz considerou que:

A seleção de estudos da EPA é preocupante. Primeiro, há evidências no registro que apóiam a acusação de que a EPA "escolheu" seus dados. Sem critérios para agrupar estudos em uma meta-análise, o tribunal não pode determinar se a exclusão de estudos com probabilidade de refutar a hipótese a priori da EPA foi coincidência ou intencional. Em segundo lugar, a exclusão de quase metade dos estudos disponíveis pela EPA entra em conflito direto com o propósito proposto pela EPA de analisar os estudos epidemiológicos e conflita com as Diretrizes de Avaliação de Risco da EPA. Ver Avaliação de Risco ETS em 4-29 ("Esses dados também devem ser examinados no interesse de pesar todas as evidências disponíveis , conforme recomendado pelas diretrizes de avaliação de risco de carcinógeno da EPA (US EPA, 1986a) (ênfase adicionada)). Terceiro, a seletiva da EPA o uso de dados conflita com a Lei de Pesquisa de Radon. A Lei declara que o programa da EPA deve "reunir dados e informações sobre todos os aspectos da qualidade do ar interno" (Lei de Pesquisa de Radon § 403 (a) (1)) (ênfase adicionada).

Como resultado do abuso, o tribunal anulou os Capítulos 1–6 e os Apêndices dos "Efeitos do Tabagismo Passivo na Saúde Respiratória: Câncer de Pulmão e outras Desordens" da EPA.

Padrões de inclusão fracos levam a conclusões enganosas

As meta-análises em educação muitas vezes não são restritivas o suficiente no que diz respeito à qualidade metodológica dos estudos que incluem. Por exemplo, estudos que incluem pequenas amostras ou medidas feitas por pesquisadores levam a estimativas inflacionadas do tamanho do efeito.

Aplicações na ciência moderna

A meta-análise estatística moderna faz mais do que apenas combinar os tamanhos de efeito de um conjunto de estudos usando uma média ponderada. Ele pode testar se os resultados dos estudos mostram mais variação do que a variação que é esperada devido à amostragem de diferentes números de participantes da pesquisa. Além disso, as características do estudo, como instrumento de medição usado, amostra da população ou aspectos do projeto dos estudos, podem ser codificados e usados ​​para reduzir a variância do estimador (consulte os modelos estatísticos acima). Assim, algumas deficiências metodológicas nos estudos podem ser corrigidas estatisticamente. Outros usos de métodos meta-analíticos incluem o desenvolvimento e validação de modelos de predição clínica, onde a meta-análise pode ser usada para combinar dados de participantes individuais de diferentes centros de pesquisa e para avaliar a generalização do modelo, ou mesmo para agregar modelos de predição existentes.

A meta-análise pode ser feita com projetos de assunto único , bem como projetos de pesquisa em grupo. Isso é importante porque muitas pesquisas foram feitas com projetos de pesquisa de sujeito único . Existe uma disputa considerável para a técnica meta-analítica mais apropriada para a pesquisa de um único assunto.

A meta-análise leva a uma mudança de ênfase de estudos únicos para estudos múltiplos. Ele enfatiza a importância prática do tamanho do efeito em vez da significância estatística dos estudos individuais. Essa mudança de pensamento foi denominada "pensamento meta-analítico". Os resultados de uma meta-análise são freqüentemente mostrados em um gráfico de floresta .

Os resultados dos estudos são combinados usando diferentes abordagens. Uma abordagem freqüentemente usada em meta-análises em pesquisas de saúde é denominada ' método de variância inversa '. O tamanho médio do efeito em todos os estudos é calculado como uma média ponderada , em que os pesos são iguais à variância inversa do estimador de efeito de cada estudo. Estudos maiores e estudos com menos variação aleatória recebem maior peso do que estudos menores. Outras abordagens comuns incluem o método de Mantel-Haenszel e o método de Peto .

O mapeamento d baseado em sementes (anteriormente assinado mapeamento diferencial, SDM) é uma técnica estatística para estudos de meta-análise sobre as diferenças na atividade ou estrutura do cérebro que usaram técnicas de neuroimagem, como fMRI, VBM ou PET.

Diferentes técnicas de alto rendimento, como microarrays, têm sido usadas para entender a expressão do gene . Os perfis de expressão de microRNA foram usados ​​para identificar microRNAs expressos diferencialmente em células ou tipos de tecidos específicos ou condições de doença ou para verificar o efeito de um tratamento. Uma meta-análise de tais perfis de expressão foi realizada para derivar novas conclusões e para validar os resultados conhecidos.

Veja também

Referências

Leitura adicional

links externos