Efeito de olhar para outro lugar - Look-elsewhere effect

O efeito de olhar para outro lugar é um fenômeno na análise estatística de experimentos científicos em que uma observação aparentemente estatisticamente significativa pode ter surgido por acaso, devido ao tamanho do espaço de parâmetros a ser pesquisado.

Uma vez que a possibilidade de erro de olhar para outro lugar em uma análise é reconhecida, ela pode ser compensada pela aplicação cuidadosa de técnicas matemáticas padrão.

Mais conhecido nas estatísticas como o problema das comparações múltiplas , o termo ganhou alguma atenção da mídia em 2011, no contexto da busca pelo bóson de Higgs no Large Hadron Collider .

Usar

Artigo principal: correção de Bonferroni

Muitos testes estatísticos fornecem um valor p , a probabilidade de que um dado resultado possa ser obtido por acaso, assumindo que a hipótese que se busca provar é de fato falsa. Ao perguntar " X afeta Y ?", É comum variar X e ver se há variação significativa em Y como resultado. Se este valor de p for menor do que algum limiar de significância estatística predeterminado α , considera-se o resultado "significativo".

No entanto, se alguém estiver realizando vários testes ("procurando em outro lugar" se o primeiro teste falhar), espera-se que um valor p de 1 / n ocorra uma vez a cada n testes. Por exemplo, quando não há efeito real, um evento com p  <0,05 ainda ocorrerá uma vez, em média, a cada 20 testes realizados. Para compensar isso, você pode dividir seu limite α pelo número de testes n , portanto, um resultado é significativo quando p < α / n . Ou, equivalentemente, multiplique o valor de p observado pelo número de testes (significativo quando np < α ).

Este é um caso simplificado; o número n é, na verdade, o número de graus de liberdade nos testes ou o número de testes efetivamente independentes. Se eles não forem totalmente independentes, o número pode ser inferior ao número de testes.

O efeito de olhar para outro lugar é uma causa frequente de "inflação de significância" quando o número de testes independentes n é subestimado porque os testes reprovados não são publicados. Um artigo pode deixar de mencionar as hipóteses alternativas consideradas, ou um artigo que não produz nenhum resultado pode simplesmente não ser publicado, levando a periódicos dominados por dados discrepantes estatísticos.

Exemplos

  • Um estudo sueco em 1992 tentou determinar se as linhas de força causavam ou não algum tipo de efeito prejudicial à saúde. Os pesquisadores entrevistaram todos que viviam em um raio de 300 m de linhas de alta tensão ao longo de um período de 25 anos e procuraram aumentos estatisticamente significativos nas taxas de mais de 800 doenças. O estudo descobriu que a incidência de leucemia infantil era quatro vezes maior entre aqueles que viviam perto das linhas de força, e isso estimulou chamadas à ação por parte do governo sueco. O problema com a conclusão, entretanto, é que eles não conseguiram compensar o efeito de olhar para outro lugar; em qualquer coleção de 800 amostras aleatórias, é provável que pelo menos uma tenha pelo menos 3 desvios-padrão acima do valor esperado, apenas por acaso. Os estudos subsequentes não conseguiram mostrar nenhuma ligação entre as linhas de força e a leucemia infantil, nem na causa nem na correlação.
  • O fenômeno do Código da Bíblia pretende encontrar agrupamentos significativos atípicos de palavras que predizem eventos futuros ocultos no texto da Bíblia Hebraica tomada como uma sequência bruta de letras não espaçadas e organizadas em várias grades de proporções diferentes. No entanto, como um artigo da Skeptical Inquirer demonstrou, isso equivale a gerar um grande número de grades para examinar padrões ou agrupamentos, dividindo a string de texto completa em larguras de algumas a centenas de milhares de letras, repetindo a largura para as linhas subsequentes . Cada uma dessas muitas grades pode, então, por sua vez, ser pesquisada em busca de uma ampla gama de palavras de interesse, saltando em intervalos, para frente ou para trás, de um x letras arbitrárias no texto (ou x + 1, x + 2, etc. ), em um produto cruzado maciço de possibilidades parametrizadas , e uma palavra de interesse coincidente associada pode ser qualquer string próxima em um salto arbitrário de x + k ou y + k letras, para frente ou para trás, de modo que os volumes permutacionais se tornem enormes. Assim, deixando de lado questões relacionadas como viés de confirmação , mesmo se nenhum agrupamento de interesse ou significância foi encontrado na primeira grade, a próxima iteração pode ser tentada por computador e assim por diante em massa até que agrupamentos "milagrosos" ou "improváveis" sejam finalmente obtidos no. Na verdade, isso equivale a, ao lidar com uma mão de pôquer desinteressante , continuar a fazê-lo nas grandes quantidades necessárias até obter um straight flush , royal flush ou mesmo muitos eventos em sequência, e chamar o deck inspirado para permitir tal um resultado. O autor do Skeptical Inquirer foi, portanto, capaz de alcançar efeitos idênticos simplesmente aplicando os mesmos algoritmos de pesquisa tanto ao texto da Bíblia King James em inglês no lugar da versão hebraica supostamente divinamente inspirada, e então com a mesma eficácia ao texto de exemplo mundano e arbitrário de a decisão da Suprema Corte dos Estados Unidos de 1987 , Edwards v. Aguillard .
  • A história em quadrinhos "Significant" do XKCD fornece um bom exemplo fictício desse problema.

Veja também

Referências

links externos