Teste qui-quadrado - Chi-squared test

χ 2

na x -axis e p -valor (probabilidade cauda direita) na y -axis.

Um teste do Qui-quadrado , também escrito como $χ 2$ teste , é um teste de hipótese estatística que é válida para executar quando a estatística de teste é qui-quadrado distribuído sob a hipótese nula , especificamente o teste do qui-quadrado de Pearson e suas variantes. O teste qui-quadrado de Pearson é usado para determinar se há uma diferença estatisticamente significativa entre as frequências esperadas e as frequências observadas em uma ou mais categorias de uma tabela de contingência .

Nas aplicações padrão deste teste, as observações são classificadas em classes mutuamente exclusivas. Se a hipótese nula de que não há diferenças entre as classes na população for verdadeira, a estatística de teste calculada a partir das observações segue uma distribuição de frequência $χ 2$ . O objetivo do teste é avaliar a probabilidade de as frequências observadas assumirem que a hipótese nula é verdadeira.

As estatísticas de teste que seguem uma distribuição $χ 2$ ocorrem quando as observações são independentes. Existem também testes $χ 2$ para testar a hipótese nula de independência de um par de variáveis aleatórias com base nas observações dos pares.

Os testes de qui-quadrado geralmente se referem a testes para os quais a distribuição da estatística de teste se aproxima da distribuição $χ 2$ assintoticamente , o que significa que a distribuição de amostragem (se a hipótese nula for verdadeira) da estatística de teste se aproxima cada vez mais de uma distribuição de qui-quadrado conforme o tamanho da amostra aumenta.

História

No século 19, os métodos analíticos estatísticos eram aplicados principalmente na análise de dados biológicos e era costume que os pesquisadores presumissem que as observações seguiam uma distribuição normal , como Sir George Airy e o Professor Merriman , cujos trabalhos foram criticados por Karl Pearson em seu artigo de 1900 .

No final do século 19, Pearson percebeu a existência de assimetria significativa em algumas observações biológicas. Para modelar as observações independentemente de serem normais ou enviesadas, Pearson, em uma série de artigos publicados de 1893 a 1916, desenvolveu a distribuição de Pearson , uma família de distribuições de probabilidade contínuas, que inclui a distribuição normal e muitas distribuições assimétricas, e propôs um método de análise estatística que consiste em usar a distribuição de Pearson para modelar a observação e realizar um teste de qualidade de ajuste para determinar quão bem o modelo realmente se ajusta às observações.

Teste qui-quadrado de Pearson

Em 1900, Pearson publicou um artigo sobre o teste $χ 2$ , que é considerado um dos fundamentos da estatística moderna. Neste artigo, Pearson investigou um teste de adequação.

Suponha que $n$ observações em uma amostra aleatória de uma população sejam classificadas em $k$ classes mutuamente exclusivas com os respectivos números observados $x i$ (para $i = 1,2, ..., k$ ), e uma hipótese nula dá a probabilidade $p i de$ que uma observação cai para a $i$ ª classe. Portanto, temos os números esperados $m i = np i$ para todo $i$ , onde

{\ displaystyle {\ begin {alinhados} & \ sum _ {i = 1} ^ {k} {p_ {i}} = 1 \\ [8pt] & \ sum _ {i = 1} ^ {k} {m_ {i}} = n \ sum _ {i = 1} ^ {k} {p_ {i}} = n = \ sum _ {i = 1} ^ {k} {x_ {i}} \ end {alinhado} }}

Pearson propôs que, na circunstância de a hipótese nula ser correta, como $n \to \infty$ a distribuição limite da quantidade dada abaixo é a distribuição $χ 2$ .

{\ displaystyle X ^ {2} = \ sum _ {i = 1} ^ {k} {\ frac {(x_ {i} -m_ {i}) ^ {2}} {m_ {i}}} = \ soma _ {i = 1} ^ {k} {{\ frac {x_ {i} ^ {2}} {m_ {i}}} - n}}

Pearson lidou primeiro com o caso em que os números esperados $m i$ são números conhecidos grandes o suficiente em todas as células, assumindo que todo $x i$ pode ser considerado como normalmente distribuído , e alcançou o resultado de que, no limite conforme $n$ se torna grande, $X 2$ segue o Distribuição $χ 2$ com $k - 1$ grau de liberdade.

No entanto, Pearson considerou a seguir o caso em que os números esperados dependiam dos parâmetros que deveriam ser estimados a partir da amostra e sugeriu que, com a notação de $m i$ sendo os verdadeiros números esperados e $m' i$ sendo os números estimados esperados, a diferença

{\ displaystyle X ^ {2} - {X '} ^ {2} = \ sum _ {i = 1} ^ {k} {\ frac {x_ {i} ^ {2}} {m_ {i}}} - \ sum _ {i = 1} ^ {k} {\ frac {x_ {i} ^ {2}} {m '_ {i}}}}

geralmente será positivo e pequeno o suficiente para ser omitido. Em uma conclusão, Pearson argumentou que se considerássemos $X' 2$ também distribuído como distribuição $χ 2$ com $k - 1$ graus de liberdade, o erro nesta aproximação não afetaria as decisões práticas. Esta conclusão causou alguma controvérsia em aplicações práticas e não foi decidida por 20 anos até os artigos de Fisher de 1922 e 1924.

Outros exemplos de testes qui-quadrado

Uma estatística de teste que segue uma distribuição qui-quadrada exatamente é o teste de que a variância de uma população normalmente distribuída tem um determinado valor com base em uma variância da amostra . Esses testes são incomuns na prática porque a verdadeira variância da população geralmente é desconhecida. No entanto, existem vários testes estatísticos em que a distribuição qui-quadrado é aproximadamente válida:

Teste exato de Fisher

Para obter um teste exato usado no lugar do teste qui-quadrado 2 × 2 para independência, consulte o teste exato de Fisher .

Teste binomial

Para obter um teste exato usado no lugar do teste qui-quadrado 2 × 1 para qualidade de ajuste, consulte Teste binomial .

Outros testes qui-quadrado

Teste qui-quadrado de Cochran – Mantel – Haenszel .
Teste de McNemar , usado em certas tabelas 2 × 2 com emparelhamento
Teste de aditividade de Tukey
O teste de portmanteau na análise de série temporal , testando a presença de autocorrelação
Testes de razão de verossimilhança em modelagem estatística geral , para testar se há evidência da necessidade de passar de um modelo simples para um mais complicado (onde o modelo simples está aninhado no complicado).

Correção de Yates para continuidade

Usar a distribuição qui-quadrado para interpretar a estatística qui-quadrado de Pearson exige que se assuma que a probabilidade discreta de frequências binomiais observadas na tabela pode ser aproximada pela distribuição qui-quadrada contínua . Essa suposição não é totalmente correta e introduz alguns erros.

Para reduzir o erro de aproximação, Frank Yates sugeriu uma correção para continuidade que ajusta a fórmula do teste qui-quadrado de Pearson subtraindo 0,5 da diferença absoluta entre cada valor observado e seu valor esperado em uma tabela de contingência 2 × 2 . Isso reduz o valor qui-quadrado obtido e, portanto, aumenta seu valor p .

Teste de qui-quadrado para variância em uma população normal

Se uma amostra de tamanho $n$ for retirada de uma população com distribuição normal , então há um resultado (ver distribuição da variância da amostra ) que permite que seja feito um teste para verificar se a variância da população tem um valor pré-determinado. Por exemplo, um processo de fabricação pode ter estado em condição estável por um longo período, permitindo que um valor para a variação seja determinado essencialmente sem erro. Suponha que uma variante do processo esteja sendo testada, dando origem a uma pequena amostra de $n$ itens de produto cuja variação deve ser testada. A estatística de teste $T$ , neste caso, pode ser definida como a soma dos quadrados sobre a média da amostra, dividida pelo valor nominal da variância (ou seja, o valor a ser testado como sustentação). Então $T$ tem uma distribuição qui-quadrada com $n - 1$ grau de liberdade . Por exemplo, se o tamanho da amostra for 21, a região de aceitação para $T$ com um nível de significância de 5% está entre 9,59 e 34,17.

Exemplo de teste qui-quadrado para dados categóricos

Suponhamos que haja uma cidade de 1.000.000 residentes com quatro bairros: $A$ , $B$ , $C$ , e $D$ . Uma amostra aleatória de 650 residentes da cidade é retirada e sua ocupação é registrada como "colarinho branco", "colarinho azul" ou "sem colarinho" . A hipótese nula é que o bairro de residência de cada pessoa independe da classificação ocupacional da pessoa. Os dados são tabulados como:

	$UMA$	$B$	$C$	$D$	total
colarinho branco	90	60	104	95	349
Colarinho azul	30	50	51	20	151
Sem coleira	30	40	45	35	150
Total	150	150	200	150	650

Tomemos o exemplo vivo no bairro $A$ , 150, para estimar qual a proporção de toda a 1.000.000 vivo no bairro $A$ . Da mesma forma nós pegamos349/650para estimar qual proporção dos 1.000.000 são trabalhadores de colarinho branco. Supondo a independência sob a hipótese, devemos "esperar" que o número de trabalhadores de colarinho branco no bairro $A$ seja

{\ displaystyle 150 \ times {\ frac {349} {650}} \ aproximadamente 80,54}

Então, nessa "célula" da mesa, temos

{\ displaystyle {\ frac {\ left ({\ text {observado}} - {\ text {esperado}} \ right) ^ {2}} {\ text {esperado}}} = {\ frac {\ left (90 -80,54 \ direita) ^ {2}} {80,54}} \ aproximadamente 1,11}

A soma dessas quantidades sobre todas as células é a estatística de teste; neste caso ,. Sob a hipótese nula, esta soma tem aproximadamente uma distribuição qui-quadrada, cujo número de graus de liberdade é ${\ displaystyle \ aproximadamente 24,6}$

{\ displaystyle ({\ text {número de linhas}} - 1) ({\ text {número de colunas}} - 1) = (3-1) (4-1) = 6}

Se a estatística de teste for improvávelmente grande de acordo com a distribuição qui-quadrada, rejeitar-se-á a hipótese nula de independência.

Um problema relacionado é um teste de homogeneidade. Suponha que, em vez de dar a cada residente de cada um dos quatro bairros uma chance igual de inclusão na amostra, decidamos com antecedência quantos residentes de cada bairro incluir. Então, cada residente tem a mesma chance de ser escolhido que todos os residentes do mesmo bairro, mas residentes de bairros diferentes teriam diferentes probabilidades de serem escolhidos se os quatro tamanhos de amostra não fossem proporcionais às populações dos quatro bairros. Nesse caso, estaríamos testando a "homogeneidade" em vez da "independência". A questão é se as proporções de trabalhadores de colarinho azul, colarinho branco e não colarinho nos quatro bairros são as mesmas. No entanto, o teste é feito da mesma maneira.

Formulários

Na criptoanálise , o teste do qui-quadrado é usado para comparar a distribuição do texto simples e (possivelmente) do texto criptografado . O valor mais baixo do teste significa que a descriptografia foi bem-sucedida com alta probabilidade. Este método pode ser generalizado para resolver problemas criptográficos modernos.

Em bioinformática , o teste qui-quadrado é usado para comparar a distribuição de certas propriedades de genes (por exemplo, conteúdo genômico, taxa de mutação, agrupamento de rede de interação, etc.) pertencentes a diferentes categorias (por exemplo, genes de doenças, genes essenciais, genes em um determinado cromossomo, etc.).

Veja também

Referências

Leitura adicional

Weisstein, Eric W. "Teste Qui-Quadrado" . MathWorld .
Corder, GW; Foreman, DI (2014), Nonparametric Statistics: A Step-by-Step Approach , Nova York: Wiley, ISBN 978-1118840313
Greenwood, Cindy ; Nikulin, MS (1996), A guide to chi-squared testing , New York: Wiley, ISBN 0-471-55779-X
Nikulin, MS (1973), "Teste de Qui-quadrado de normalidade", Proceedings of the International Vilnius Conference on Probability Theory and Mathematical Statistics , 2 , pp. 119-122
Bagdonavicius, V .; Nikulin, MS (2011), "Qui-quadrado goodness-of-fit test for right censored data" , The International Journal of Applied Mathematics and Statistics , pp. 30-50

Languages

In other projects