Resíduo estudentizado - Studentized residual

Parte de uma série sobre
Análise de regressão
Modelos
Regressão linear Regressão simples Regressão polinomial Modelo linear geral
Modelo linear generalizado Escolha discreta Regressão binomial Regressão binária Regressão logística Logit multinomial Logit misto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinível Efeitos fixos Efeitos aleatórios Modelo linear de efeitos mistos Modelo não linear de efeitos mistos
Regressão não linear Não paramétrico Semiparamétrico Robusto Quantil Isotônico Componentes principais Ângulo mínimo Local Segmentado
Erros em variáveis
Estimativa
Mínimos quadrados Linear Não linear
Comum Pesada Generalizado
Parcial Total Não negativo Regressão de cume Regularizado
Desvios mínimos absolutos Reponderado iterativamente Bayesiano Multivariada bayesiana
fundo
Validação de regressão Resposta média e prevista Erros e residuais Qualidade de ajuste Resíduo estudantizado Teorema de Gauss-Markov
Portal de matemática
v t e

Em estatística , um resíduo estudentizado é o quociente resultante da divisão de um resíduo por uma estimativa de seu desvio padrão . É uma forma de Student t -statistic , com a estimativa de erro variando entre os pontos.

Esta é uma técnica importante na detecção de outliers . Está entre vários nomeados em homenagem a William Sealey Gosset , que escreveu sob o pseudônimo de Estudante . A divisão de uma estatística por um desvio padrão amostral é chamada de estudentização, em analogia com a padronização e a normalização .

Motivação

A principal razão para a estudentização é que, na análise de regressão de uma distribuição multivariada , as variâncias dos resíduos em diferentes valores de variáveis ​​de entrada podem diferir, mesmo se as variâncias dos erros nesses diferentes valores de variáveis ​​de entrada forem iguais. A questão é a diferença entre erros e resíduos nas estatísticas , particularmente o comportamento dos resíduos nas regressões.

Considere o modelo de regressão linear simples

${\ displaystyle Y = \ alpha _ {0} + \ alpha _ {1} X + \ varepsilon. \,}$

Dada uma amostra aleatória ( X _i ,  Y _i ), i  = 1, ...,  n , cada par ( X _i ,  Y _i ) satisfaz

${\ displaystyle Y_ {i} = \ alpha _ {0} + \ alpha _ {1} X_ {i} + \ varepsilon _ {i}, \,}$

onde os erros , são independentes e todos têm a mesma variância . Os resíduos não são os erros verdadeiros, mas sim estimativas , com base nos dados observáveis. Quando o método dos mínimos quadrados é usado para estimar e , então, os resíduos , ao contrário dos erros , não podem ser independentes, pois satisfazem as duas restrições ${\ displaystyle \ varepsilon _ {i}}$${\ displaystyle \ sigma ^ {2}}$${\ displaystyle \ alpha _ {0}}$${\ displaystyle \ alpha _ {1}}$${\ displaystyle {\ widehat {\ varepsilon \,}}}$${\ displaystyle \ varepsilon}$

${\ displaystyle \ sum _ {i = 1} ^ {n} {\ widehat {\ varepsilon \,}} _ {i} = 0}$

e

${\ displaystyle \ sum _ {i = 1} ^ {n} {\ widehat {\ varepsilon \,}} _ {i} x_ {i} = 0.}$

(Aqui ε _i é o i ésimo erro e é o i ésimo resíduo.) ${\ displaystyle \ scriptstyle {\ widehat {\ varepsilon \,}} _ {i}}$

Os resíduos, ao contrário dos erros, não têm todos a mesma variância: a variância diminui à medida que o valor x correspondente se afasta do valor x médio . Esta não é uma característica dos dados em si, mas dos valores de melhor ajuste da regressão nas extremidades do domínio. Também se reflete nas funções de influência de vários pontos de dados nos coeficientes de regressão : os pontos finais têm mais influência. Isso também pode ser visto porque os residuais nos pontos finais dependem muito da inclinação de uma linha ajustada, enquanto os residuais no meio são relativamente insensíveis à inclinação. O fato de as variâncias dos resíduos diferirem, mesmo que as variâncias dos erros verdadeiros sejam todas iguais entre si, é a principal razão para a necessidade de estudentização.

Não é simplesmente uma questão de os parâmetros populacionais (média e desvio padrão) serem desconhecidos - é que as regressões produzem diferentes distribuições de resíduos em diferentes pontos de dados, ao contrário de estimadores pontuais de distribuições univariadas , que compartilham uma distribuição comum para resíduos.

fundo

Para este modelo simples, a matriz de design é

${\ displaystyle X = \ left [{\ begin {matrix} 1 & x_ {1} \\\ vdots & \ vdots \\ 1 & x_ {n} \ end {matrix}} \ right]}$

e a matriz de chapéu H é a matriz da projeção ortogonal no espaço da coluna da matriz de design:

${\ displaystyle H = X (X ^ {T} X) ^ {- 1} X ^ {T}. \,}$

A alavancagem h _II é o i th entrada diagonal na matriz de chapéu. A variância do i ésimo residual é

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} (1-h_ {ii}).}$

No caso da matriz de design X ter apenas duas colunas (como no exemplo acima), isso é igual a

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} \ left (1 - {\ frac {1} {n}} - {\ frac {(x_ {i} - {\ bar {x}}) ^ {2}} {\ sum _ {j = 1} ^ {n} (x_ {j} - {\ bar {x}}) ^ {2 }}}\direito).}$

No caso de uma média aritmética , a matriz de design X tem apenas uma coluna (um vetor de uns ), e é simplesmente:

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} \ left (1 - {\ frac {1} {n}} \ right). }$

Cálculo

Dadas as definições acima, o resíduo estudentizado é então

${\ displaystyle t_ {i} = {{\ widehat {\ varepsilon \,}} _ {i} \ over {\ widehat {\ sigma}} {\ sqrt {1-h_ {ii} \}}}}$

onde h _ii é a alavancagem , onde é uma estimativa apropriada de σ (veja abaixo). ${\ displaystyle {\ widehat {\ sigma}}}$

No caso de uma média, isso é igual a:

${\ displaystyle t_ {i} = {{\ widehat {\ varepsilon \,}} _ {i} \ over {\ widehat {\ sigma}} {\ sqrt {(n-1) / n}}}}$

Estudantização interna e externa

A estimativa usual de σ ² é o resíduo estudentizado internamente

${\ displaystyle {\ widehat {\ sigma}} ^ {2} = {1 \ over nm} \ sum _ {j = 1} ^ {n} {\ widehat {\ varejpsilon \,}} _ {j} ^ { \, 2}.}$

onde m é o número de parâmetros no modelo (2 em nosso exemplo).

Mas se  houver suspeita de que o i- ésimo caso seja improvávelmente grande, ele também não seria normalmente distribuído. Portanto, é prudente excluir a i-  ésima observação do processo de estimativa da variância quando se está considerando se o i-  ésimo caso pode ser um outlier e, em vez disso, usar o resíduo estudantizado externamente , que é

${\ displaystyle {\ widehat {\ sigma}} _ {(i)} ^ {2} = {1 \ over nm-1} \ sum _ {\ begin {smallmatrix} j = 1 \\ j \ neq i \ end {smallmatrix}} ^ {n} {\ widehat {\ varepsilon \,}} _ {j} ^ {\, 2},}$

com base em todos os resíduos, exceto o suspeito i é o  resíduo. Aqui é para enfatizar que para suspeito i são computados com i o  caso excluído. ${\ displaystyle {\ widehat {\ varepsilon \,}} _ {j} ^ {\, 2} (j \ neq i)}$

Se a estimativa σ ² inclui o i  ésimo caso, então ela é chamada de resíduo estudentizado internamente (também conhecido como resíduo padronizado ). Se a estimativa é usada em vez disso, excluindo o i  th caso, então ele é chamado o externamente studentized , . ${\ displaystyle t_ {i}}$${\ displaystyle {\ widehat {\ sigma}} _ {(i)} ^ {2}}$${\ displaystyle t_ {i (i)}}$

Distribuição

Se os erros são independentes e normalmente distribuídos com valor esperado 0 e variância σ ² , então a distribuição de probabilidade do i ésimo resíduo estudentizado externamente é uma distribuição t de Student com n  -  m  - 1 graus de liberdade e pode variar de a . ${\ displaystyle t_ {i (i)}}$${\ displaystyle \ scriptstyle - \ infty}$${\ displaystyle \ scriptstyle + \ infty}$

Por outro lado, os resíduos estudentizados internamente estão na faixa , onde ν = n  -  m é o número de graus de liberdade residuais. Se t _i representa o resíduo estudentizado internamente, e novamente assumindo que os erros são variáveis ​​gaussianas independentes e distribuídas de forma idêntica, então: ${\ displaystyle \ scriptstyle 0 \, \ pm \, {\ sqrt {\ nu}}}$

${\ displaystyle t_ {i} \ sim {\ sqrt {\ nu}} {t \ over {\ sqrt {t ^ {2} + \ nu -1}}}}$

onde t é uma variável aleatória distribuída como distribuição t de Student com ν  - 1 grau de liberdade. Na verdade, isso implica que t _i ² / ν segue a distribuição beta B (1/2, ( ν  - 1) / 2). A distribuição acima é algumas vezes chamada de distribuição tau ; foi derivado pela primeira vez por Thompson em 1935.

Quando ν = 3, os resíduos estudentizados internamente são uniformemente distribuídos entre e . Se houver apenas um grau de liberdade residual, a fórmula acima para a distribuição de resíduos estudentizados internamente não se aplica. Nesse caso, os t _i são todos +1 ou -1, com 50% de chance para cada um. ${\ displaystyle \ scriptstyle - {\ sqrt {3}}}$${\ displaystyle \ scriptstyle + {\ sqrt {3}}}$

O desvio padrão da distribuição de resíduos estudentizados internamente é sempre 1, mas isso não implica que o desvio padrão de todos os t _i de um experimento em particular seja 1. Por exemplo, os resíduos estudentizados internamente ao ajustar uma linha reta passando ( 0, 0) para os pontos (1, 4), (2, −1), (2, −1) são , e o desvio padrão destes não é 1. ${\ displaystyle {\ sqrt {2}}, \ - {\ sqrt {5}} / 5, \ - {\ sqrt {5}} / 5}$

Observe que qualquer par de resíduos estudentizados t _i e t _j (onde ), NÃO são iid. Eles têm a mesma distribuição, mas não são independentes devido às restrições sobre os resíduos terem que somar 0 e ser ortogonais à matriz de design . ${\ displaystyle i \ neq j}$

Implementações de software

Muitos programas e pacotes de estatísticas, como R , Python , etc., incluem implementações de residual estudentizado.

Idioma / programa	Função	Notas
R	rstandard(model, ...)	estudantizado internamente. Veja [2]
R	rstudent(model, ...)	externamente estudantizado. Veja [3]

Veja também

• Distância de Cook - uma medida das mudanças nos coeficientes de regressão quando uma observação é excluída
• Teste de Grubbs
• Normalização (estatísticas)
• Desigualdade de Samuelson
• Pontuação Padrão
• William Sealy Gosset

Referências

Leitura adicional

• Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. Ed.). Nova York: Chapman e Hall . ISBN   041224280X . Retirado em 23 de fevereiro de 2013 .