Soma residual dos quadrados - Residual sum of squares

Em estatística , a soma dos quadrados dos resíduos ( RSS ), também conhecida como a soma dos resíduos quadrados ( SSR ) ou a soma dos quadrados da estimativa dos erros ( SSE ), é a soma dos quadrados dos resíduos (desvios previstos dos valores empíricos reais De dados). É uma medida da discrepância entre os dados e um modelo de estimativa, como uma regressão linear . Um pequeno RSS indica um ajuste perfeito do modelo aos dados. É usado como um critério de otimalidade na seleção de parâmetros e seleção de modelos .

Em geral, soma total dos quadrados = soma explicada dos quadrados + soma residual dos quadrados. Para uma prova disso no caso de mínimos quadrados ordinários multivariados (OLS), consulte particionamento no modelo geral de OLS .

Uma variável explicativa

Em um modelo com uma única variável explicativa, o RSS é dado por:

${\ displaystyle \ operatorname {RSS} = \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2}}$

onde y _i é o i ^ésimo valor da variável a ser prevista, x _i é o i ^ésimo valor da variável explicativa e é o valor predito de y _i (também denominado ). Numa simples linear padrão modelo de regressão , , onde e são coeficientes , Y e X são o regressando e o regressor , respectivamente, e ε é o termo de erro . A soma dos quadrados dos resíduos é a soma dos quadrados de ; isso é ${\ displaystyle f (x_ {i})}$${\ displaystyle {\ hat {y_ {i}}}}$${\ displaystyle y_ {i} = \ alpha + \ beta x_ {i} + \ varepsilon _ {i} \,}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$${\ displaystyle {\ widehat {\ varepsilon \,}} _ {i}}$

${\ displaystyle \ operatorname {RSS} = \ sum _ {i = 1} ^ {n} ({\ widehat {\ varepsilon \,}} _ {i}) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} - ({\ widehat {\ alpha \,}} + {\ widehat {\ beta \,}} x_ {i})) ^ {2}}$

onde é o valor estimado do termo constante e é o valor estimado do coeficiente de inclinação . ${\ displaystyle {\ widehat {\ alpha \,}}}$${\ displaystyle \ alpha}$${\ displaystyle {\ widehat {\ beta \,}}}$${\ displaystyle \ beta}$

Expressão de matriz para a soma residual dos quadrados de OLS

O modelo de regressão geral com n observações e k explicadores, o primeiro dos quais é um vetor unitário constante cujo coeficiente é a interceptação da regressão, é

${\ displaystyle y = X \ beta + e}$

onde y é um vetor n × 1 de observações de variáveis ​​dependentes, cada coluna da matriz n × k X é um vetor de observações em um dos k explicadores, é um vetor k × 1 de coeficientes verdadeiros e e é um n × 1 vetor dos verdadeiros erros subjacentes. O estimador de mínimos quadrados ordinários para é ${\ displaystyle \ beta}$${\ displaystyle \ beta}$

${\ displaystyle X {\ hat {\ beta}} = y \ iff}$

${\ displaystyle X ^ {\ operatorname {T}} X {\ hat {\ beta}} = X ^ {\ operatorname {T}} y \ iff}$

${\ displaystyle {\ hat {\ beta}} = (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y.}$

O vetor residual = ; então a soma residual dos quadrados é: ${\ displaystyle {\ hat {e}}}$${\ displaystyle yX {\ hat {\ beta}} = yX (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y}$

${\ displaystyle \ operatorname {RSS} = {\ hat {e}} ^ {\ operatorname {T}} {\ hat {e}} = \ | {\ hat {e}} \ | ^ {2}}$,

(equivalente ao quadrado da norma de resíduos). Na íntegra:

${\ displaystyle \ operatorname {RSS} = y ^ {\ operatorname {T}} yy ^ {\ operatorname {T}} X (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y = y ^ {\ operatorname {T}} [IX (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}}] y = y ^ {\ operatorname {T}} [IH] y}$,

onde H é a matriz hat , ou a matriz de projeção em regressão linear.

Relação com a correlação momento-produto de Pearson

A linha de regressão de mínimos quadrados é dada por

${\ displaystyle y = ax + b}$,

onde e , onde e${\ displaystyle b = {\ bar {y}} - a {\ bar {x}}}$${\ displaystyle a = {\ frac {S_ {xy}} {S_ {xx}}}}$${\ displaystyle S_ {xy} = \ sum _ {i = 1} ^ {n} ({\ bar {x}} - x_ {i}) ({\ bar {y}} - y_ {i})}$${\ displaystyle S_ {xx} = \ sum _ {i = 1} ^ {n} ({\ bar {x}} - x_ {i}) ^ {2}.}$

Portanto,

${\ displaystyle {\ begin {alinhados} \ operatorname {RSS} & = \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} - (ax_ {i} + b)) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} -ax_ {i } - {\ bar {y}} + a {\ bar {x}}) ^ {2} \\ [5pt] & = \ sum _ {i = 1} ^ {n} (a ({\ bar {x }} - x_ {i}) - ({\ bar {y}} - y_ {i})) ^ {2} = a ^ {2} S_ {xx} -2aS_ {xy} + S_ {yy} = S_ {yy} -aS_ {xy} = S_ {yy} \ left (1 - {\ frac {S_ {xy} ^ {2}} {S_ {xx} S_ {yy}}} \ right) \ end {alinhado} }}$

Onde ${\ displaystyle S_ {yy} = \ sum _ {i = 1} ^ {n} ({\ bar {y}} - y_ {i}) ^ {2}.}$

A correlação momento-produto de Pearson é dada por , portanto,${\ displaystyle r = {\ frac {S_ {xy}} {\ sqrt {S_ {xx} S_ {yy}}}};}$${\ displaystyle \ operatorname {RSS} = S_ {yy} (1-r ^ {2}).}$

Veja também

• Critério de informação de Akaike # Comparação com mínimos quadrados
• Distribuição qui-quadrado # Aplicativos
• Graus de liberdade (estatísticas) # Soma dos quadrados e graus de liberdade
• Erros e resíduos nas estatísticas
• Soma de quadrados de falta de ajuste
• Erro quadrático médio
• Estatística qui-quadrado reduzida , RSS por grau de liberdade
• Desvios quadrados
• Soma dos quadrados (estatísticas)

Referências

• Draper, NR; Smith, H. (1998). Análise de regressão aplicada (3ª ed.). John Wiley. ISBN 0-471-17082-8.