Mínimos quadrados lineares - Linear least squares

Os mínimos quadrados lineares ( LLS ) são a aproximação dos mínimos quadrados das funções lineares aos dados. É um conjunto de formulações para resolver problemas estatísticos envolvidos na regressão linear , incluindo variantes para resíduos ordinários (não ponderados), ponderados e generalizados (correlacionados) . Os métodos numéricos para mínimos quadrados lineares incluem a inversão da matriz das equações normais e métodos de decomposição ortogonal .

Formulações principais

As três principais formulações de mínimos quadrados lineares são:

Mínimos quadrados ordinários (OLS) é o estimador mais comum. As estimativas OLS são comumente usadas para analisardados experimentais e observacionais .
O método OLS minimiza a soma dos resíduos quadrados e leva a uma expressão de forma fechada para o valor estimado do vetor de parâmetro desconhecido β : ${\ displaystyle {\ hat {\ boldsymbol {\ beta}}} = (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T}} \ mathbf {y},}$ onde é um vetor cujo i ésimo elemento é a i ésima observação da variável dependente , e é uma matriz cujo ij elemento é a i ésima observação da j ésima variável independente . (Nota: é o inverso de Moore-Penrose .) O estimador é imparcial e consistente se os erros têm variância finita e não estão correlacionados com os regressores: ${\ displaystyle \ mathbf {y}}$ ${\ displaystyle \ mathbf {X}}$ ${\ displaystyle (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T}}}$ ${\ displaystyle \ operatorname {E} [\, \ mathbf {x} _ {i} \ varepsilon _ {i} \,] = 0,}$ onde é a transposta da linha i da matriz. Também é eficiente na suposição de que os erros têm variância finita e são homocedásticos , o que significa que E [ ε _i² | x _i ] não depende de i . A condição de que os erros não estão correlacionados com os regressores geralmente será satisfeita em um experimento, mas no caso de dados observacionais, é difícil excluir a possibilidade de uma covariável z omitida que está relacionada às covariáveis observadas e à variável de resposta . A existência de tal covariável geralmente levará a uma correlação entre os regressores e a variável de resposta e, portanto, a um estimador inconsistente de β . A condição de homocedasticidade pode falhar com dados experimentais ou observacionais. Se o objetivo for inferência ou modelagem preditiva, o desempenho das estimativas OLS pode ser ruim se houver multicolinearidade , a menos que o tamanho da amostra seja grande. ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle \ mathbf {X}.}$
Os mínimos quadrados ponderados (WLS) são usados quando a heterocedasticidade está presente nos termos de erro do modelo.
Mínimos quadrados generalizados (GLS) é uma extensão do método OLS, que permite uma estimativa eficiente de β quando heterocedasticidade , ou correlações, ou ambas estão presentes entre os termos de erro do modelo, desde que a forma de heterocedasticidade e correlação seja conhecida independentemente dos dados. Para lidar com a heterocedasticidade quando os termos de erro não estão correlacionados uns com os outros, GLS minimiza um análogo ponderado para a soma dos resíduos quadrados da regressão OLS, onde o peso para o i ^ésimo caso é inversamente proporcional a var ( ε _i ). Este caso especial de GLS é denominado "mínimos quadrados ponderados". A solução GLS para um problema de estimativa é ${\ displaystyle {\ hat {\ boldsymbol {\ beta}}} = (\ mathbf {X} ^ {\ mathsf {T}} {\ boldsymbol {\ Omega}} ^ {- 1} \ mathbf {X}) ^ {-1} \ mathbf {X} ^ {\ mathsf {T}} {\ boldsymbol {\ Omega}} ^ {- 1} \ mathbf {y},}$ onde Ω é a matriz de covariância dos erros. O GLS pode ser visto como a aplicação de uma transformação linear aos dados, de forma que as suposições de OLS sejam atendidas para os dados transformados. Para que o GLS seja aplicado, a estrutura de covariância dos erros deve ser conhecida até uma constante multiplicativa.

Formulações alternativas

Outras formulações incluem:

Mínimos quadrados reponderados iterativamente (IRLS) é usado quando heterocedasticidade , ou correlações, ou ambos estão presentes entre os termos de erro do modelo, mas onde pouco se sabe sobre a estrutura de covariância dos erros independentemente dos dados. Na primeira iteração, OLS, ou GLS com uma estrutura de covariância provisória é executado, e os resíduos são obtidos a partir do ajuste. Com base nos resíduos, uma estimativa melhorada da estrutura de covariância dos erros geralmente pode ser obtida. Uma iteração GLS subsequente é então realizada usando esta estimativa da estrutura de erro para definir os pesos. O processo pode ser iterado para convergência, mas em muitos casos, apenas uma iteração é suficiente para atingir uma estimativa eficiente de β .
A regressão de variáveis instrumentais (IV) pode ser realizada quando os regressores são correlacionados com os erros. Neste caso, precisamos da existência de algumas variáveis instrumentais auxiliares z _i tais que E [ z _i ε _i ] = 0. Se Z é a matriz dos instrumentos, então o estimador pode ser dado na forma fechada como ${\ displaystyle {\ hat {\ boldsymbol {\ beta}}} = (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {Z} (\ mathbf {Z} ^ {\ mathsf {T}} \ mathbf {Z}) ^ {- 1} \ mathbf {Z} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T}} \ mathbf { Z} (\ mathbf {Z} ^ {\ mathsf {T}} \ mathbf {Z}) ^ {- 1} \ mathbf {Z} ^ {\ mathsf {T}} \ mathbf {y}.}$ A regressão ótima de instrumentos é uma extensão da regressão IV clássica para a situação em que $E [ε i | z i] = 0$ .
Mínimos quadrados totais (TLS) é uma abordagem para a estimativa de mínimos quadrados do modelo de regressão linear que trata as covariáveis e a variável de resposta de uma maneira mais simétrica geometricamente do que OLS. É uma abordagem para lidar com o problema de "erros nas variáveis" e também é algumas vezes usada mesmo quando as covariáveis são consideradas livres de erros.

Além disso, os mínimos quadrados de porcentagem se concentram na redução de erros de porcentagem, o que é útil no campo de previsão ou análise de série temporal. Também é útil em situações em que a variável dependente tem uma ampla faixa sem variância constante, pois aqui os resíduos maiores na extremidade superior da faixa dominariam se OLS fosse usado. Quando a porcentagem ou erro relativo é normalmente distribuído, a regressão de porcentagem de quadrados mínimos fornece estimativas de máxima verossimilhança. A regressão percentual está vinculada a um modelo de erro multiplicativo, enquanto o OLS está vinculado a modelos que contêm um termo de erro aditivo.

Em mínimos quadrados restritos , está interessado em resolver um problema de mínimos quadrados lineares com uma restrição adicional na solução.

Função objetiva

Em OLS (ou seja, assumindo observações não ponderadas), o valor ideal da função objetivo é encontrado substituindo a expressão ótima para o vetor de coeficiente:

{\ displaystyle S = \ mathbf {y} ^ {\ mathsf {T}} (\ mathbf {I} - \ mathbf {H}) ^ {\ mathsf {T}} (\ mathbf {I} - \ mathbf {H }) \ mathbf {y} = \ mathbf {y} ^ {\ mathsf {T}} (\ mathbf {I} - \ mathbf {H}) \ mathbf {y},}

onde , a última igualdade mantida, uma vez que é simétrica e idempotente. Pode-se mostrar a partir disso que, sob uma atribuição apropriada de pesos, o valor esperado de S é m - n . Se, em vez disso, forem assumidos pesos unitários, o valor esperado de S é , onde é a variância de cada observação.

{\ displaystyle \ mathbf {H} = \ mathbf {X} (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T }}}

{\ displaystyle (\ mathbf {I} - \ mathbf {H})}

{\ displaystyle (mn) \ sigma ^ {2}}

{\ displaystyle \ sigma ^ {2}}

Se é assumido que os resíduos pertencem a uma distribuição normal, a função de objectivo, sendo uma soma dos residuais quadrados ponderados, vai pertencer a um qui-quadrado ( ) ${\ displaystyle \ chi ^ {2}}$ distribuição com m - N graus de liberdade . Alguns valores percentuais ilustrativos de são fornecidos na tabela a seguir. ${\ displaystyle \ chi ^ {2}}$

${\ displaystyle mn}$	${\ displaystyle \ chi _ {0,50} ^ {2}}$	${\ displaystyle \ chi _ {0,95} ^ {2}}$	${\ displaystyle \ chi _ {0,99} ^ {2}}$
10	9,34	18,3	23,2
25	24,3	37,7	44,3
100	99,3	124	136

Esses valores podem ser usados para um critério estatístico quanto à qualidade do ajuste . Quando são usados pesos unitários, os números devem ser divididos pela variância de uma observação.

Para WLS, a função objetivo comum acima é substituída por uma média ponderada de resíduos.

Discussão

Em estatística e matemática , os mínimos quadrados lineares são uma abordagem para ajustar um

modelo matemático ou estatístico aos dados nos casos em que o valor idealizado fornecido pelo modelo para qualquer ponto de dados é expresso linearmente em termos dos parâmetros desconhecidos do modelo. O modelo ajustado resultante pode ser usado para resumir os dados, para prever valores não observados do mesmo sistema e para entender os mecanismos que podem estar por trás do sistema.

Matematicamente, linear dos mínimos quadrados é o problema de, aproximadamente, resolvendo um sistema sobredeterminado de equações lineares Um x = b , onde b não é um elemento do espaço coluna da matriz A . A solução aproximada é realizado como uma solução exacta Um x = b 'onde b' é a projecção de b para o espaço de coluna de um . A melhor aproximação é então aquela que minimiza a soma das diferenças quadradas entre os valores dos dados e seus valores modelados correspondentes. A abordagem é chamada de mínimos quadrados lineares, uma vez que a função assumida é linear nos parâmetros a serem estimados. Os problemas de mínimos quadrados lineares são convexos e têm uma solução de forma fechada única, desde que o número de pontos de dados usados para o ajuste seja igual ou exceda o número de parâmetros desconhecidos, exceto em situações degenerativas especiais. Em contraste, problemas de mínimos quadrados não lineares geralmente devem ser resolvidos por um procedimento iterativo , e os problemas podem ser não convexos com múltiplos ótimos para a função objetivo. Se distribuições anteriores estiverem disponíveis, então mesmo um sistema subdeterminado pode ser resolvido usando o estimador MMSE Bayesiano .

Em estatística, os problemas de mínimos quadrados lineares correspondem a um tipo particularmente importante de modelo estatístico denominado regressão linear, que surge como uma forma particular de análise de regressão . Uma forma básica de tal modelo é um modelo de mínimos quadrados ordinários . O presente artigo concentra-se nos aspectos matemáticos dos problemas de mínimos quadrados lineares, com discussão sobre a formulação e interpretação de modelos de regressão estatística e inferências estatísticas relacionadas a estes tratados nos artigos mencionados. Veja o esboço da análise de regressão para um esboço do tópico.

Propriedades

Se os erros experimentais ,, não estão correlacionados, têm uma média de zero e uma variância constante,, o teorema de Gauss-Markov afirma que o estimador de mínimos quadrados,, tem a variância mínima de todos os estimadores que são combinações lineares das observações. Nesse sentido, é o melhor, ou ótimo, estimador dos parâmetros. Observe particularmente que essa propriedade é independente da função de distribuição estatística dos erros. Em outras palavras, a função de distribuição dos erros não precisa ser uma distribuição normal . No entanto, para algumas distribuições de probabilidade, não há garantia de que a solução de mínimos quadrados seja possível, dadas as observações; ainda assim, em tais casos, é o melhor estimador que é linear e não enviesado. ${\ displaystyle \ varepsilon}$ ${\ displaystyle \ sigma}$ ${\ displaystyle {\ hat {\ boldsymbol {\ beta}}}}$

Por exemplo, é fácil mostrar que a média aritmética de um conjunto de medidas de uma quantidade é o estimador de mínimos quadrados do valor dessa quantidade. Se as condições do teorema de Gauss-Markov se aplicarem, a média aritmética é ótima, qualquer que seja a distribuição dos erros das medições.

No entanto, no caso de os erros experimentais pertencerem a uma distribuição normal, o estimador de mínimos quadrados também é um estimador de máxima verossimilhança .

Essas propriedades sustentam o uso do método dos mínimos quadrados para todos os tipos de ajuste de dados, mesmo quando as suposições não são estritamente válidas.

Limitações

Uma suposição subjacente ao tratamento dado acima é que a variável independente, x , está livre de erros. Na prática, os erros nas medições da variável independente são geralmente muito menores do que os erros na variável dependente e, portanto, podem ser ignorados. Quando este não for o caso, mínimos quadrados totais ou, mais geralmente , modelos de erros em variáveis , ou mínimos quadrados rigorosos , devem ser usados. Isso pode ser feito ajustando o esquema de ponderação para levar em consideração os erros nas variáveis dependentes e independentes e, em seguida, seguindo o procedimento padrão.

Em alguns casos, a matriz de equações normais (ponderadas) X ^TX está mal condicionada . Ao ajustar polinômios, a matriz de equações normais é uma matriz de Vandermonde . As matrizes de Vandermonde tornam-se cada vez menos condicionadas à medida que a ordem da matriz aumenta. Nestes casos, a estimativa de mínimos quadrados amplifica o ruído de medição e pode ser grosseiramente imprecisa. Várias técnicas de regularização podem ser aplicadas em tais casos, a mais comum das quais é chamada de regressão de crista . Se mais informações sobre os parâmetros forem conhecidas, por exemplo, uma faixa de valores possíveis de , então, várias técnicas podem ser usadas para aumentar a estabilidade da solução. Por exemplo, consulte mínimos quadrados restritos . ${\ displaystyle \ mathbf {\ hat {\ boldsymbol {\ beta}}}}$

Outra desvantagem do estimador de mínimos quadrados é o fato de que a norma dos resíduos, é minimizada, ao passo que em alguns casos alguém está realmente interessado em obter um pequeno erro no parâmetro , por exemplo, um pequeno valor de . No entanto, como o parâmetro verdadeiro é necessariamente desconhecido, essa quantidade não pode ser minimizada diretamente. Se uma probabilidade anterior em é conhecido, em seguida, um estimador de Bayes pode ser utilizada para minimizar o erro quadrático médio , . O método dos mínimos quadrados é freqüentemente aplicado quando nenhum prior é conhecido. Surpreendentemente, quando vários parâmetros estão sendo estimados em conjunto, melhores estimadores podem ser construídos, um efeito conhecido como fenômeno de Stein . Por exemplo, se o erro de medição é Gaussiano , vários estimadores são conhecidos que dominam , ou superam, a técnica dos mínimos quadrados; o mais conhecido deles é o estimador James-Stein . Este é um exemplo de estimadores de redução mais gerais que foram aplicados a problemas de regressão. ${\ displaystyle \ | \ mathbf {y} -X {\ hat {\ boldsymbol {\ beta}}} \ |}$ ${\ displaystyle \ mathbf {\ hat {\ boldsymbol {\ beta}}}}$ ${\ displaystyle \ | {\ boldsymbol {\ beta}} - {\ hat {\ boldsymbol {\ beta}}} \ |}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ hat {\ boldsymbol {\ beta}}}}$ ${\ displaystyle E \ left \ {\ | {\ boldsymbol {\ beta}} - {\ hat {\ boldsymbol {\ beta}}} \ | ^ {2} \ right \}}$

Formulários

Ajuste polinomial : os modelos são polinômios em uma variável independente, x :
- Linha reta: . ${\ displaystyle f (x, {\ boldsymbol {\ beta}}) = \ beta _ {1} + \ beta _ {2} x}$
- Quadrática: . ${\ displaystyle f (x, {\ boldsymbol {\ beta}}) = \ beta _ {1} + \ beta _ {2} x + \ beta _ {3} x ^ {2}}$
- Polinômios cúbicos, quárticos e superiores. Para regressão com polinômios de alta ordem , o uso de polinômios ortogonais é recomendado.
Alisamento e diferenciação numérica - esta é uma aplicação de ajuste polinomial.
Multinômios em mais de uma variável independente, incluindo ajuste de superfície
Ajuste de curva com B-splines
Quimiometria , curva de calibração , adição de padrão , gráfico gran , análise de misturas

Usos no ajuste de dados

A principal aplicação dos mínimos quadrados lineares é no ajuste de dados . Dado um conjunto de pontos de dados m consistindo em valores medidos experimentalmente em valores m de uma variável independente ( pode ser escalar ou grandezas vetoriais), e dada uma função de modelo com ela, é desejado encontrar os parâmetros de modo que a função do modelo seja "melhor" se ajusta aos dados. Em mínimos quadrados lineares, a linearidade deve ser em relação aos parâmetros , ${\ displaystyle y_ {1}, y_ {2}, \ dots, y_ {m},}$ ${\ displaystyle x_ {1}, x_ {2}, \ dots, x_ {m}}$ ${\ displaystyle x_ {i}}$ ${\ displaystyle y = f (x, {\ boldsymbol {\ beta}}),}$ ${\ displaystyle {\ boldsymbol {\ beta}} = (\ beta _ {1}, \ beta _ {2}, \ dots, \ beta _ {n}),}$ ${\ displaystyle \ beta _ {j}}$ ${\ displaystyle \ beta _ {j},}$

{\ displaystyle f (x, {\ boldsymbol {\ beta}}) = \ sum _ {j = 1} ^ {n} \ beta _ {j} \ varphi _ {j} (x).}

Aqui, as funções podem ser não lineares em relação à variável x . ${\ displaystyle \ varphi _ {j}}$

Idealmente, a função do modelo se ajusta aos dados exatamente, então

{\ displaystyle y_ {i} = f (x_ {i}, {\ boldsymbol {\ beta}})}

para todos Isso geralmente não é possível na prática, pois há mais pontos de dados do que parâmetros a serem determinados. A abordagem escolhida então é encontrar o valor mínimo possível da soma dos quadrados dos resíduos

{\ displaystyle i = 1,2, \ dots, m.}

{\ displaystyle r_ {i} ({\ boldsymbol {\ beta}}) = y_ {i} -f (x_ {i}, {\ boldsymbol {\ beta}}), \ (i = 1,2, \ dots , m)}

então, para minimizar a função

{\ displaystyle S ({\ boldsymbol {\ beta}}) = \ sum _ {i = 1} ^ {m} r_ {i} ^ {2} ({\ boldsymbol {\ beta}}).}

Depois de substituir e, em seguida , esse problema de minimização torna-se o problema de minimização quadrática acima com ${\ displaystyle r_ {i}}$ ${\ displaystyle f}$

{\ displaystyle X_ {ij} = \ varphi _ {j} (x_ {i}),}

e o melhor ajuste pode ser encontrado resolvendo as equações normais.

Exemplo

Um gráfico dos pontos de dados (em vermelho), a linha de quadrados mínimos de melhor ajuste (em azul) e os resíduos (em verde)

Como resultado de um experimento, quatro pontos de dados foram obtidos, e (mostrados em vermelho no diagrama à direita). Esperamos encontrar uma linha que melhor se ajuste a esses quatro pontos. Em outras palavras, gostaríamos de encontrar os números e que resolvem aproximadamente o sistema linear sobredeterminado: ${\ displaystyle (x, y)}$ ${\ displaystyle (1,6),}$ ${\ displaystyle (2,5),}$ ${\ displaystyle (3,7),}$ ${\ displaystyle (4,10)}$ ${\ displaystyle y = \ beta _ {1} + \ beta _ {2} x}$ ${\ displaystyle \ beta _ {1}}$ ${\ displaystyle \ beta _ {2}}$

{\ displaystyle {\ begin {alignat} {3} \ beta _ {1} +1 \ beta _ {2} + r_ {1} && \; = \; && 6 & \\\ beta _ {1} +2 \ beta _ {2} + r_ {2} && \; = \; && 5 & \\\ beta _ {1} +3 \ beta _ {2} + r_ {3} && \; = \; && 7 & \\\ beta _ { 1} +4 \ beta _ {2} + r_ {4} && \; = \; && 10 & \\\ end {alignat}}}

de quatro equações em duas incógnitas em algum "melhor" sentido.

${\ displaystyle r}$ representa o residual, em cada ponto, entre o ajuste da curva e os dados:

{\ displaystyle {\ begin {alignat} {3} r_ {1} && \; = \; && 6 - (\ beta _ {1} +1 \ beta _ {2}) & \\ r_ {2} && \; = \; && 5 - (\ beta _ {1} +2 \ beta _ {2}) & \\ r_ {3} && \; = \; && 7 - (\ beta _ {1} +3 \ beta _ {2 }) & \\ r_ {4} && \; = \; && 10 - (\ beta _ {1} +4 \ beta _ {2}) & \\\ end {alignat}}}

A abordagem dos mínimos quadrados para resolver esse problema é tentar fazer a soma dos quadrados desses resíduos a menor possível; ou seja, para encontrar o mínimo da função:

{\ displaystyle {\ begin {alinhados} S (\ beta _ {1}, \ beta _ {2}) & = r_ {1} ^ {2} + r_ {2} ^ {2} + r_ {3} ^ {2} + r_ {4} ^ {2} \\ [6pt] & = [6 - (\ beta _ {1} +1 \ beta _ {2})] ^ {2} + [5 - (\ beta _ {1} +2 \ beta _ {2})] ^ {2} + [7 - (\ beta _ {1} +3 \ beta _ {2})] ^ {2} + [10 - (\ beta _ {1} +4 \ beta _ {2})] ^ {2} \\ [6pt] & = 4 \ beta _ {1} ^ {2} +30 \ beta _ {2} ^ {2} +20 \ beta _ {1} \ beta _ {2} -56 \ beta _ {1} -154 \ beta _ {2} +210 \\ [6pt] \ end {alinhado}}}

O mínimo é determinado através do cálculo das derivadas parciais da com respeito a e e definindo-as a zero: ${\ displaystyle S (\ beta _ {1}, \ beta _ {2})}$ ${\ displaystyle \ beta _ {1}}$ ${\ displaystyle \ beta _ {2}}$

{\ displaystyle {\ frac {\ partial S} {\ partial \ beta _ {1}}} = 0 = 8 \ beta _ {1} +20 \ beta _ {2} -56}

{\ displaystyle {\ frac {\ partial S} {\ partial \ beta _ {2}}} = 0 = 20 \ beta _ {1} +60 \ beta _ {2} -154.}

Isso resulta em um sistema de duas equações em duas incógnitas, chamadas de equações normais, que quando resolvidas fornecem:

{\ displaystyle \ beta _ {1} = 3,5}

{\ displaystyle \ beta _ {2} = 1,4}

e a equação é a linha de melhor ajuste. Os resíduos , ou seja, as diferenças entre os valores das observações e as variáveis predicadas usando a linha de melhor ajuste, são então considerados e (veja o diagrama à direita). O valor mínimo da soma dos quadrados dos resíduos é

{\ displaystyle y = 3,5 + 1,4x}

{\ displaystyle y}

{\ displaystyle y}

{\ displaystyle 1.1,}

{\ displaystyle -1.3,}

{\ displaystyle -0,7,}

{\ displaystyle 0.9}

{\ displaystyle S (3,5,1,4) = 1,1 ^ {2} + (- 1,3) ^ {2} + (- 0,7) ^ {2} + 0,9 ^ {2} = 4,2.}

Mais geralmente, pode-se ter regressores e um modelo linear ${\ displaystyle n}$ ${\ displaystyle x_ {j}}$

{\ displaystyle y = \ beta _ {0} + \ sum _ {j = 1} ^ {n} \ beta _ {j} x_ {j}.}

Usando um modelo quadrático

O resultado do ajuste de uma função quadrática (em azul) por meio de um conjunto de pontos de dados (em vermelho). Em mínimos quadrados lineares, a função não precisa ser linear no argumento, mas apenas nos parâmetros que são determinados para fornecer o melhor ajuste.

{\ displaystyle y = \ beta _ {1} + \ beta _ {2} x + \ beta _ {3} x ^ {2} \,}

{\ displaystyle (x_ {i}, y_ {i})}

{\ displaystyle x,}

{\ displaystyle \ beta _ {j}}

É importante ressaltar que em "quadrados mínimos lineares", não estamos restritos a usar uma linha como modelo, como no exemplo acima. Por exemplo, poderíamos ter escolhido o modelo quadrático restrito . Este modelo ainda é linear no parâmetro, portanto ainda podemos realizar a mesma análise, construindo um sistema de equações a partir dos pontos de dados: ${\ displaystyle y = \ beta _ {1} x ^ {2}}$ ${\ displaystyle \ beta _ {1}}$

{\ displaystyle {\ begin {alignat} {2} 6 && \; = \ beta _ {1} (1) ^ {2} + r_ {1} \\ 5 && \; = \ beta _ {1} (2) ^ {2} + r_ {2} \\ 7 && \; = \ beta _ {1} (3) ^ {2} + r_ {3} \\ 10 && \; = \ beta _ {1} (4) ^ {2 } + r_ {4} \\\ fim {alinhado}}}

As derivadas parciais em relação aos parâmetros (desta vez, há apenas um) são novamente calculadas e definidas como 0:

{\ displaystyle {\ frac {\ partial S} {\ partial \ beta _ {1}}} = 0 = 708 \ beta _ {1} -498}

e resolvido

{\ displaystyle \ beta _ {1} = 0,703}

levando ao modelo de melhor ajuste resultante

{\ displaystyle y = 0,703x ^ {2}.}

Veja também

Referências

Leitura adicional

Bevington, Philip R .; Robinson, Keith D. (2003). Redução de dados e análise de erros para as ciências físicas . McGraw-Hill. ISBN 978-0-07-247227-1.

Languages

In other projects