mínimos quadrados polinomiais - Polynomial least squares

Em estatística matemática , polinomiais mínimos quadrados compreende uma vasta gama de métodos estatísticos para estimar uma polinomial subjacente que descreve observações. Estes métodos incluem regressão polinomial , de ajustamento da curva , de regressão linear , de mínimos quadrados , mínimos quadrados , regressão linear simples , mínimos quadrados lineares , teoria da aproximação e método de momentos . Polinomiais mínimos quadrados tem aplicações em rastreadores de radar , teoria de estimação , processamento de sinal , estatísticas e econometria .

Duas aplicações comuns de polinomiais métodos dos mínimos quadrados são gerando uma polinomial de baixo grau que se aproxima de uma função complexa e estimando uma polinomial subjacente assumida a partir corrompido (também conhecido como "ruidosas") observações. O primeiro é comumente utilizado em estatística e econometria para encaixar um diagrama de dispersão com um primeiro polinómio de grau (isto é, uma expressão linear). O último é geralmente utilizado no seguimento do alvo sob a forma de filtragem Kalman , que é efectivamente uma implementação recursivo de quadrados mínimos polinomiais. Estimando uma polinomial determinista subjacente assumido pode ser utilizado em econometrics bem. Com efeito, ambas as aplicações de produzir curvas médias como generalizações da comum média de um conjunto de números, o que é equivalente a zero graus polinomiais mínimos quadrados.

Nas aplicações acima referidas, o termo "aproximadamente" é usado quando não há erros de medição ou observação estatística são assumidos, como na montagem de um gráfico de dispersão. O termo "estimativa", derivado da teoria estimativa estatística, é utilizado quando se assume que as medições ou as observações de um polinómio estão corrompidas.

Polinomial mínimos quadrados estimativa de um determinista polinomial de primeiro grau corrompida com erros de observação

Suponha que o primeiro grau equação polinomial determinista com coeficientes desconhecidos e é escrito como ${\ Y} displaystyle$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

${\ Displaystyle y = \ + alfa \ t beta.}$

Isto é corrompida com um aditivo processo estocástico descrita como um erro (ruído no seguimento), resultando em ${\ Displaystyle \ epsilon}$

${\ Displaystyle z = y + \ epsilon = \ alfa + \ beta t + \ epsilon.}$

Dadas as observações de uma amostra , em que o subscrito é o índice de observação, o problema é aplicar mínimos quadrados polinomiais para estimar e determinar a sua variação ao longo com o seu valor esperado . ${\ Displaystyle z_ {n}}$${\ N} displaystyle$${\ Displaystyle y (t)}$

Definições e pressupostos

(1) O termo linearidade em matemática pode ser considerado para assumir duas formas que são, por vezes, confuso: linear de sistema ou transformação (por vezes chamado um operador) e um linear equação . O termo "função" é muitas vezes usado para descrever tanto um sistema e uma equação, o que pode conduzir a confusão. Um linear sistema é definida pela

${\ F displaystyle (ax + by) = af (x) + BF (y)}$

onde e são constantes, e onde e são variáveis. Numa linear sistema , onde é o operador expectativa linear. Um linear equação é uma linha recta que é o primeiro grau polinomial descrito acima. ${\ Displaystyle a}$${\ Displaystyle b}$${\ Displaystyle x}$${\ Y} displaystyle$ ${\ Displaystyle E [f (x)] = F (E [X])}$${\ Displaystyle E}$

(2) O erro é modelado como um zero significativo processo estocástico, pontos de amostra dos quais são variáveis aleatórias que são não correlacionadas e que se assume terem idênticos distribuições de probabilidade (especificamente mesma média e variância), mas não necessariamente de Gauss , tratados como entradas para polinomial menos praças. Processos estocásticos e variáveis aleatórias são descritas apenas por distribuições de probabilidade.${\ Displaystyle \ epsilon}$

(3) polinomiais mínimos quadrados é modelado como um processamento de sinais linear sistema que processa as entradas estatísticos deterministamente, a saída, sendo a estimativa estatística, variância, e o valor esperado determinada empiricamente linearmente processado.

(4) polinomial de processamento de mínimos quadrados produz determinísticos momentos (análogos aos momentos mecânicos), os quais podem ser considerados como momentos de estatísticas da amostra, mas não de momentos estatísticos.

mínimos quadrados polinomiais e princípio da ortogonalidade

Aproximando uma função com um polinômio ${\ Displaystyle z (t)}$

${\ Displaystyle {\ chapéu {z}} (t) = \ _ soma {j = 1} ^ {J} a_ {j} t ^ {j-1}}$

onde chapéu (^) indica a estimativa e ( J  - 1) é o grau polinomial, podem ser realizadas mediante a aplicação do princípio da ortogonalidade . A soma de resíduos quadrados pode ser escrita como

${\ Displaystyle \ soma _ {n = 1} ^ {N} (Z_ {n} - {\ chapéu {z}} _ {n}). ^ {2}}$

De acordo com o princípio da ortogonalidade, este está no seu mínimo quando o vector residual ( ) é ortogonal em relação à estimativa , que é ${\ Displaystyle z - {\ hat {z}}}$${\ Displaystyle {\ hat {z}}}$

${\ Displaystyle \ soma _ {n = 1} ^ {N} (Z_ {n} - {\ chapéu {z}} _ {n}). {\ Chapéu {z}} _ {n} = 0}$

Isto pode ser descrito como a projecção ortogonal dos valores de dados { } sobre uma solução sob a forma do polinómio . Para N > J , produz projecção ortogonal do sistema padrão sobredeterminado de equações (muitas vezes chamado equações normais ) usadas para calcular os coeficientes na aproximação polinomial. O montante mínimo de resíduos quadrados é então ${\ Displaystyle z_ {n}}$${\ Displaystyle {\ chapéu {z}} (t)}$

${\ Displaystyle SSR _ {\ min} = \ soma _ {n = 1} ^ {N} (Z_ {n} - {\ chapéu {z}} _ {n}) Z_ {n}}$

A vantagem do uso de projecção ortogonal é que pode ser determinado por utilização nos mínimos quadrados polinomiais transformados variância estatística da estimativa.${\ Displaystyle SSR _ {\ min}}$

A determinada empiricamente polinomial por mínimos quadrados de saída de um primeiro polinomial grau corrompida com erros de observação

Para determinar completamente a saída de mínimos quadrados polinomiais , uma função de ponderação descrevendo o processamento deve primeiro ser estruturado e, em seguida, os momentos estatísticos pode ser calculado.

A função de ponderação descrevendo o polinômio "sistema" linear de mínimos quadrados

A função de ponderação pode ser formulado a partir de mínimos quadrados polinomiais para estimar o desconhecido como segue:${\ W_ displaystyle {n} (\ tau)}$${\ Displaystyle y (t)}$

${\ Displaystyle {\ chapéu {y}} (\ tau) = {\ frac {1} {N}} \ soma _ {n = 1} ^ {N} z_ {n} W_ {n} (\ tau) = {\ frac {1} {N}} \ soma _ {n = 1} ^ {N} (\ alfa + \ beta t_} {n + \ epsilon _ {n}) W_ {n} (\ tau)}$

onde N é o número de amostras, são variáveis aleatórias como amostras do estocástica (sinal ruidoso), e os pesos dados polinomiais primeiro grau são ${\ Displaystyle z_ {n}}$${\ Z} displaystyle$

${\ Displaystyle W_ {n} (\ tau) \ equiv {\ frac {[{\ bar {t ^ {2}}} - {\ bar {t}} T_ {n} + (T_ {n} - {\ bar {t}}) \ tau]} {({\ bar {t ^ {2}}} - {\ bar {t}} ^ {2})}}}$

que representam o "sistema" linear polinomial por mínimos quadrados e descrever o seu processamento. A letra grega é a variável independente ao estimar a variável dependente após a montagem de dados tem sido realizada. (A letra é utilizado para evitar a confusão com antes e amostragem durante polinomial de processamento de mínimos quadrados). A barra superior (¯) define o centróide determinista de como processado por mínimos quadrados polinomiais - ou seja, que define o momento de primeira ordem determinística, o que pode ser considerado a média da amostra, mas não aqui aproximar um momento estatística primeira ordem: ${\ Displaystyle \ tau}$${\ Displaystyle t}$${\ Displaystyle y (t)}$${\ Displaystyle \ tau}$${\ Displaystyle t}$${\ Displaystyle u_ {n}}$

${\ Displaystyle {\ bar {u}} {\ excesso de tipos {\ ressaca {\ mathrm {def}} {}} {=}} {\ frac {1} {N}} \ soma _ {n = 1} ^ { Freira}}$

momentos estatísticos determinados empiricamente

aplicando rendimentos ${\ W_ displaystyle {n} (\ tau)}$

${\ Displaystyle {\ chapéu {y}} (\ tau) = {\ chapéu {\ alfa}} + {\ chapéu {\ beta}} \ tau}$

Onde

${\ Displaystyle {\ chapéu {\ alfa}} = {\ frac {({\ bar {z}} {\ bar {t ^ {2}}} - {\ bar {zt}} {\ bar {t}} )} {({\ bar {t ^ {2}}} - {\ bar {t}} ^ {2})}} = \ alfa + {\ frac {({\ bar {\ epsilon}} {\ barra {t ^ {2}}} - {\ bar {{\ epsilon} t}} {\ bar {t}})} {({\ bar {t ^ {2}}} - {\ bar {t}} ^ {2})}}}$

e

${\ Displaystyle {\ chapéu {\ beta}} = {\ frac {({\ bar {zt}} - {\ bar {z}} {\ bar {t}})} {({\ bar {t ^ { 2}}} - {\ bar {t}} ^ {2})}} = \ beta + {\ frac {({\ bar {\ epsilon t}} - {\ bar {\ epsilon}} {\ bar { t}})} {({\ bar {t ^ {2}}} - {\ bar {t}} ^ {2})}}}$

Funciona como lineares das variáveis aleatórias , ambas as estimativas dos coeficientes e são variáveis aleatórias. Na ausência dos erros , e , como deveriam para atender a essa condição de contorno. ${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle {\ hat {\ alpha}}}$${\ Displaystyle {\ hat {\ beta}}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle {\ hat {\ alpha}} = \ alpha}$${\ Displaystyle {\ hat {\ beta}} = \ beta}$

Uma vez que o operador expectativa estatística E [•] é uma função linear e o processo estocástico amostrado erros são média zero, o valor esperado da estimativa é o primeiro momento estatística ordem como se segue:${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle {\ hat {y}}}$

${\ Displaystyle E [{\ chapéu {y}} (\ tau)] = \ alfa + \ beta \ tau + {\ frac {1} {N}} \ soma _ {n = 1} ^ {N} E [ \ epsilon _ {n}] W_ {n} (\ tau) = \ alfa + \ beta \ tau = \ alfa + \ beta t}$

A variância estatística em é dada pela segunda ordem momento central estatística como se segue:${\ Displaystyle {\ hat {y}}}$

${\ Displaystyle \ sigma _ {\ chapéu {y}} ^ {2} = E [({\ chapéu {y}}) - E [{\ chapéu {y}}]) ^ {2}] = {\ frac {1} {N}} {\ frac {1} {N}} \ soma _ {n = 1} ^ {N} \ soma _ {i = 1} ^ {N} W_ {n} (\ tau) E [\ epsilon _ {n} \ epsilon _ {i}] W_ {i} (\ tau)}$

${\ Displaystyle = \ sigma _ {\ epsilon} ^ {2} {\ frac {1} {N}} {\ frac {1} {N}} \ soma _ {n = 1} ^ {N} \ soma _ {i = 1} ^ {N} W_ {n} ^ {2} (\ tau)}$

Porque

${\ Displaystyle \ soma _ {i = 1} ^ {N} E [\ epsilon _ {n} \ epsilon _ {i}] W_ {i} (\ tau) = \ sigma _ {\ epsilon} ^ {2} W_ {n} (\ tau)}$

onde é a variância estatística de variáveis aleatórias ; isto é, para i = n e (porque não estão correlacionados) para${\ Displaystyle \ sigma _ {\ epsilon} ^ {2}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle E [\ epsilon _ {n} \ epsilon _ {i}] = \ sigma _ {\ epsilon} ^ {2}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle \ sigma _ {\ epsilon} ^ {2} = 0}$${\ Displaystyle i \ n} neq$

Realização das multiplicações e somas em rendimentos${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$

${\ Displaystyle \ sigma _ {\ chapéu {y}} ^ {2} = \ sigma _ {\ epsilon} ^ {2} {\ frac {({\ bar {t ^ {2}}} - 2 {\ barra {t}} \ tau + \ tau ^ {2})} {N ({\ bar {t ^ {2}}} -. {\ bar {t}} ^ {2})}}}$

Medindo ou aproximar a variância estatística dos erros aleatórios

Em um sistema de hardware, tal como um radar de acompanhamento, a variância do ruído de medição pode ser determinado a partir de medições quando não há retorno alvo - isto é, por apenas tomar medidas da sozinho o ruído. ${\ Displaystyle \ sigma _ {\ epsilon} ^ {2}}$

No entanto, se mínimos quadrados polinomiais é usado quando a variância não é mensurável (tal como em econometrics ou estatísticas), que pode ser estimado com observações em de projecção ortogonal da seguinte forma: ${\ Displaystyle \ sigma _ {\ epsilon} ^ {2}}$${\ Displaystyle e _ {\ min}}$

${\ Displaystyle \ sigma _ {\ epsilon} ^ {2} \ aprox {\ chapéu {\ sigma _ {\ epsilon} ^ {2}}} = ({\ bar {Z ^ {2}}} - {\ chapéu {\ alfa}} {\ bar {z}} - {\ chapéu {\ beta}} {\ bar {zt}})}$

Como resultado, para a aproximação de primeira ordem a partir das estimativas e como funções de amostragem e${\ Displaystyle {\ hat {\ alpha}}}$${\ Displaystyle {\ hat {\ beta}}}$${\ Z} displaystyle$${\ Displaystyle t}$

${\ Displaystyle \ sigma _ {\ chapéu {y}} ^ {2} \ aprox {\ cevada [} {\ frac {({\ bar {Z ^ {2}}} - {\ bar {z}} ^ { 2})} {({\ bar {t ^ {2}}} - {\ bar {t}} ^ {2})}} - {\ biggl (} {\ frac {({\ bar {zt}} - {\ bar {z}} {\ bar {t}})} {({\ bar {t ^ {2}}} - {\ bar {t}})}} {\ biggl)} ^ {2} {\ cevada]} {\ frac {({\ bar {t ^ {2}}} - 2 {\ bar {t}} \ tau + \ tau ^ {2})} {N}}}$

que vai a zero na ausência dos erros , como deveria para atender a essa condição de contorno.${\ Displaystyle \ epsilon _ {n}}$

Como resultado, as amostras (sinal ruidoso) são considerados como sendo a entrada para o "sistema" menos polinomial linear quadrados que transforma as amostras para a estimativa determinada empiricamente estatística , o valor esperado , e a variância .${\ Displaystyle z_ {n}}$${\ Displaystyle {\ chapéu {y}} (\ tau)}$${\ Displaystyle E [{\ chapéu {y}}]}$${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$

Propriedades de mínimos quadrados polinomiais modelado como um "sistema" linear

(1) A variância estatística empírica é uma função de , N e . Ajustando o derivado de com respeito a igual a zero mostra o mínimo para ocorrer a ; ou seja, no centróide (média de amostra) das amostras . A variância estatística mínimo torna-se assim . Isto é equivalente a variância estatística de mínimos quadrados polinomiais de um polinómio de grau zero - ou seja, do centrde (média da amostra) de .${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ sigma _ {\ epsilon} ^ {2}}$${\ Displaystyle \ tau}$${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ tau}$${\ Displaystyle \ tau = {\ bar {t}}}$${\ Displaystyle T_ {n}}$${\ Displaystyle {\ frac {\ sigma _ {\ epsilon} ^ {2}} {N}}}$${\ Displaystyle \ alfa}$

(2) A variância estatística empírica é uma função do quadrática . Além disso, os mais se desvia (ainda dentro da janela de dados), quanto maior for a variância devido aos erros de variáveis aleatórias . A variável independente pode assumir qualquer valor no eixo. Ele não se limita a janela de dados. Ele pode se estender além da janela de dados - e, provavelmente, às vezes, dependendo da aplicação. Se for dentro da janela de dados, a estimativa é descrito como interpolação. Se for fora da janela de dados, a estimativa é descrito como extrapolação. É intuitivo e bem conhecido que a continuação é a extrapolação, a maior é o erro.${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ tau ^ {2}}$${\ Displaystyle \ tau}$${\ Displaystyle {\ bar {t}}}$${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle \ tau}$${\ Displaystyle t}$

(3) A variância estatística empírica devido aos erros de variáveis aleatórias é inversamente proporcional a N . Como N aumenta, a variância estatística diminui. Isto é bem conhecido eo que filtrar os erros é tudo. O propósito subjacente dos mínimos quadrados polinomiais é filtrar os erros para melhorar a precisão da estimativa, reduzindo a variância estimativa estatística empírica. Na realidade, apenas dois pontos de dados sejam necessários para avaliar e ; embora os mais pontos de dados com zero erros estatísticos médios incluídas, menor será a variância estatística estimativa empírica como estabelecido por N amostras. ${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle \ epsilon _ {n}}$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

(4) Há um problema adicional a ser considerado quando a variância de ruído não é mensurável: Independente do polinômio estimativa dos mínimos quadrados, quaisquer novas observações seria descrito pela variância .${\ Displaystyle \ sigma _ {\ epsilon} ^ {2} \ aprox {\ chapéu {\ sigma _ {\ epsilon} ^ {2}}} = ({\ bar {Z ^ {2}}} - {\ chapéu {\ alfa}} {\ bar {z}} - {\ chapéu {\ beta}} {\ bar {zt}})}$

Assim, o polinômio de mínimos quadrados de variância estimativa estatística e a variância estatística de qualquer novo na amostra que ambos contribuem para a incerteza de qualquer observação futuro. Ambas as variações são claramente determinados por mínimos quadrados polinomiais com antecedência. ${\ Displaystyle \ sigma _ {\ hat {y}} ^ {2}}$${\ Displaystyle \ sigma _ {\ epsilon} ^ {2}}$

(5) Este conceito aplica-se igualmente a polinómios de grau superior. No entanto, a função de ponderação é, obviamente, mais complicado. Além disso, a estimativa variâncias aumento exponencial como graus polinomiais aumentar linearmente (isto é, em passos unitários). No entanto, existem maneiras de lidar com isso como descrito em.${\ W_ displaystyle {n} (\ tau)}$

A sinergia de integração de mínimos quadrados polinomiais com a teoria estimativa estatística

Modelando mínimos quadrados polinomiais como um sinal de processamento "sistema" linear cria a sinergia de integração de mínimos quadrados com polinomiais teoria estimativa estatística para processar deterministamente amostras de um polinómio assumido corrompida com um erro ε estocástica estatisticamente descrito. Na ausência do ε erro, teoria da estimação estatística é irrelevante e polinomiais mínimos quadrados reverte para a aproximação convencional de funções complicadas e de dispersão.

Veja também

• estimador de ordem Multi-fracionada

Referências