Mínimos quadrados reponderados iterativamente - Iteratively reweighted least squares

Parte de uma série sobre
Análise de regressão
Modelos
Regressão linear Regressão simples Regressão polinomial Modelo linear geral
Modelo linear generalizado Escolha discreta Regressão binomial Regressão binária Regressão logística Logit multinomial Logit misto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinível Efeitos fixos Efeitos aleatórios Modelo linear de efeitos mistos Modelo de efeitos mistos não linear
Regressão não linear Não paramétrico Semiparamétrico Robusto Quantil Isotônico Componentes principais Ângulo mínimo Local Segmentado
Erros em variáveis
Estimativa
Mínimos quadrados Linear Não linear
Ordinário Pesada Generalizado
Parcial Total Não negativo Regressão de cume Regularizado
Desvios mínimos absolutos Reponderado iterativamente Bayesiano Multivariada bayesiana
Fundo
Validação de regressão Resposta média e prevista Erros e residuais Qualidade de ajuste Resíduo estudantizado Teorema de Gauss-Markov
Portal de matemática
v t e

O método de mínimos quadrados reponderados iterativamente ( IRLS ) é usado para resolver certos problemas de otimização com funções objetivo na forma de uma norma p :

${\ displaystyle {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \, min}}} \ sum _ {i = 1} ^ {n} {\ big |} y_ {i} -f_ {i } ({\ boldsymbol {\ beta}}) {\ big |} ^ {p},}$

por um método iterativo em que cada etapa envolve a resolução de um problema de mínimos quadrados ponderados da forma:

${\ displaystyle {\ boldsymbol {\ beta}} ^ {(t + 1)} = {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \, min}}} \ sum _ {i = 1} ^ {n} w_ {i} ({\ boldsymbol {\ beta}} ^ {(t)}) {\ big |} y_ {i} -f_ {i} ({\ boldsymbol {\ beta}}) {\ grande |} ^ {2}.}$

IRLS é usado para encontrar as estimativas de máxima verossimilhança de um modelo linear generalizado e em regressão robusta para encontrar um estimador M , como uma forma de mitigar a influência de outliers em um conjunto de dados normalmente distribuído. Por exemplo, minimizando os erros absolutos mínimos em vez dos erros de quadrados mínimos .

Uma das vantagens do IRLS sobre a programação linear e convexa é que ele pode ser usado com algoritmos numéricos de Gauss – Newton e Levenberg – Marquardt .

Exemplos

Minimização L ₁ para recuperação esparsa

IRLS pode ser usado para ℓ ₁ minimização e suavização ℓ _p minimização, p  <1, em problemas de sensoriamento comprimido . Foi provado que o algoritmo possui uma taxa de convergência linear para ℓ ₁ norma e superlinear para ℓ _t com t  <1, sob a propriedade de isometria restrita , que geralmente é uma condição suficiente para soluções esparsas. No entanto, na maioria das situações práticas, a propriedade de isometria restrita não é satisfeita.

Regressão linear de norma L ^p

Para encontrar os parâmetros β  = ( β ₁ , ..., β _k ) ^T que minimizam a norma L ^p para o problema de regressão linear ,

${\ displaystyle {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \, min}}} {\ big \ |} \ mathbf {y} -X {\ boldsymbol {\ beta}} \ | _ { p} = {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \, min}}} \ sum _ {i = 1} ^ {n} \ left | y_ {i} -X_ {i} { \ boldsymbol {\ beta}} \ right | ^ {p},}$

o algoritmo IRLS na etapa t  + 1 envolve resolver o problema dos mínimos quadrados lineares ponderados :

${\ displaystyle {\ boldsymbol {\ beta}} ^ {(t + 1)} = {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \, min}}} \ sum _ {i = 1} ^ {n} w_ {i} ^ {(t)} \ left | y_ {i} -X_ {i} {\ boldsymbol {\ beta}} \ right | ^ {2} = (X ^ {\ rm {T }} W ^ {(t)} X) ^ {- 1} X ^ {\ rm {T}} W ^ {(t)} \ mathbf {y},}$

onde W ^{( t )} é a matriz diagonal de pesos, geralmente com todos os elementos definidos inicialmente para:

${\ displaystyle w_ {i} ^ {(0)} = 1}$

e atualizado após cada iteração para:

${\ displaystyle w_ {i} ^ {(t)} = {\ big |} y_ {i} -X_ {i} {\ boldsymbol {\ beta}} ^ {(t)} {\ big |} ^ {p -2}.}$

No caso p  = 1, isso corresponde à regressão de menor desvio absoluto (neste caso, o problema seria melhor abordado pelo uso de métodos de programação linear , então o resultado seria exato) e a fórmula é:

${\ displaystyle w_ {i} ^ {(t)} = {\ frac {1} {{\ big |} y_ {i} -X_ {i} {\ boldsymbol {\ beta}} ^ {(t)} { \ big |}}}.}$

Para evitar a divisão por zero, a regularização deve ser feita, então na prática a fórmula é:

${\ displaystyle w_ {i} ^ {(t)} = {\ frac {1} {\ max \ left \ {\ delta, \ left | y_ {i} -X_ {i} {\ boldsymbol {\ beta}} ^ {(t)} \ right | \ right \}}}.}$

onde está algum valor pequeno, como 0,0001. Observe que o uso de na função de ponderação é equivalente à função de perda de Huber na estimativa robusta. ${\ displaystyle \ delta}$${\ displaystyle \ delta}$

Veja também

• Mínimos quadrados generalizados viáveis
• O algoritmo de Weiszfeld (para aproximar a mediana geométrica ), que pode ser visto como um caso especial de IRLS

Notas

Referências

• Métodos numéricos para problemas de mínimos quadrados por Åke Björck (Capítulo 4: Problemas generalizados de mínimos quadrados.)
• Mínimos quadrados práticos para computação gráfica. SIGGRAPH Curso 11

links externos

• Resolva sistemas lineares subdeterminados iterativamente