Regressão de componente principal - Principal component regression

Parte de uma série sobre
Análise de regressão
Modelos
Regressão linear Regressão simples Regressão polinomial Modelo linear geral
Modelo linear generalizado Escolha discreta Regressão binomial Regressão binária Regressão logística Logit multinomial Logit misto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinível Efeitos fixos Efeitos aleatórios Modelo linear de efeitos mistos Modelo de efeitos mistos não linear
Regressão não linear Não paramétrico Semiparamétrico Robusto Quantil Isotônico Componentes principais Ângulo mínimo Local Segmentado
Erros em variáveis
Estimativa
Mínimos quadrados Linear Não linear
Ordinário Pesada Generalizado
Parcial Total Não negativo Regressão de cume Regularizado
Desvios mínimos absolutos Reponderado iterativamente Bayesiano Multivariado bayesiano
Fundo
Validação de regressão Resposta média e prevista Erros e residuais Qualidade de ajuste Resíduo estudentizado Teorema de Gauss-Markov
Portal de matemática
v t e

Em estatística , a regressão de componente principal ( PCR ) é uma técnica de análise de regressão baseada na análise de componente principal (PCA). Mais especificamente, o PCR é usado para estimar os coeficientes de regressão desconhecidos em um modelo de regressão linear padrão .

Na PCR, em vez de regredir a variável dependente diretamente nas variáveis ​​explicativas, os componentes principais das variáveis ​​explicativas são usados ​​como regressores . Normalmente, usa-se apenas um subconjunto de todos os componentes principais para a regressão, tornando o PCR uma espécie de procedimento regularizado e também um tipo de estimador de encolhimento .

Freqüentemente, os componentes principais com variâncias mais altas (aqueles baseados em autovetores correspondentes aos autovalores mais altos da matriz de variância-covariância de amostra das variáveis ​​explicativas) são selecionados como regressores. No entanto, para fins de previsão do resultado, os componentes principais com baixas variâncias também podem ser importantes, em alguns casos até mais importantes.

Um dos principais usos do PCR reside na superação do problema de multicolinearidade que surge quando duas ou mais das variáveis ​​explicativas estão perto de serem colineares . O PCR pode lidar adequadamente com tais situações, excluindo alguns dos componentes principais de baixa variância na etapa de regressão. Além disso, geralmente regredindo em apenas um subconjunto de todos os componentes principais, o PCR pode resultar na redução da dimensão por meio da redução substancial do número efetivo de parâmetros que caracterizam o modelo subjacente. Isso pode ser particularmente útil em configurações com covariáveis ​​de alta dimensão . Além disso, por meio da seleção apropriada dos componentes principais a serem usados ​​para a regressão, o PCR pode levar a uma previsão eficiente do resultado com base no modelo assumido.

O princípio

O método de PCR pode ser amplamente dividido em três etapas principais:

1. Execute PCA na matriz de dados observada para as variáveis ​​explicativas para obter os componentes principais e, em seguida, (normalmente) selecione um subconjunto, com base em alguns critérios apropriados, dos componentes principais assim obtidos para uso posterior. ${\ displaystyle \; \;}$

2. Agora regredir o vetor de resultados observado nos componentes principais selecionados como covariáveis, usando regressão de mínimos quadrados ordinários ( regressão linear ) para obter um vetor de coeficientes de regressão estimados (com dimensão igual ao número de componentes principais selecionados). ${\ displaystyle \; \;}$

3. Agora transforme este vetor de volta à escala das covariáveis ​​reais, usando os carregamentos PCA selecionados (os autovetores correspondentes aos componentes principais selecionados) para obter o estimador de PCR final (com dimensão igual ao número total de covariáveis) para estimar o coeficientes de regressão que caracterizam o modelo original. ${\ displaystyle \; \;}$

Detalhes do método

Representação de dados: Deixe denotar o vetor de resultados observados e denotar a matriz de dados correspondente de covariáveis ​​observadas onde, e denotar o tamanho da amostra observada e o número de covariáveis ​​respectivamente, com . Cada uma das linhas de denota um conjunto de observações para a covariável dimensional e a respectiva entrada de denota o resultado observado correspondente. ${\ displaystyle \ mathbf {Y} _ {n \ times 1} = \ left (y_ {1}, \ ldots, y_ {n} \ right) ^ {T}}$${\ displaystyle \ mathbf {X} _ {n \ times p} = \ left (\ mathbf {x} _ {1}, \ ldots, \ mathbf {x} _ {n} \ right) ^ {T}}$${\ displaystyle n}$${\ displaystyle p}$${\ displaystyle n \ geq p}$${\ displaystyle n}$${\ displaystyle \ mathbf {X}}$${\ displaystyle p}$ ${\ displaystyle \ mathbf {Y}}$

Pré-processamento de dados: Suponha que e cada uma das colunas de já tenha sido centrada de forma que todas elas tenham nenhuma média empírica . Essa etapa de centralização é crucial (pelo menos para as colunas de ), uma vez que o PCR envolve o uso de PCA em e o PCA é sensível à centralização dos dados. ${\ displaystyle \ mathbf {Y}}$${\ displaystyle p}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$

Modelo subjacente: após a centralização, o modelo de regressão linear Gauss-Markov padrão para on pode ser representado como: onde denota o vetor de parâmetro desconhecido de coeficientes de regressão e denota o vetor de erros aleatórios com e para algum parâmetro de variância desconhecido ${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y} = \ mathbf {X} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \;}$${\ displaystyle {\ boldsymbol {\ beta}} \ in \ mathbb {R} ^ {p}}$${\ displaystyle {\ boldsymbol {\ varepsilon}}}$${\ displaystyle \ operatorname {E} \ left ({\ boldsymbol {\ varepsilon}} \ right) = \ mathbf {0} \;}$${\ displaystyle \; \ operatorname {Var} \ left ({\ boldsymbol {\ varepsilon}} \ right) = \ sigma ^ {2} I_ {n \ times n}}$${\ displaystyle \ sigma ^ {2}> 0 \; \;}$

Objetivo: o objetivo principal é obter um estimador eficiente para o parâmetro , com base nos dados. Uma abordagem freqüentemente usada para isso é a regressão de mínimos quadrados ordinária que, assumindo que é a classificação da coluna completa , dá o estimador imparcial : de . O PCR é outra técnica que pode ser usada com o mesmo propósito de estimativa . ${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}}}$${\ displaystyle {\ boldsymbol {\ beta}}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}} = (\ mathbf {X} ^ {T} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {T} \ mathbf {Y}}$${\ displaystyle {\ boldsymbol {\ beta}}}$${\ displaystyle {\ boldsymbol {\ beta}}}$

Etapa de PCA: o PCR começa executando uma PCA na matriz de dados centralizada . Para isso, deixe denotam a decomposição do valor singular de onde, com denotando as não-negativos valores singulares de , enquanto que as colunas de e são os dois conjuntos ortogonais de vectores que denotam os vectores singulares esquerdo e direito de respectivamente. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X} = U \ Delta V ^ {T}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ Delta _ {p \ times p} = \ operatorname {diag} \ left [\ delta _ {1}, \ ldots, \ delta _ {p} \ right]}$${\ displaystyle \ delta _ {1} \ geq \ cdots \ geq \ delta _ {p} \ geq 0}$${\ displaystyle \ mathbf {X}}$${\ displaystyle U_ {n \ times p} = [\ mathbf {u} _ {1}, \ ldots, \ mathbf {u} _ {p}]}$${\ displaystyle V_ {p \ times p} = [\ mathbf {v} _ {1}, \ ldots, \ mathbf {v} _ {p}]}$${\ displaystyle \ mathbf {X}}$

Os componentes principais: dá uma decomposição espectral de onde com denotando os valores próprios não-negativos (também conhecido como os valores principais ) de , enquanto que as colunas de designam o conjunto ortonormal de vectores próprios correspondente. Então, e respectivamente denotam o componente principal e a direção do componente principal (ou carregamento de PCA ) correspondendo ao maior valor principal para cada um . ${\ displaystyle V \ Lambda V ^ {T}}$${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$${\ displaystyle \ Lambda _ {p \ times p} = \ operatorname {diag} \ left [\ lambda _ {1}, \ ldots, \ lambda _ {p} \ right] = \ operatorname {diag} \ left [\ delta _ {1} ^ {2}, \ ldots, \ delta _ {p} ^ {2} \ right] = \ Delta ^ {2}}$${\ displaystyle \ lambda _ {1} \ geq \ cdots \ geq \ lambda _ {p} \ geq 0}$${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$${\ displaystyle V}$${\ displaystyle \ mathbf {X} \ mathbf {v} _ {j}}$${\ displaystyle \ mathbf {v} _ {j}}$${\ displaystyle j ^ {th}}$ ${\ displaystyle j ^ {th}}$ ${\ displaystyle j ^ {\ text {th}}}$ ${\ displaystyle \ lambda _ {j}}$${\ displaystyle j \ in \ {1, \ ldots, p \}}$

Covariáveis ​​derivadas: Para qualquer , vamos denotar a matriz com colunas ortonormais consistindo nas primeiras colunas de . Vamos denotar a matriz tendo os primeiros componentes principais como suas colunas. pode ser visto como a matriz de dados obtida usando as covariáveis transformadas em vez de usar as covariáveis ​​originais . ${\ displaystyle k \ in \ {1, \ ldots, p \}}$${\ displaystyle V_ {k}}$${\ displaystyle p \ times k}$${\ displaystyle k}$${\ displaystyle V}$${\ displaystyle W_ {k} = \ mathbf {X} V_ {k}}$ ${\ displaystyle = [\ mathbf {X} \ mathbf {v} _ {1}, \ ldots, \ mathbf {X} \ mathbf {v} _ {k}]}$${\ displaystyle n \ times k}$${\ displaystyle k}$${\ displaystyle W}$${\ displaystyle \ mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} \ mathbf {x} _ {i} \ in \ mathbb {R} ^ {k}}$${\ displaystyle \ mathbf {x} _ {i} \ in \ mathbb {R} ^ {p} \; \; \ forall \; \; 1 \ leq i \ leq n}$

O estimador de PCR: Deixe denotar o vetor de coeficientes de regressão estimados obtidos por regressão de mínimos quadrados ordinários do vetor de resposta na matriz de dados . Então, para qualquer , o estimador de PCR final de base sobre o uso dos primeiros componentes principais é dado por: . ${\ displaystyle {\ widehat {\ gamma}} _ {k} = (W_ {k} ^ {T} W_ {k}) ^ {- 1} W_ {k} ^ {T} \ mathbf {Y} \ in \ mathbb {R} ^ {k}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle W_ {k}}$${\ displaystyle k \ in \ {1, \ ldots, p \}}$${\ displaystyle {\ boldsymbol {\ beta}}}$${\ displaystyle k}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k} = V_ {k} {\ widehat {\ gamma}} _ {k} \ in \ mathbb {R} ^ {p}}$

Características fundamentais e aplicações do estimador PCR

Duas propriedades básicas

O processo de ajuste para obter o estimador de PCR envolve a regressão do vetor de resposta na matriz de dados derivada que tem colunas ortogonais para qualquer uma, uma vez que os componentes principais são mutuamente ortogonais entre si. Assim, na etapa de regressão, realizar uma regressão linear múltipla conjuntamente nos componentes principais selecionados como covariáveis ​​é equivalente a realizar regressões lineares simples independentes (ou regressões univariadas) separadamente em cada um dos componentes principais selecionados como uma covariável. ${\ displaystyle W_ {k}}$${\ displaystyle k \ in \ {1, \ ldots, p \}}$${\ displaystyle k}$${\ displaystyle k}$${\ displaystyle k}$

Quando todos os componentes principais são selecionados para regressão de modo que , o estimador de PCR é equivalente ao estimador de mínimos quadrados ordinários. Assim ,. Isso é facilmente percebido pelo fato de e também pela observação que se trata de uma matriz ortogonal . ${\ displaystyle k = p}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {p} = {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}}$${\ displaystyle W_ {p} = \ mathbf {X} V_ {p} = \ mathbf {X} V}$${\ displaystyle V}$

Redução de variância

Para qualquer um , a variância de é dada por ${\ displaystyle k \ in \ {1, \ ldots, p \}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) = \ sigma ^ {2} \; V_ {k} (W_ {k} ^ {T} W_ { k}) ^ {- 1} V_ {k} ^ {T} = \ sigma ^ {2} \; V_ {k} \; \ operatorname {diag} \ left (\ lambda _ {1} ^ {- 1} , \ ldots, \ lambda _ {k} ^ {- 1} \ right) V_ {k} ^ {T} = \ sigma ^ {2} \ sideset {} {} \ sum _ {j = 1} ^ {k } {\ frac {\ mathbf {v} _ {j} \ mathbf {v} _ {j} ^ {T}} {\ lambda _ {j}}}.}$

Em particular:

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {p}) = \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm { ols}}) = \ sigma ^ {2} \ sideset {} {} \ sum _ {j = 1} ^ {p} {\ frac {\ mathbf {v} _ {j} \ mathbf {v} _ {j } ^ {T}} {\ lambda _ {j}}}.}$

Portanto, para todos nós temos: ${\ displaystyle k \ in \ {1, \ ldots, p-1 \}}$

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) = \ sigma ^ {2} \ sideset {} {} \ sum _ {j = k + 1} ^ {p} {\ frac {\ mathbf {v} _ {j} \ mathbf {v} _ {j} ^ {T}} {\ lambda _ {j}}}.}$

Assim, para todos nós temos: ${\ displaystyle k \ in \ {1, \ cdots, p \}}$

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) \ sucq 0}$

onde indica que uma matriz quadrada simétrica é definida não negativa . Consequentemente, qualquer forma linear do estimador PCR tem uma variância menor em comparação com a mesma forma linear do estimador de mínimos quadrados ordinários. ${\ displaystyle A \ successq 0}$${\ displaystyle A}$

Lidando com a multicolinearidade

Sob multicolinearidade , duas ou mais das covariáveis ​​são altamente correlacionadas , de modo que uma pode ser prevista linearmente a partir das outras com um grau não trivial de precisão. Consequentemente, as colunas da matriz de dados que correspondem às observações para essas covariáveis ​​tendem a se tornar linearmente dependentes e, portanto, tendem a se tornar deficientes em classificação, perdendo sua estrutura de classificação de coluna completa. Mais quantitativamente, um ou mais dos autovalores menores de se torna (s) muito próximo ou se (s) exatamente igual (is) em tais situações. As expressões de variância acima indicam que esses pequenos valores próprios têm o efeito máximo de inflação sobre a variância do estimador de mínimos quadrados, desestabilizando assim o estimador significativamente quando estão próximos de . Esse problema pode ser resolvido de forma eficaz por meio do uso de um estimador de PCR obtido pela exclusão dos componentes principais correspondentes a esses pequenos valores próprios. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$${\ displaystyle 0}$${\ displaystyle 0}$

Redução de dimensão

O PCR também pode ser usado para realizar a redução de dimensão . Para ver isso, vamos denotar qualquer matriz com colunas ortonormais, para qualquer. Suponha agora que queremos aproximar cada uma das observações de covariável por meio da transformação linear de classificação para alguns . ${\ displaystyle L_ {k}}$${\ displaystyle p \ times k}$${\ displaystyle k \ in \ {1, \ ldots, p \}.}$${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle k}$ ${\ displaystyle L_ {k} \ mathbf {z} _ {i}}$${\ displaystyle \ mathbf {z} _ {i} \ in \ mathbb {R} ^ {k} (1 \ leq i \ leq n)}$

Então, pode-se mostrar que

${\ displaystyle \ sum _ {i = 1} ^ {n} \ left \ | \ mathbf {x} _ {i} -L_ {k} \ mathbf {z} _ {i} \ right \ | ^ {2} }$

é minimizado na matriz com as primeiras direções do componente principal como colunas e as covariáveis ​​derivadas dimensionais correspondentes . Assim, os componentes principais dimensionais fornecem a melhor aproximação linear de classificação da matriz de dados observada . ${\ displaystyle L_ {k} = V_ {k},}$${\ displaystyle k}$${\ displaystyle \ mathbf {z} _ {i} = \ mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} \ mathbf {x} _ {i},}$${\ displaystyle k}$${\ displaystyle k}$${\ displaystyle k}$${\ displaystyle \ mathbf {X}}$

O erro de reconstrução correspondente é dado por:

${\ displaystyle \ sum _ {i = 1} ^ {n} \ left \ | \ mathbf {x} _ {i} -V_ {k} \ mathbf {x} _ {i} ^ {k} \ right \ | ^ {2} = {\ begin {cases} \ sum _ {j = k + 1} ^ {n} \ lambda _ {j} & 1 \ leqslant k <p \\ 0 & k = p \ end {cases}}}$

Assim, qualquer redução de dimensão potencial pode ser alcançada escolhendo o número de componentes principais a serem usados, por meio de limiares apropriados na soma cumulativa dos valores próprios de . Uma vez que os autovalores menores não contribuem significativamente para a soma cumulativa, os componentes principais correspondentes podem continuar a ser eliminados, desde que o limite desejado não seja excedido. Os mesmos critérios também podem ser usados ​​para abordar a questão da multicolinearidade , em que os componentes principais correspondentes aos autovalores menores podem ser ignorados, desde que o limite seja mantido. ${\ displaystyle k}$${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$

Efeito de regularização

Como o estimador de PCR normalmente usa apenas um subconjunto de todos os componentes principais para a regressão, ele pode ser visto como uma espécie de procedimento regularizado . Mais especificamente, para qualquer um , o estimador de PCR denota a solução regularizada para o seguinte problema de minimização restrita : ${\ displaystyle 1 \ leqslant k <p}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$

${\ displaystyle \ min _ {{\ boldsymbol {\ beta}} _ {*} \ in \ mathbb {R} ^ {p}} \ left \ | \ mathbf {Y} - \ mathbf {X} {\ boldsymbol { \ beta}} _ {*} \ right \ | ^ {2} \ quad {\ text {sujeito a}} \ quad {\ boldsymbol {\ beta}} _ {*} \ perp \ {\ mathbf {v} _ {k + 1}, \ cdots, \ mathbf {v} _ {p} \}.}$

A restrição pode ser escrita de forma equivalente:

${\ displaystyle V _ {(pk)} ^ {T} {\ boldsymbol {\ beta}} _ {*} = \ mathbf {0},}$

Onde:

${\ displaystyle V _ {(pk)} = \ left [\ mathbf {v} _ {k + 1}, \ cdots, \ mathbf {v} _ {p} \ right] _ {p \ times (pk)}. }$

Assim, quando apenas um subconjunto adequado de todos os componentes principais é selecionado para regressão, o estimador de PCR assim obtido é baseado em uma forma rígida de regularização que restringe a solução resultante ao espaço da coluna das direções do componente principal selecionado e, consequentemente, restringe para ser ortogonal às direções excluídas.

Optimalidade de PCR entre uma classe de estimadores regularizados

Dado o problema de minimização restrita conforme definido acima, considere a seguinte versão generalizada dele:

${\ displaystyle \ min _ {{\ boldsymbol {\ beta}} _ {*} \ in \ mathbb {R} ^ {p}} \ | \ mathbf {Y} - \ mathbf {X} {\ boldsymbol {\ beta }} _ {*} \ | ^ {2} \ quad {\ text {sujeito a}} \ quad L _ {(pk)} ^ {T} {\ boldsymbol {\ beta}} _ {*} = \ mathbf { 0}}$

onde, denota qualquer matriz de classificação de coluna completa de ordem com . ${\ displaystyle L _ {(pk)}}$${\ displaystyle p \ times (pk)}$${\ displaystyle 1 \ leqslant k <p}$

Deixe denotar a solução correspondente. Desse modo ${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {L}}$

${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {L} = \ arg \ min _ {{\ boldsymbol {\ beta}} _ {*} \ in \ mathbb {R} ^ {p}} \ | \ mathbf {Y} - \ mathbf {X} {\ boldsymbol {\ beta}} _ {*} \ | ^ {2} \ quad {\ text {sujeito a}} \ quad L _ {(pk)} ^ {T} {\ boldsymbol {\ beta}} _ {*} = \ mathbf {0}.}$

Então, a escolha ótima da matriz de restrição para a qual o estimador correspondente atinge o erro mínimo de predição é dada por: ${\ displaystyle L _ {(pk)}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {L}}$

${\ displaystyle L _ {(pk)} ^ {*} = V _ {(pk)} \ Lambda _ {(pk)} ^ {1/2},}$

Onde

${\ displaystyle \ Lambda _ {(pk)} ^ {1/2} = \ operatorname {diag} \ left (\ lambda _ {k + 1} ^ {1/2}, \ ldots, \ lambda _ {p} ^ {1/2} \ right).}$

Muito claramente, o estimador ótimo resultante é então simplesmente dado pelo estimador PCR com base nos primeiros componentes principais. ${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {L ^ {*}}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$${\ displaystyle k}$

Eficiência

Uma vez que o estimador de mínimos quadrados ordinários é imparcial para , temos ${\ displaystyle {\ boldsymbol {\ beta}}}$

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) = \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}),}$

onde, MSE denota o erro quadrático médio . Agora, se para alguns , temos adicionalmente:, então o correspondente também é imparcial para e, portanto, ${\ displaystyle k \ in \ {1, \ cdots, p \}}$${\ displaystyle V _ {(pk)} ^ {T} {\ boldsymbol {\ beta}} = \ mathbf {0}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$${\ displaystyle {\ boldsymbol {\ beta}}}$

${\ displaystyle \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) = \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) .}$

Já vimos isso

${\ displaystyle \ forall j \ in \ {1, \ cdots, p \}: \ quad \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {j}) \ sucq 0,}$

o que então implica:

${\ displaystyle \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) \ sucq 0}$

para aquele particular . Assim, nesse caso, o correspondente seria um estimador mais eficiente de em comparação com , com base no uso do erro quadrático médio como critério de desempenho. Além disso, qualquer forma linear do correspondente também teria um erro quadrático médio mais baixo em comparação com a mesma forma linear de . ${\ displaystyle k}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$${\ displaystyle {\ boldsymbol {\ beta}}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}}$

Agora, suponha que seja um dado . Então, o correspondente é tendencioso para . No entanto, desde ${\ displaystyle k \ in \ {1, \ cdots, p \}, V _ {(pk)} ^ {T} {\ boldsymbol {\ beta}} \ neq \ mathbf {0}}$${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}} _ {k}}$${\ displaystyle {\ boldsymbol {\ beta}}}$

${\ displaystyle \ forall k \ in \ {1, \ cdots, p \}: \ quad \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {Var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) \ successq 0,}$

ainda é possível que , especialmente se for tal, que os componentes principais excluídos correspondam aos autovalores menores, resultando assim em viés inferior . ${\ displaystyle \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}) - \ operatorname {MSE} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) \ sucq 0}$${\ displaystyle k}$

A fim de garantir uma estimativa eficiente e desempenho de previsão de PCR como um estimador de , Park (1981) propõe a seguinte diretriz para selecionar os componentes principais a serem usados ​​para a regressão: Abandone o componente principal se e somente se Implementação prática desta diretriz, é claro requer estimativas para os parâmetros desconhecidos do modelo e . Em geral, eles podem ser estimados usando as estimativas de mínimos quadrados irrestritos obtidas do modelo completo original. Park (1981), entretanto, fornece um conjunto ligeiramente modificado de estimativas que podem ser mais adequadas para esse propósito. ${\ displaystyle {\ boldsymbol {\ beta}}}$${\ displaystyle j ^ {th}}$${\ displaystyle \ lambda _ {j} <(p \ sigma ^ {2}) / {\ boldsymbol {\ beta}} ^ {T} {\ boldsymbol {\ beta}}.}$${\ displaystyle \ sigma ^ {2}}$${\ displaystyle {\ boldsymbol {\ beta}}}$

Ao contrário dos critérios baseados na soma cumulativa dos autovalores de , que é provavelmente mais adequado para abordar o problema de multicolinearidade e para realizar a redução de dimensão, os critérios acima realmente tentam melhorar a eficiência de previsão e estimativa do estimador de PCR envolvendo tanto o resultado bem como as covariáveis ​​no processo de seleção dos componentes principais a serem usados ​​na etapa de regressão. Abordagens alternativas com objetivos semelhantes incluem a seleção dos componentes principais com base na validação cruzada ou nos critérios C _{p de} Mallow . Freqüentemente, os componentes principais também são selecionados com base em seu grau de associação com o resultado. ${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$

Efeito de encolhimento do PCR

Em geral, PCR é essencialmente um estimador de redução que geralmente retém os componentes principais de alta variância (correspondendo aos autovalores mais elevados de ) como covariáveis ​​no modelo e descarta os componentes de baixa variância restantes (correspondentes aos autovalores mais baixos de ). Assim, ele exerce um efeito de retração discreto nos componentes de baixa variância anulando sua contribuição completamente no modelo original. Em contraste, o estimador de regressão de crista exerce um efeito de encolhimento suave por meio do parâmetro de regularização (ou o parâmetro de ajuste) inerentemente envolvido em sua construção. Embora não descarte completamente nenhum dos componentes, ele exerce um efeito de retração sobre todos eles de maneira contínua, de modo que a extensão da retração seja maior para os componentes de baixa variância e menor para os componentes de alta variância. Frank e Friedman (1993) concluem que para o propósito de predição em si, o estimador de crista, devido ao seu efeito de retração suave, é talvez uma escolha melhor em comparação com o estimador de PCR com um efeito de retração discreto. ${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$${\ displaystyle \ mathbf {X} ^ {T} \ mathbf {X}}$

Além disso, os componentes principais são obtidos da autodescomposição de que envolve as observações apenas para as variáveis ​​explicativas. Portanto, o estimador de PCR resultante obtido do uso desses componentes principais como covariáveis ​​não precisa necessariamente ter um desempenho preditivo satisfatório para o resultado. Um estimador um tanto semelhante que tenta resolver esse problema por meio de sua própria construção é o estimador de mínimos quadrados parciais (PLS). Semelhante ao PCR, o PLS também usa covariáveis ​​derivadas de dimensões inferiores. No entanto, ao contrário da PCR, as covariáveis ​​derivadas para PLS são obtidas com base no uso do resultado e das covariáveis. Enquanto o PCR busca as direções de alta variância no espaço das covariáveis, o PLS busca as direções no espaço da covariável que são mais úteis para a previsão do resultado. ${\ displaystyle \ mathbf {X}}$

Recentemente, uma variante do PCR clássico conhecido como PCR supervisionado foi proposta por Bair, Hastie, Paul e Tibshirani (2006). Em um espírito semelhante ao do PLS, ele tenta obter covariáveis ​​derivadas de dimensões inferiores com base em um critério que envolve tanto o resultado quanto as covariáveis. O método começa executando um conjunto de regressões lineares simples (ou regressões univariadas) em que o vetor de resultado é regredido separadamente em cada uma das covariáveis ​​tomadas uma de cada vez. Então, para alguns , as primeiras covariáveis ​​que acabam sendo as mais correlacionadas com o resultado (com base no grau de significância dos coeficientes de regressão estimados correspondentes) são selecionadas para uso posterior. Um PCR convencional, conforme descrito anteriormente, é então realizado, mas agora é baseado apenas na matriz de dados correspondente às observações para as covariáveis ​​selecionadas. O número de covariáveis ​​usadas: e o número subsequente de componentes principais usados: são normalmente selecionados por validação cruzada . ${\ displaystyle p}$ ${\ displaystyle p}$${\ displaystyle m \ in \ {1, \ ldots, p \}}$${\ displaystyle m}$${\ displaystyle n \ times m}$${\ displaystyle m \ in \ {1, \ ldots, p \}}$${\ displaystyle k \ in \ {1, \ ldots, m \}}$

Generalização para configurações do kernel

O método de PCR clássico, conforme descrito acima, é baseado no PCA clássico e considera um modelo de regressão linear para prever o resultado com base nas covariáveis. No entanto, ele pode ser facilmente generalizado para uma configuração de máquina de kernel em que a função de regressão não precisa ser necessariamente linear nas covariáveis, mas em vez disso pode pertencer ao Espaço de Hilbert do Kernel Reprodutor associado a qualquer arbitrário (possivelmente não linear ), simétrico positivo- kernel definido . O modelo de regressão linear acaba sendo um caso especial dessa configuração quando a função kernel é escolhida para ser o kernel linear .

Em geral, sob a máquina de kernel configuração, o vector de co-variáveis é primeiro mapeados em um de alta dimensional (potencialmente infinito-dimensional ) espaço de características caracterizado pela função de núcleo escolhida. O mapeamento assim obtido é conhecido como mapa de feições e cada uma de suas coordenadas , também conhecidas como elementos de feições , corresponde a uma feição (pode ser linear ou não linear ) das covariáveis. A função de regressão é então considerada uma combinação linear desses elementos de recurso . Assim, o modelo de regressão subjacente na configuração da máquina do kernel é essencialmente um modelo de regressão linear com o entendimento de que, em vez do conjunto original de covariáveis, os preditores agora são dados pelo vetor (potencialmente infinito-dimensional ) de elementos de característica obtidos pela transformação do covariáveis ​​reais usando o mapa de recursos .

No entanto, o truque do kernel realmente nos permite operar no espaço de recursos sem nunca computar explicitamente o mapa de recursos . Acontece que é apenas suficiente calcular os produtos internos dos pares entre os mapas de características para os vetores covariáveis ​​observados e esses produtos internos são simplesmente dados pelos valores da função kernel avaliada nos pares correspondentes de vetores covariáveis. Os produtos internos emparelhados assim obtidos podem, portanto, ser representados na forma de uma matriz definida não negativa simétrica, também conhecida como matriz de kernel . ${\ displaystyle n \ times n}$

O PCR na configuração da máquina do kernel pode agora ser implementado primeiro centralizando apropriadamente esta matriz do kernel (K, digamos) em relação ao espaço de recursos e, em seguida, realizando um PCA do kernel na matriz do kernel centralizado (K ', digamos) em que uma decomposição automática de K ' é obtido. Kernel PCR prossegue então (normalmente) selecionando um subconjunto de todos os autovetores assim obtidos e, em seguida, executando uma regressão linear padrão do vetor de resultado nesses autovetores selecionados . Os autovetores a serem usados ​​para a regressão são geralmente selecionados por meio de validação cruzada . Os coeficientes de regressão estimados (tendo a mesma dimensão que o número de autovetores selecionados) junto com os autovetores selecionados correspondentes são então usados ​​para prever o resultado para uma observação futura. No aprendizado de máquina , essa técnica também é conhecida como regressão espectral .

Claramente, o PCR do kernel tem um efeito de retração discreto nos autovetores de K ', bastante semelhante ao efeito de retração discreto do PCR clássico nos componentes principais, como discutido anteriormente. No entanto, o mapa de recursos associado ao kernel escolhido pode ser potencialmente infinito e, portanto, os componentes principais correspondentes e as direções dos componentes principais também podem ser infinitos. Portanto, essas quantidades são quase sempre intratáveis ​​na configuração da máquina do kernel. O PCR de kernel basicamente resolve esse problema considerando uma formulação dupla equivalente com base no uso da decomposição espectral da matriz de kernel associada. Sob o modelo de regressão linear (que corresponde a escolher a função kernel como o kernel linear), isso equivale a considerar uma decomposição espectral da matriz kernel correspondente e, em seguida, regredir o vetor de resultado em um subconjunto selecionado dos autovetores assim obtidos. Pode ser facilmente mostrado que isso é o mesmo que regredir o vetor de resultado nos componentes principais correspondentes (que são de dimensão finita, neste caso), conforme definido no contexto do PCR clássico. Assim, para o kernel linear, o PCR do kernel baseado em uma formulação dupla é exatamente equivalente ao PCR clássico baseado em uma formulação primária. No entanto, para kernels arbitrários (e possivelmente não lineares), esta formulação primária pode se tornar intratável devido à dimensionalidade infinita do mapa de características associado. Assim, o PCR clássico torna-se praticamente inviável nesse caso, mas o PCR do kernel com base na formulação dupla ainda permanece válido e computacionalmente escalável. ${\ displaystyle n \ times n}$${\ displaystyle \ mathbf {X} \ mathbf {X} ^ {T}}$${\ displaystyle \ mathbf {X} \ mathbf {X} ^ {T}}$

Veja também

• Análise do componente principal
• Regressão de mínimos quadrados parciais
• Regressão de cume
• Aprendizagem subespaço multilinear
• Correlação canônica
• Regressão de Deming
• Soma total dos quadrados

Referências

Leitura adicional

• Amemiya, Takeshi (1985). Econometria avançada . Harvard University Press. pp.  57–60 . ISBN   978-0-674-00560-0 .
• Theil, Henri (1971). Princípios de Econometria . Wiley. pp.  46–55 . ISBN   978-0-471-85845-4 .