regressão linear múltipla Bayesian - Bayesian multivariate linear regression

Em estatísticas , regressão linear múltipla Bayesiana é um Bayesiana abordagem para multivariada de regressão linear , ou seja, de regressão linear em que o resultado previsto é um vector de correlacionadas variáveis aleatórias , em vez de uma única variável aleatória escalar. Um tratamento mais geral desta abordagem pode ser encontrada no artigo estimador MMSE .

detalhes

Considere-se um problema de regressão onde a variável dependente a ser previsto não é um único valor real escalar mas um m vetor -length de números reais correlacionados. Tal como na configuração de regressão padrão, existem n para observações, onde cada observação i consiste em k -1 variáveis explanatórias , agrupados num vector de comprimento k (em que uma variável binária com um valor de 1 foi adicionado para permitir a um coeficiente de intercepção ). Isto pode ser visto como um conjunto de m problemas de regressão relacionado para cada observação i :

onde o conjunto de erros estão correlacionados. De forma equivalente, pode ser visto como um único problema de regressão em que o resultado é um vector de linha e os vectores de coeficiente de regressão são empilhados ao lado do outro, como se segue:

A matriz dos coeficientes B é uma matriz em que os vectores de coeficiente para cada problema de regressão são empilhados horizontalmente:

O vector de ruído para cada observação i é solidariamente normal, de modo que os resultados para uma determinada observação estão correlacionadas:

Podemos escrever todo o problema de regressão na forma matricial como:

onde Y e E são matrizes. A matriz de design X é uma matriz com as observações empilhados verticalmente, como no padrão de regressão linear de configuração:

O clássico, frequentistas lineares mínimos quadrados solução é simplesmente estimar a matriz de coeficientes de regressão utilizando o Moore-Penrose pseudoinverse :

.

Para obter a solução Bayesiana, precisamos especificar a probabilidade condicional e, em seguida, encontrar o conjugado apropriado antes. Tal como acontece com o caso univariado de regressão Bayesiana linear , vamos descobrir que podemos especificar um conjugado condicional naturais antes (que é dependente de escala).

Vamos escrever nossa probabilidade condicional como

escrever o erro em termos de e rendimentos

Procuramos um conjugado natural, antes-uma densidade conjunta que é da mesma forma funcional como a probabilidade. Desde a probabilidade está em quadrática , nós re-escrever a probabilidade por isso é normal em (o desvio da estimativa amostra clássica).

Usando a mesma técnica com regressão linear Bayesiana , que decompor o termo exponencial usando uma forma-matriz da técnica de soma de quadrados. Aqui, no entanto, vamos também precisar usar o Matrix Cálculo Diferencial ( produto de Kronecker e vectorização transformações).

Primeiro, vamos aplicar soma de quadrados para obter nova expressão para a probabilidade:

Gostaríamos de desenvolver uma forma condicional para os priores:

onde é uma distribuição inversa-Wishart e é uma forma de distribuição normal na matriz . Isto é conseguido usando a vectorização de transformação, o qual converte a probabilidade de uma função das matrizes para uma função dos vectores .

Escrever

Deixei

onde indica o produto de Kronecker de matrizes A e B , uma generalização do produto externo que multiplica uma matriz por uma matriz para gerar uma matriz, que consiste em todas as combinações de produtos de elementos a partir de duas matrizes.

Então

o que levará a uma probabilidade que é normal em .

Com a probabilidade de uma forma mais tratável, agora podemos encontrar um (condicional) conjugado naturais antes.

distribuição antes conjugado

O conjugado natural, antes usando a variável vectorizado é da forma:

,

Onde

e

distribuição a posteriori

Usando o acima probabilidade antes e, a distribuição a posteriori podem ser expressos como:

onde . Os termos que envolvem podem ser agrupados (com ) usando:

,

com

.

Isto permite-nos agora para escrever o posterior de uma forma mais útil:

.

Este assume a forma de um inversas-Wishart distribuição vezes uma distribuição normal de Matrix :

e

.

Os parâmetros desta posterior são dadas por:

Veja também

Referências

  • Box, GEP ; Tiao, GC (1973). "8". Inferência Bayesiana na análise estatística . Wiley. ISBN  0-471-57428-7 .
  • Geisser, S. (1965). "Bayesian Estimativa Na análise multivariada". Os Anais de Estatística Matemática . 36 (1): 150 & ndash, 159. JSTOR  2.238.083 .
  • Tiao, GC; Zellner, A. (1964). "Por Bayesian Estimativa de multivariada de regressão". Journal of Royal Statistical Society. Série B (metodológico) . 26 (2): 277 & ndash, 285. JSTOR  2.984.424 .