Em estatísticas , regressão linear múltipla Bayesiana é um
Bayesiana abordagem para multivariada de regressão linear , ou seja, de regressão linear em que o resultado previsto é um vector de correlacionadas variáveis aleatórias , em vez de uma única variável aleatória escalar. Um tratamento mais geral desta abordagem pode ser encontrada no artigo estimador MMSE .
detalhes
Considere-se um problema de regressão onde a variável dependente a ser previsto não é um único valor real escalar mas um m vetor -length de números reais correlacionados. Tal como na configuração de regressão padrão, existem n para observações, onde cada observação i consiste em k -1
variáveis explanatórias , agrupados num vector
de comprimento k (em que uma variável binária com um valor de 1 foi adicionado para permitir a um coeficiente de intercepção ). Isto pode ser visto como um conjunto de m problemas de regressão relacionado para cada observação i :
onde o conjunto de erros
estão correlacionados. De forma equivalente, pode ser visto como um único problema de regressão em que o resultado é um vector de linha
e os vectores de coeficiente de regressão são empilhados ao lado do outro, como se segue:
A matriz dos coeficientes B é uma matriz em que os vectores de coeficiente para cada problema de regressão são empilhados horizontalmente:
O vector de ruído para cada observação i
é solidariamente normal, de modo que os resultados para uma determinada observação estão correlacionadas:
Podemos escrever todo o problema de regressão na forma matricial como:
onde Y e E são matrizes. A matriz de design X é uma matriz com as observações empilhados verticalmente, como no padrão de regressão linear de configuração:
O clássico, frequentistas lineares mínimos quadrados solução é simplesmente estimar a matriz de coeficientes de regressão utilizando o Moore-Penrose pseudoinverse :
-
.
Para obter a solução Bayesiana, precisamos especificar a probabilidade condicional e, em seguida, encontrar o conjugado apropriado antes. Tal como acontece com o caso univariado de regressão Bayesiana linear , vamos descobrir que podemos especificar um conjugado condicional naturais antes (que é dependente de escala).
Vamos escrever nossa probabilidade condicional como
escrever o erro em termos de e rendimentos
Procuramos um conjugado natural, antes-uma densidade conjunta que é da mesma forma funcional como a probabilidade. Desde a probabilidade está em quadrática , nós re-escrever a probabilidade por isso é normal em (o desvio da estimativa amostra clássica).
Usando a mesma técnica com regressão linear Bayesiana , que decompor o termo exponencial usando uma forma-matriz da técnica de soma de quadrados. Aqui, no entanto, vamos também precisar usar o Matrix Cálculo Diferencial ( produto de Kronecker e vectorização transformações).
Primeiro, vamos aplicar soma de quadrados para obter nova expressão para a probabilidade:
Gostaríamos de desenvolver uma forma condicional para os priores:
onde é uma distribuição inversa-Wishart
e é uma forma de distribuição normal na matriz . Isto é conseguido usando a vectorização de transformação, o qual converte a probabilidade de uma função das matrizes para uma função dos vectores .
Escrever
Deixei
onde indica o produto de Kronecker de matrizes A e B , uma generalização do produto externo que multiplica uma matriz por uma matriz para gerar uma matriz, que consiste em todas as combinações de produtos de elementos a partir de duas matrizes.
Então
o que levará a uma probabilidade que é normal em .
Com a probabilidade de uma forma mais tratável, agora podemos encontrar um (condicional) conjugado naturais antes.
distribuição antes conjugado
O conjugado natural, antes usando a variável vectorizado é da forma:
-
,
Onde
e
distribuição a posteriori
Usando o acima probabilidade antes e, a distribuição a posteriori podem ser expressos como:
onde . Os termos que envolvem podem ser agrupados (com ) usando:
-
,
com
-
.
Isto permite-nos agora para escrever o posterior de uma forma mais útil:
-
.
Este assume a forma de um inversas-Wishart distribuição vezes uma distribuição normal de Matrix :
e
-
.
Os parâmetros desta posterior são dadas por:
Veja também
Referências