Regressão linear bayesiana - Bayesian linear regression

Em estatística , a regressão linear bayesiana é uma abordagem da regressão linear em que a análise estatística é realizada no contexto da inferência bayesiana . Quando o modelo de regressão tem erros com distribuição normal , e se uma forma particular de distribuição anterior é assumida, resultados explícitos estão disponíveis para as distribuições de probabilidade posteriores dos parâmetros do modelo.

Configuração do modelo

Considere um problema de regressão linear padrão , em que especificamos a média da distribuição condicional de um determinado vetor preditor :

onde é um vetor, e são variáveis ​​aleatórias independentes e normalmente distribuídas de forma idêntica :

Isso corresponde à seguinte função de verossimilhança :

A solução de mínimos quadrados ordinários é usada para estimar o vetor de coeficiente usando o pseudoinverso Moore-Penrose :

onde está a matriz de design , cada linha da qual é um vetor preditor ; e é a coluna -vetor .

Esta é uma abordagem frequentista e assume que há medidas suficientes para dizer algo significativo . Na abordagem bayesiana , os dados são complementados com informações adicionais na forma de uma distribuição de probabilidade anterior . A crença anterior sobre os parâmetros é combinada com a função de verossimilhança dos dados de acordo com o teorema de Bayes para produzir a crença posterior sobre os parâmetros e . O prior pode assumir diferentes formas funcionais dependendo do domínio e das informações disponíveis a priori .

Com antecedentes conjugados

Conjugado distribuição anterior

Para uma distribuição anterior arbitrária, pode não haver solução analítica para a distribuição posterior . Nesta seção, consideraremos um assim chamado conjugado anterior para o qual a distribuição posterior pode ser derivada analiticamente.

Um prior é conjugado a esta função de verossimilhança se tiver a mesma forma funcional em relação a e . Uma vez que a probabilidade logarítmica é quadrática em , a probabilidade logarítmica é reescrita de modo que a probabilidade se torne normal em . Escreva

A probabilidade agora foi reescrita como

Onde

onde é o número de coeficientes de regressão.

Isso sugere um formulário para o anterior:

onde é uma distribuição gama inversa

Na notação introduzida no artigo de distribuição gama inversa , esta é a densidade de uma distribuição com e com e como os valores anteriores de e , respectivamente. Equivalentemente, também pode ser descrito como uma distribuição qui-quadrada inversa em escala ,

Além disso, a densidade prévia condicional é uma distribuição normal ,

Na notação da distribuição normal , a distribuição condicional a priori é

Distribuição posterior

Com o prior agora especificado, a distribuição posterior pode ser expressa como

Com algum rearranjo, o posterior pode ser reescrito de modo que a média posterior do vetor de parâmetro possa ser expressa em termos do estimador de mínimos quadrados e a média anterior , com a força do anterior indicada pela matriz de precisão anterior

Para justificar que é de fato a média posterior, os termos quadráticos no exponencial podem ser reorganizados como uma forma quadrática em .

Agora, o posterior pode ser expresso como uma distribuição normal vezes uma distribuição gama inversa :

Portanto, a distribuição posterior pode ser parametrizada da seguinte maneira.

onde os dois fatores correspondem às densidades e distribuições, com os parâmetros destes dados por

Isso pode ser interpretado como aprendizagem Bayesiana, onde os parâmetros são atualizados de acordo com as seguintes equações.

Evidência de modelo

A evidência do modelo é a probabilidade dos dados dados o modelo . Também é conhecido como probabilidade marginal e como densidade preditiva anterior . Aqui, o modelo é definido pela função de verossimilhança e pela distribuição anterior dos parâmetros, ou seja . A evidência do modelo captura em um único número quão bem esse modelo explica as observações. A evidência do modelo do modelo de regressão linear Bayesiana apresentada nesta seção pode ser usada para comparar modelos lineares concorrentes por comparação de modelo Bayesiano . Esses modelos podem diferir no número e nos valores das variáveis ​​preditoras, bem como em seus antecedentes nos parâmetros do modelo. A complexidade do modelo já é levada em consideração pela evidência do modelo, porque ela marginaliza os parâmetros ao integrar todos os valores possíveis de e .

Essa integral pode ser calculada analiticamente e a solução é dada na seguinte equação.

Aqui denota a função gama . Como escolhemos um conjugado a priori, a probabilidade marginal também pode ser facilmente calculada avaliando a seguinte igualdade para valores arbitrários de e .

Observe que esta equação nada mais é do que um rearranjo do teorema de Bayes . Inserir as fórmulas para o anterior, a verossimilhança e o posterior e simplificar a expressão resultante leva à expressão analítica fornecida acima.

Outros casos

Em geral, pode ser impossível ou impraticável derivar a distribuição posterior analiticamente. No entanto, é possível aproximar a posterior por um método de inferência Bayesiana aproximada , como a amostragem de Monte Carlo ou Bayes variacional .

O caso especial é chamado de regressão de crista .

Uma análise semelhante pode ser realizada para o caso geral da regressão multivariada e parte disso fornece a estimativa bayesiana de matrizes de covariância : ver regressão linear multivariada bayesiana .

Veja também

Notas

Referências

  • Box, GEP ; Tiao, GC (1973). Inferência Bayesiana em Análise Estatística . Wiley. ISBN   0-471-57428-7 .
  • Carlin, Bradley P .; Louis, Thomas A. (2008). Métodos Bayesianos para Análise de Dados, Terceira Edição . Boca Raton, FL: Chapman e Hall / CRC. ISBN   1-58488-697-8 .
  • Fahrmeir, L .; Kneib, T .; Lang, S. (2009). Regressão. Modelle, Methoden und Anwendungen (Segunda ed.). Heidelberg: Springer. doi : 10.1007 / 978-3-642-01837-4 . ISBN   978-3-642-01836-7 .
  • Fornalski KW; Parzych G .; Pylak M .; Satuła D .; Dobrzyński L. (2010). "Aplicação do raciocínio Bayesiano e do Método da Máxima Entropia a alguns problemas de reconstrução" . Acta Physica Polonica Uma . 117 (6): 892–899. doi : 10.12693 / APhysPolA.117.892 .
  • Fornalski, Krzysztof W. (2015). "Aplicações da análise de regressão Bayesiana robusta". International Journal of Society Systems Science . 7 (4): 314–333. doi : 10.1504 / IJSSS.2015.073223 .
  • Gelman, Andrew ; Carlin, John B .; Stern, Hal S .; Rubin, Donald B. (2003). Análise de dados bayesiana, segunda edição . Boca Raton, FL: Chapman e Hall / CRC. ISBN   1-58488-388-X .
  • Goldstein, Michael; Wooff, David (2007). Estatística Linear de Bayes, Teoria e Métodos . Wiley. ISBN   978-0-470-01562-9 .
  • Minka, Thomas P. (2001) Bayesian Linear Regression , página de pesquisa da Microsoft
  • Rossi, Peter E .; Allenby, Greg M .; McCulloch, Robert (2006). Estatística Bayesiana e Marketing . John Wiley & Sons. ISBN   0470863676 .
  • O'Hagan, Anthony (1994). Inferência Bayesiana . Teoria Avançada de Estatística de Kendall. 2B (primeira edição). Halsted. ISBN   0-340-52922-9 .
  • Sivia, DS; Skilling, J. (2006). Análise de dados - um tutorial bayesiano (segunda edição). Imprensa da Universidade de Oxford.
  • Walter, Gero; Augustin, Thomas (2009). "Regressão Linear Bayesiana - Diferentes Modelos Conjugados e Sua (In) Sensibilidade ao Conflito de Dados Prévios" (PDF) . Relatório Técnico Número 069, Departamento de Estatística, Universidade de Munique .

links externos