Modelo Probit - Probit model

Parte de uma série sobre
Análise de regressão
Modelos
Regressão linear Regressão simples Regressão polinomial Modelo linear geral
Modelo linear generalizado Escolha discreta Regressão binomial Regressão binária Regressão logística Regressão logística multinomial Logit misto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinível Efeitos fixos Efeitos aleatórios Modelo linear de efeitos mistos Modelo de efeitos mistos não linear
Regressão não linear Não paramétrico Semiparamétrico Robusto Quantil Isotônico Componentes principais Ângulo mínimo Local Segmentado
Erros em variáveis
Estimativa
Mínimos quadrados Linear Não linear
Ordinário Pesada Generalizado
Parcial Total Não negativo Regressão de cume Regularizado
Desvios mínimos absolutos Reponderado iterativamente Bayesiano Multivariada bayesiana
Fundo
Validação de regressão Resposta média e prevista Erros e residuais Qualidade de ajuste Resíduo estudantizado Teorema de Gauss-Markov
Portal de matemática
v t e

Em estatística , um modelo probit é um tipo de regressão em que a variável dependente pode assumir apenas dois valores, por exemplo casado ou não casado. A palavra é uma maleta , vindo de prov capacidade + un -lo . O objetivo do modelo é estimar a probabilidade de que uma observação com características particulares caia em uma das categorias específicas; além disso, classificar observações com base em suas probabilidades previstas é um tipo de modelo de classificação binário .

Um modelo probit é uma especificação popular para um modelo de resposta binária . Como tal, trata o mesmo conjunto de problemas que a regressão logística usando técnicas semelhantes. Quando visualizado na estrutura do modelo linear generalizado , o modelo probit emprega uma função de ligação probit . É mais frequentemente estimado usando o procedimento de máxima verossimilhança , tal estimativa sendo chamada de regressão probit .

Estrutura conceitual

Suponha que uma variável de resposta Y seja binária , ou seja, pode ter apenas dois resultados possíveis que denotaremos como 1 e 0. Por exemplo, Y pode representar a presença / ausência de uma determinada condição, sucesso / falha de algum dispositivo, responda sim / não de um levantamento, etc. que também têm um vector de regressores X , os quais são assumidos para influenciar o resultado Y . Especificamente, assumimos que o modelo assume a forma

${\ displaystyle \ Pr (Y = 1 \ mid X) = \ Phi (X ^ {T} \ beta),}$

onde Pr denota probabilidade e Φ é a Função de Distribuição Cumulativa ( CDF ) da distribuição normal padrão . Os parâmetros β são normalmente estimados por máxima verossimilhança .

É possível motivar o modelo probit como um modelo de variável latente . Suponha que exista uma variável aleatória auxiliar

${\ displaystyle Y ^ {\ ast} = X ^ {T} \ beta + \ varepsilon,}$

onde ε ~ N (0, 1). Então, Y pode ser visto como um indicador para saber se esta variável latente é positiva:

${\ displaystyle Y = \ left. {\ begin {cases} 1 & Y ^ {*}> 0 \\ 0 & {\ text {caso contrário}} \ end {cases}} \ right \} = \ left. {\ begin {cases } 1 & X ^ {T} \ beta + \ varepsilon> 0 \\ 0 & {\ text {caso contrário}} \ end {cases}} \ right \}}$

O uso da distribuição normal padrão não causa perda de generalidade em comparação com o uso de uma distribuição normal com uma média e desvio padrão arbitrários, porque adicionar um valor fixo à média pode ser compensado subtraindo o mesmo valor da interceptação e multiplicando o desvio padrão por um valor fixo pode ser compensado multiplicando os pesos pelo mesmo valor.

Para ver que os dois modelos são equivalentes, observe que

${\ displaystyle {\ begin {alinhado} \ Pr (Y = 1 \ mid X) & = \ Pr (Y ^ {\ ast}> 0) \\ & = \ Pr (X ^ {T} \ beta + \ varejpsilon > 0) \\ & = \ Pr (\ varepsilon> -X ^ {T} \ beta) \\ & = \ Pr (\ varepsilon <X ^ {T} \ beta) & {\ text {por simetria do normal distribuição}} \\ & = \ Phi (X ^ {T} \ beta) \ end {alinhado}}}$

Estimativa de modelo

Estimativa de máxima verossimilhança

Suponha que o conjunto de dados contenha n unidades estatísticas independentes correspondentes ao modelo acima. ${\ displaystyle \ {y_ {i}, x_ {i} \} _ {i = 1} ^ {n}}$

Para a observação única, condicionada ao vetor de entradas dessa observação, temos:

${\ displaystyle Pr (y_ {i} = 1 | x_ {i}) = \ Phi (x_ {i} '\ beta)}$

${\ displaystyle Pr (y_ {i} = 0 | x_ {i}) = 1- \ Phi (x_ {i} '\ beta)}$

onde é um vetor de entradas e é um vetor de coeficientes. ${\ displaystyle x_ {i}}$${\ displaystyle K \ times 1}$${\ displaystyle \ beta}$${\ displaystyle K \ times 1}$

A probabilidade de uma única observação é então ${\ displaystyle (y_ {i}, x_ {i})}$

${\ displaystyle {\ mathcal {L}} (\ beta; y_ {i}, x_ {i}) = \ Phi (x_ {i} '\ beta) ^ {y_ {i}} [1- \ Phi (x_ {i} '\ beta)] ^ {(1-y_ {i})}}$

Na verdade, se , então , e se , então . ${\ displaystyle y_ {i} = 1}$${\ displaystyle {\ mathcal {L}} (\ beta; y_ {i}, x_ {i}) = \ Phi (x_ {i} '\ beta)}$${\ displaystyle y_ {i} = 0}$${\ displaystyle {\ mathcal {L}} (\ beta; y_ {i}, x_ {i}) = 1- \ Phi (x_ {i} '\ beta)}$

Uma vez que as observações são independentes e distribuídas de forma idêntica, a probabilidade de toda a amostra, ou a probabilidade conjunta , será igual ao produto das probabilidades das observações únicas:

${\ displaystyle {\ mathcal {L}} (\ beta; Y, X) = \ prod _ {i = 1} ^ {n} \ left (\ Phi (x_ {i} '\ beta) ^ {y_ {i }} [1- \ Phi (x_ {i} '\ beta)] ^ {(1-y_ {i})} \ right)}$

A função de verossimilhança conjunta é, portanto,

${\ displaystyle \ ln {\ mathcal {L}} (\ beta; Y, X) = \ sum _ {i = 1} ^ {n} {\ bigg (} y_ {i} \ ln \ Phi (x_ {i } '\ beta) + (1-y_ {i}) \ ln \! {\ big (} 1- \ Phi (x_ {i}' \ beta) {\ big)} {\ bigg)}}$

O estimador que maximiza esta função será consistente , assintoticamente normal e eficiente desde que E [ XX ' ] exista e não seja singular. Pode-se mostrar que esta função log-verossimilhança é globalmente côncava em β e, portanto, algoritmos numéricos padrão para otimização convergirão rapidamente para o máximo único. ${\ displaystyle {\ hat {\ beta}}}$

A distribuição assintótica de é dada por ${\ displaystyle {\ hat {\ beta}}}$

${\ displaystyle {\ sqrt {n}} ({\ hat {\ beta}} - \ beta) \ {\ xrightarrow {d}} \ {\ mathcal {N}} (0, \, \ Omega ^ {- 1 }),}$

Onde

${\ displaystyle \ Omega = \ operatorname {E} {\ bigg [} {\ frac {\ varphi ^ {2} (X '\ beta)} {\ Phi (X' \ beta) (1- \ Phi (X ' \ beta))}} XX '{\ bigg]}, \ qquad {\ hat {\ Omega}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} {\ frac {\ varphi ^ {2} (x '_ {i} {\ hat {\ beta}})} {\ Phi (x' _ {i} {\ hat {\ beta}}) (1- \ Phi (x '_ {i} {\ hat {\ beta}}))}} x_ {i} x' _ {i},}$

e é a Função de Densidade de Probabilidade ( PDF ) de distribuição normal padrão. ${\ displaystyle \ varphi = \ Phi '}$

Métodos de máxima verossimilhança semiparamétricos e não paramétricos para o tipo probit e outros modelos relacionados também estão disponíveis.

Método do qui-quadrado mínimo de Berkson

Este método pode ser aplicado apenas quando há muitas observações da variável resposta tendo o mesmo valor do vetor de regressores (tal situação pode ser referida como "muitas observações por célula"). Mais especificamente, o modelo pode ser formulado da seguinte forma. ${\ displaystyle y_ {i}}$${\ displaystyle x_ {i}}$

Suponha que entre n observações haja apenas T valores distintos dos regressores, que podem ser denotados como . Let Ser o número de observações com e o número de tais observações com . Assumimos que há de fato "muitas" observações para cada "célula": para cada uma . ${\ displaystyle \ {y_ {i}, x_ {i} \} _ {i = 1} ^ {n}}$${\ displaystyle \ {x _ {(1)}, \ ldots, x _ {(T)} \}}$${\ displaystyle n_ {t}}$${\ displaystyle x_ {i} = x _ {(t)},}$${\ displaystyle r_ {t}}$${\ displaystyle y_ {i} = 1}$${\ displaystyle t, \ lim _ {n \ rightarrow \ infty} n_ {t} / n = c_ {t}> 0}$

Denotar

${\ displaystyle {\ hat {p}} _ {t} = r_ {t} / n_ {t}}$

${\ displaystyle {\ hat {\ sigma}} _ {t} ^ {2} = {\ frac {1} {n_ {t}}} {\ frac {{\ hat {p}} _ {t} (1 - {\ hat {p}} _ {t})} {\ varphi ^ {2} {\ big (} \ Phi ^ {- 1} ({\ hat {p}} _ {t}) {\ big) }}}}$

Então, o estimador de qui-quadrado mínimo de Berkson é um estimador de mínimos quadrados generalizado em uma regressão de on com pesos : ${\ displaystyle \ Phi ^ {- 1} ({\ hat {p}} _ {t})}$${\ displaystyle x _ {(t)}}$${\ displaystyle {\ hat {\ sigma}} _ {t} ^ {- 2}}$

${\ displaystyle {\ hat {\ beta}} = {\ Bigg (} \ sum _ {t = 1} ^ {T} {\ hat {\ sigma}} _ {t} ^ {- 2} x _ {(t )} x '_ {(t)} {\ Bigg)} ^ {- 1} \ sum _ {t = 1} ^ {T} {\ hat {\ sigma}} _ {t} ^ {- 2} x_ {(t)} \ Phi ^ {- 1} ({\ hat {p}} _ {t})}$

Pode-se mostrar que este estimador é consistente (como n → ∞ e T fixo), assintoticamente normal e eficiente. Sua vantagem é a presença de uma fórmula de forma fechada para o estimador. No entanto, é apenas significativo para realizar esta análise, quando observações individuais não estão disponíveis, apenas suas contagens de agregados , e (por exemplo, na análise do comportamento de voto). ${\ displaystyle r_ {t}}$${\ displaystyle n_ {t}}$${\ displaystyle x _ {(t)}}$

Amostragem de Gibbs

A amostragem de Gibbs de um modelo probit é possível porque os modelos de regressão geralmente usam distribuições anteriores normais sobre os pesos, e essa distribuição é conjugada com a distribuição normal dos erros (e, portanto, das variáveis ​​latentes Y ^* ). O modelo pode ser descrito como

${\ displaystyle {\ begin {align} {\ boldsymbol {\ beta}} & \ sim {\ mathcal {N}} (\ mathbf {b} _ {0}, \ mathbf {B} _ {0}) \\ [3pt] y_ {i} ^ {\ ast} \ mid \ mathbf {x} _ {i}, {\ boldsymbol {\ beta}} & \ sim {\ mathcal {N}} (\ mathbf {x} '_ {i} {\ boldsymbol {\ beta}}, 1) \\ [3pt] y_ {i} & = {\ begin {cases} 1 & {\ text {if}} y_ {i} ^ {\ ast}> 0 \\ 0 & {\ text {caso contrário}} \ end {casos}} \ end {alinhado}}}$

A partir disso, podemos determinar as densidades condicionais completas necessárias:

${\ displaystyle {\ begin {alinhados} \ mathbf {B} & = (\ mathbf {B} _ {0} ^ {- 1} + \ mathbf {X} '\ mathbf {X}) ^ {- 1} \ \ [3pt] {\ boldsymbol {\ beta}} \ mid \ mathbf {y} ^ {\ ast} & \ sim {\ mathcal {N}} (\ mathbf {B} (\ mathbf {B} _ {0} ^ {- 1} \ mathbf {b} _ {0} + \ mathbf {X} '\ mathbf {y} ^ {\ ast}), \ mathbf {B}) \\ [3pt] y_ {i} ^ { \ ast} \ mid y_ {i} = 0, \ mathbf {x} _ {i}, {\ boldsymbol {\ beta}} & \ sim {\ mathcal {N}} (\ mathbf {x} '_ {i } {\ boldsymbol {\ beta}}, 1) [y_ {i} ^ {\ ast} <0] \\ [3pt] y_ {i} ^ {\ ast} \ mid y_ {i} = 1, \ mathbf {x} _ {i}, {\ boldsymbol {\ beta}} & \ sim {\ mathcal {N}} (\ mathbf {x} '_ {i} {\ boldsymbol {\ beta}}, 1) [y_ {i} ^ {\ ast} \ geq 0] \ end {alinhado}}}$

O resultado para β é dado no artigo sobre regressão linear bayesiana , embora especificado com notação diferente.

A única dificuldade está nas duas últimas equações. A notação é o colchete de Iverson , às vezes escrito ou semelhante. Isso indica que a distribuição deve ser truncada dentro do intervalo determinado e redimensionada de forma adequada. Nesse caso particular, surge uma distribuição normal truncada . A amostragem dessa distribuição depende de quanto está truncado. Se uma grande fração da massa original permanecer, a amostragem pode ser facilmente feita com a amostragem de rejeição - basta amostrar um número da distribuição não truncada e rejeitá-lo se ficar fora da restrição imposta pelo truncamento. Se a amostragem de apenas uma pequena fração da massa original, no entanto (por exemplo, se a amostragem de uma das caudas da distribuição normal - por exemplo, se for cerca de 3 ou mais, e uma amostra negativa for desejada), então isso será ineficiente e torna-se necessário recorrer a outros algoritmos de amostragem. A amostragem geral do normal truncado pode ser obtida usando aproximações para o CDF normal e a função probit , e R tem uma função para gerar amostras normais truncadas. ${\ displaystyle [y_ {i} ^ {\ ast} <0]}$${\ displaystyle {\ mathcal {I}} (y_ {i} ^ {\ ast} <0)}$${\ displaystyle \ mathbf {x} '_ {i} {\ boldsymbol {\ beta}}}$rtnorm()

Avaliação de modelo

A adequação de um modelo binário estimado pode ser avaliada contando o número de observações verdadeiras igual a 1 e o número igual a zero, para o qual o modelo atribui uma classificação predita correta tratando qualquer probabilidade estimada acima de 1/2 (ou, abaixo de 1 / 2), como uma atribuição de uma previsão de 1 (ou, de 0). Consulte Regressão logística § Adequação do modelo para obter detalhes.

Desempenho sob especificação incorreta

Considere a formulação do modelo de variável latente do modelo probit. Quando a variância de condicional em não é constante, mas dependente de , surge a questão da heterocedasticidade . Por exemplo, suponha e onde é uma variável explicativa positiva contínua. Sob heteroscedasticidade, o estimador probit para é geralmente inconsistente, e a maioria dos testes sobre os coeficientes são inválidos. Mais importante, o estimador de também se torna inconsistente. Para lidar com esse problema, o modelo original precisa ser transformado para ser homocedástico. Por exemplo, no mesmo exemplo, pode ser reescrito como , onde . Portanto, e o probit em execução gera um estimador consistente para a probabilidade condicional${\ displaystyle \ varepsilon}$${\ displaystyle x}$${\ displaystyle x}$${\ displaystyle y ^ {*} = \ beta _ {0} + B_ {1} x_ {1} + \ varepsilon}$${\ displaystyle \ varepsilon \ mid x \ sim N (0, x_ {1} ^ {2})}$${\ displaystyle x_ {1}}$${\ displaystyle \ beta}$${\ displaystyle P (y = 1 \ mid x)}$${\ displaystyle 1 [\ beta _ {0} + \ beta _ {1} x_ {1} + \ varepsilon> 0]}$${\ displaystyle 1 [\ beta _ {0} / x_ {1} + \ beta _ {1} + \ varepsilon / x_ {1}> 0]}$${\ displaystyle \ varepsilon / x_ {1} \ mid x \ sim N (0,1)}$${\ displaystyle P (y = 1 \ mid x) = \ Phi (\ beta _ {1} + \ beta _ {0} / x_ {1})}$${\ displaystyle (1,1 / x_ {1})}$ ${\ displaystyle P (y = 1 \ mid x).}$

Quando a suposição de que é normalmente distribuída não se sustenta, surge um problema de especificação incorreta da forma funcional : se o modelo ainda for estimado como um modelo probit, os estimadores dos coeficientes são inconsistentes. Por exemplo, se segue uma distribuição logística no modelo verdadeiro, mas o modelo é estimado por probit, as estimativas serão geralmente menores que o valor verdadeiro. No entanto, a inconsistência das estimativas dos coeficientes é praticamente irrelevante, porque as estimativas para os efeitos parciais , , estará perto das estimativas fornecidas pelo modelo logit verdade. ${\ displaystyle \ varepsilon}$${\ displaystyle \ beta}$${\ displaystyle \ varepsilon}$${\ displaystyle \ parcial P (y = 1 \ mid x) / \ parcial x_ {i '}}$

Para evitar a questão da especificação incorreta da distribuição, pode-se adotar uma suposição de distribuição geral para o termo de erro, de modo que muitos tipos diferentes de distribuição possam ser incluídos no modelo. O custo é um cálculo mais pesado e menor precisão para o aumento do número do parâmetro. Na maioria dos casos, na prática, onde a forma de distribuição é mal especificada, os estimadores para os coeficientes são inconsistentes, mas os estimadores para a probabilidade condicional e os efeitos parciais ainda são muito bons.

Pode-se também adotar abordagens semiparamétricas ou não paramétricas, por exemplo, por meio de métodos de verossimilhança local ou não paramétricos, que evitam suposições em uma forma paramétrica para a função de índice e são robustas para a escolha da função de ligação (por exemplo, probit ou logit).

História

O modelo probit é geralmente creditado a Chester Bliss , que cunhou o termo "probit" em 1934, e a John Gaddum (1933), que sistematizou trabalhos anteriores. No entanto, o modelo básico data da lei Weber-Fechner de Gustav Fechner , publicada em Fechner (1860) , e foi repetidamente redescoberto até a década de 1930; ver Finney (1971 , Capítulo 3.6) e Aitchison & Brown (1957 , Capítulo 1.2) . erro harvtxt: sem alvo: CITEREFFechner1860 ( ajuda )erro harvtxt: sem alvo: CITEREFAitchisonBrown1957 ( ajuda )

Um método rápido para calcular estimativas de máxima verossimilhança para o modelo probit foi proposto por Ronald Fisher como um apêndice ao trabalho de Bliss em 1935.

Veja também

• Modelo linear generalizado
• Variável dependente limitada
• Modelo Logit
• Probit multinomial
• Modelos probit multivariados
• Probit ordenado e modelo logit ordenado
• Separação (estatísticas)
• Modelo Tobit

Referências

Leitura adicional

• Albert, JH; Chib, S. (1993). "Bayesian Analysis of Binary and Policotomous Response Data". Journal of the American Statistical Association . 88 (422): 669–679. doi : 10.1080 / 01621459.1993.10476321 . JSTOR  2290350 .
• Amemiya, Takeshi (1985). "Modelos de Resposta Qualitativa" . Econometria avançada . Oxford: Basil Blackwell. pp. 267–359. ISBN 0-631-13345-3.
• Gouriéroux, Christian (2000). “A Dicotomia Simples” . Econometria de variáveis ​​dependentes qualitativas . Nova York: Cambridge University Press. pp. 6–37. ISBN 0-521-58985-1.
• Liao, Tim Futing (1994). Interpretando modelos de probabilidade: Logit, Probit e outros modelos lineares generalizados . Sábio. ISBN 0-8039-4999-5.
• McCullagh, Peter ; John Nelder (1989). Modelos Lineares Generalizados . Londres: Chapman e Hall. ISBN 0-412-31760-5.

links externos

• Mídia relacionada ao modelo Probit no Wikimedia Commons
• Aula de econometria (tópico: modelo Probit) no YouTube por Mark Thoma