Pontuação (estatísticas) - Score (statistics)

Em estatística , a pontuação (ou informante ) é o gradiente da função log-verossimilhança em relação ao vetor de parâmetro . Avaliada em um ponto específico do vetor de parâmetro, a pontuação indica a inclinação da função de log-verossimilhança e, portanto, a sensibilidade a mudanças infinitesimais nos valores dos parâmetros. Se a função de log-verossimilhança for contínua no espaço de parâmetros , a pontuação desaparecerá em um máximo ou mínimo local ; esse fato é usado na estimativa de máxima verossimilhança para encontrar os valores dos parâmetros que maximizam a função de verossimilhança.

Como a pontuação é uma função das observações que estão sujeitas a erros de amostragem , ela se presta a uma estatística de teste conhecida como teste de pontuação, na qual o parâmetro é mantido em um valor específico. Além disso, a razão de duas funções de verossimilhança avaliadas em dois valores de parâmetros distintos pode ser entendida como uma integral definitiva da função de pontuação.

Definição

A pontuação é o gradiente (o vector de derivados parciais ) de , o logaritmo natural da função de probabilidade , com respeito a um m -dimensional vector de parâmetros .

Assim, a diferenciação produz um vetor linha e indica a sensibilidade da verossimilhança (sua derivada normalizada por seu valor).

Na literatura mais antiga, "pontuação linear" pode se referir à pontuação em relação à tradução infinitesimal de uma determinada densidade. Essa convenção surge de uma época em que o principal parâmetro de interesse era a média ou mediana de uma distribuição. Nesse caso, a probabilidade de uma observação é dada por uma densidade da forma . A "pontuação linear" é então definida como

Propriedades

Quer dizer

Embora a pontuação seja uma função de , também depende das observações em que a função de verossimilhança é avaliada e, tendo em vista o caráter aleatório da amostragem, pode-se tomar seu valor esperado sobre o espaço amostral . Sob certas condições de regularidade nas funções de densidade das variáveis ​​aleatórias, o valor esperado da pontuação, avaliada no valor verdadeiro do parâmetro , é zero. Para ver isso, reescreva a função de verossimilhança como uma função de densidade de probabilidade e denote o espaço de amostra . Então:

As condições de regularidade assumidas permitem o intercâmbio de derivada e integral (ver regra da integral de Leibniz ), portanto, a expressão acima pode ser reescrita como

Vale a pena reafirmar o resultado acima em palavras: o valor esperado da pontuação é zero. Assim, se alguém tivesse que amostrar repetidamente de alguma distribuição e calcular repetidamente a pontuação, o valor médio das pontuações tenderia a zero assintoticamente .

Variância

A variação da pontuação,, pode ser derivada da expressão acima para o valor esperado.

Portanto, a variância da pontuação é igual ao valor esperado negativo da matriz de Hessian da probabilidade logarítmica.

Este último é conhecido como informação de Fisher e é escrito . Observe que as informações de Fisher não são função de nenhuma observação em particular, pois a média da variável aleatória foi calculada. Este conceito de informação é útil ao comparar dois métodos de observação de algum processo aleatório .

Exemplos

Processo Bernoulli

Considere observar as primeiras n tentativas de um processo de Bernoulli e ver que A delas são sucessos e os B restantes são falhas, onde a probabilidade de sucesso é  θ .

Então a probabilidade é

de modo que a pontuação s é

Podemos verificar agora que a expectativa de pontuação é zero. Observando que a expectativa de A é e a expectativa de B é n (1 -  θ ) [lembre-se que A e B são variáveis ​​aleatórias], podemos ver que a expectativa de s é

Também podemos verificar a variação de . Sabemos que A + B = n (então Bn  -  A ) e a variância de A é (1 -  θ ), então a variância de s é

Modelo de resultado binário

Para modelos com resultados binários ( Y = 1 ou 0), o modelo pode ser pontuado com o logaritmo das previsões

onde p é a probabilidade no modelo a ser estimada e S é a pontuação.

Formulários

Algoritmo de pontuação

O algoritmo de pontuação é um método iterativo para determinar numericamente o estimador de máxima verossimilhança .

Teste de pontuação

Observe que é uma função de e da observação , de modo que, em geral, não é uma estatística . No entanto, em certas aplicações, como o teste de pontuação , a pontuação é avaliada em um valor específico de (como um valor de hipótese nula), caso em que o resultado é uma estatística. Intuitivamente, se o estimador restrito estiver próximo do máximo da função de verossimilhança, a pontuação não deve diferir de zero por mais do que o erro de amostragem . Em 1948, CR Rao provado em primeiro lugar que o quadrado da pontuação dividida pela matriz de informação segue uma assintótica χ 2 -distribuição sob a hipótese nula.

Observe ainda que o teste de razão de verossimilhança é dado por

o que significa que o teste da razão de verossimilhança pode ser entendido como a área sob a função de pontuação entre e .

Veja também

Notas

Referências