Com destino a Cramér – Rao - Cramér–Rao bound

Em teoria e estatística de estimativa , o limite de Cramér-Rao ( CRB ) expressa um limite inferior na variância dos estimadores imparciais de um parâmetro determinístico (fixo, embora desconhecido), afirmando que a variância de qualquer estimador é pelo menos tão alta quanto inverso da informação de Fisher . O resultado foi nomeado em homenagem a Harald Cramér e CR Rao , mas também foi derivado de forma independente por Maurice Fréchet , Georges Darmois , bem como Alexander Aitken e Harold Silverstone .

Um estimador imparcial que atinge esse limite inferior é considerado (totalmente) eficiente . Tal solução atinge o menor erro quadrático médio possível entre todos os métodos não enviesados ​​e, portanto, é o estimador imparcial da variância mínima (MVU). No entanto, em alguns casos, não existe nenhuma técnica imparcial que alcance o limite. Isso pode ocorrer se, para qualquer estimador imparcial, houver outro com uma variância estritamente menor, ou se houver um estimador MVU, mas sua variância for estritamente maior do que o inverso da informação de Fisher.

O limite de Cramér-Rao também pode ser usado para limitar a variância de estimadores enviesados de um determinado enviesamento. Em alguns casos, uma abordagem tendenciosa pode resultar em uma variância e um erro quadrático médio que estão abaixo do limite inferior imparcial de Cramér-Rao; veja o viés do estimador .

Demonstração

O limite de Cramér-Rao é declarado nesta seção para vários casos crescentemente gerais, começando com o caso em que o parâmetro é um escalar e seu estimador é imparcial . Todas as versões do limite requerem certas condições de regularidade, que valem para a maioria das distribuições bem comportadas. Essas condições são listadas posteriormente nesta seção .

Caso escalar imparcial

Suponha que seja um parâmetro determinístico desconhecido que deve ser estimado a partir de observações independentes (medições) de , cada um a partir de uma distribuição de acordo com alguma função de densidade de probabilidade . A variância de qualquer estimador imparcial de é então limitada pelo recíproco das informações de Fisher :

onde a informação de Fisher é definida por

e é o logaritmo natural da função de verossimilhança para uma única amostra e denota o valor esperado em relação à densidade de . Se for duas vezes diferenciável e certas condições de regularidade forem mantidas, as informações de Fisher também podem ser definidas da seguinte forma:

A eficiência de um estimador imparcial mede o quão perto a variância desse estimador chega desse limite inferior; a eficiência do estimador é definida como

ou a variância mínima possível para um estimador imparcial dividido por sua variância real. O limite inferior de Cramér-Rao, portanto, dá

.

Caso escalar geral

Uma forma mais geral do limite pode ser obtida considerando um estimador enviesado , cuja expectativa não é senão uma função desse parâmetro, digamos ,. Portanto, geralmente não é igual a 0. Nesse caso, o limite é dado por

onde é a derivada de (por ) e é a informação de Fisher definida acima.

Limite na variância dos estimadores enviesados

Além de ser um limite para estimadores de funções do parâmetro, essa abordagem pode ser usada para derivar um limite para a variância de estimadores enviesados ​​com um determinado enviesamento, como segue. Considere um estimador com viés e deixe . Pelo resultado acima, qualquer estimador não enviesado cuja expectativa é tem variância maior ou igual a . Assim, qualquer estimador cujo viés é dado por uma função satisfaz

A versão imparcial do limite é um caso especial desse resultado, com .

É trivial ter uma pequena variância - um "estimador" que é constante tem uma variância igual a zero. Mas a partir da equação acima, descobrimos que o erro quadrático médio de um estimador enviesado é limitado por

usando a decomposição padrão do MSE. Observe, no entanto, que se esse limite for menor do que o limite imparcial de Cramér-Rao . Por exemplo, no exemplo da estimativa de variância abaixo , .

Caso multivariado

Estendendo o limite de Cramér – Rao para vários parâmetros, defina um vetor de coluna de parâmetro

com função de densidade de probabilidade que satisfaça as duas condições de regularidade abaixo.

A matriz de informação de Fisher é uma matriz com elemento definido como

Seja um estimador de qualquer função vetorial de parâmetros ,, e denote seu vetor de expectativa por . O limite de Cramér-Rao então afirma que a matriz de covariância de satisfaz

Onde

  • A desigualdade da matriz é entendida como significando que a matriz é semidefinida positiva , e
  • é a matriz Jacobiana cujo elemento é dado por .


Se for um estimador imparcial de (ou seja, ), então o limite de Cramér-Rao se reduz a

Se for inconveniente calcular o inverso da matriz de informação de Fisher , então pode-se simplesmente tomar o recíproco do elemento diagonal correspondente para encontrar um limite inferior (possivelmente frouxo).

Condições de regularidade

O limite depende de duas condições fracas regularidade sobre a função densidade de probabilidade , e o estimador :

  • As informações de Fisher são sempre definidas; equivalentemente, para todos aqueles que ,
existe e é finito.
  • As operações de integração com respeito a e diferenciação com respeito a podem ser intercambiadas na expectativa de ; isso é,
sempre que o lado direito for finito.
Essa condição pode muitas vezes ser confirmada usando o fato de que integração e diferenciação podem ser trocadas quando um dos seguintes casos for válido:
  1. A função tem suporte limitado em e os limites não dependem de ;
  2. A função tem suporte infinito, é continuamente diferenciável e a integral converge uniformemente para todos .


Prova de parâmetro único

O que se segue é uma prova do caso escalar geral do limite de Cramér-Rao descrito acima . Suponha que seja um estimador com expectativa (com base nas observações ), ou seja, isso . O objetivo é provar que, para todos ,

Let Ser uma variável aleatória com função de densidade de probabilidade . Aqui está uma estatística , que é usada como um estimador para . Defina como a pontuação :

onde a regra da cadeia é usada na igualdade final acima. Então, a expectativa de , escrita , é zero. Isto é porque:

onde a derivada integral e parcial foram trocadas (justificado pela segunda condição de regularidade).


Se considerarmos a covariância de e , temos , porque . Expandindo essa expressão, temos

novamente porque as operações de integração e diferenciação comutam (segunda condição).

A desigualdade de Cauchy-Schwarz mostra que

Portanto

o que prova a proposição.

Exemplos

Distribuição normal multivariada

Para o caso de uma distribuição normal d- variável

a matriz de informações de Fisher tem elementos

onde "tr" é o traço .

Por exemplo, deixe ser uma amostra de observações independentes com média desconhecida e variância conhecida .

Então, a informação de Fisher é um escalar dado por

e assim o limite Cramér-Rao é

Variância normal com média conhecida

Suponha que X seja uma variável aleatória normalmente distribuída com média conhecida e variância desconhecida . Considere a seguinte estatística:

Então T é imparcial para , as . Qual é a variância de T ?

(a segunda igualdade decorre diretamente da definição de variância). O primeiro termo é o quarto momento sobre a média e tem valor ; o segundo é o quadrado da variação, ou . Assim

Agora, quais são as informações de Fisher na amostra? Lembre-se de que a pontuação é definida como

onde está a função de verossimilhança . Portanto, neste caso,

onde a segunda igualdade é do cálculo elementar. Assim, a informação em uma única observação é apenas menos a expectativa da derivada de , ou

Assim, as informações em uma amostra de observações independentes são apenas vezes isso, ou

O limite Cramer-Rao afirma que

Nesse caso, a desigualdade é saturada (a igualdade é alcançada), mostrando que o estimador é eficiente .

No entanto, podemos obter um erro quadrático médio mais baixo usando um estimador enviesado. O estimador

obviamente tem uma variação menor, que é na verdade

Seu viés é

então seu erro quadrático médio é

que é claramente menor do que o limite de Cramér – Rao encontrado acima.

Quando a média não é conhecida, a estimativa do erro quadrático médio mínimo da variância de uma amostra da distribuição gaussiana é obtida dividindo por , em vez de ou .

Veja também

Referências e notas

Leitura adicional

links externos

  • FandPLimitTool um software baseado em GUI para calcular as informações de Fisher e Cramer-Rao Lower Bound com aplicação em microscopia de molécula única.