Teorema de Rao-Blackwell - Rao–Blackwell theorem

Em estatística , o teorema de Rao-Blackwell , às vezes referido como teorema de Rao-Blackwell-Kolmogorov , é um resultado que caracteriza a transformação de um estimador arbitrariamente bruto em um estimador que é ótimo pelo critério do erro médio quadrático ou qualquer um dos uma variedade de critérios semelhantes.

O teorema de Rao-Blackwell afirma que se g ( X ) é qualquer tipo de estimador de um parâmetro θ, então a expectativa condicional de g ( X ) dado T ( X ), onde T é uma estatística suficiente , é normalmente um melhor estimador de θ, e nunca é pior. Às vezes, pode-se facilmente construir um estimador g ( X ) muito bruto e, em seguida, avaliar esse valor esperado condicional para obter um estimador que seja ótimo em vários sentidos.

O teorema é nomeado após Calyampudi Radhakrishna Rao e David Blackwell . O processo de transformação de um estimador usando o teorema de Rao – Blackwell é às vezes chamado de Rao – Blackwellização . O estimador transformado é chamado de estimador de Rao-Blackwell .

Definições

Um estimador δ ( X ) é uma variável aleatória observável (isto é, uma estatística ) usada para estimar alguma quantidade não observável . Por exemplo, pode-se não conseguir observar a altura média de todos os alunos do sexo masculino na Universidade de X, mas pode-se observar as alturas de uma amostra aleatória de 40 deles. A altura média desses 40 - a "média da amostra" - pode ser usada como um estimador da "média da população" não observável.
Uma estatística suficiente T ( X ) é uma estatística calculada a partir dos dados X para estimar algum parâmetro θ para o qual nenhuma outra estatística que pode ser calculada a partir dos dados X fornece qualquer informação adicional sobre θ. É definido como uma variável aleatória observável de modo que a distribuição de probabilidade condicional de todos os dados observáveis X dado T ( X ) não depende do parâmetro não observável θ, como a média ou desvio padrão de toda a população da qual os dados X foram ocupado. Nos exemplos citados com mais frequência, as quantidades "não observáveis" são parâmetros que parametrizam uma família conhecida de distribuições de probabilidade de acordo com a qual os dados são distribuídos.

Em outras palavras, uma estatística suficiente T (X) para um parâmetro θ é uma estatística tal que a distribuição condicional dos dados X , dado T ( X ), não depende do parâmetro θ.

Um estimador de Rao-Blackwell δ ₁ ( X ) de uma quantidade não observável θ é o valor esperado condicional E (δ ( X ) | T ( X )) de algum estimador δ ( X ) dada uma estatística suficiente T ( X ). Chame δ ( X ) o "estimador original" e δ ₁ ( X ) o "estimador aprimorado" . É importante que o estimador melhorado seja observável , ou seja, que não dependa de θ. Geralmente, o valor esperado condicional de uma função destes dados fornecidos outra função destes dados não dependem de θ, mas a própria definição de suficiência dado acima implica que este não faz.
O erro quadrático médio de um estimador é o valor esperado do quadrado de seu desvio da quantidade não observável sendo estimada.

O teorema

Versão do erro quadrático médio

Um caso do teorema de Rao-Blackwell afirma:

O erro quadrático médio do estimador de Rao-Blackwell não excede o do estimador original.

Em outras palavras,

{\ displaystyle \ operatorname {E} ((\ delta _ {1} (X) - \ theta) ^ {2}) \ leq \ operatorname {E} ((\ delta (X) - \ theta) ^ {2} ).}

As ferramentas essenciais da prova, além da definição acima, são a lei da expectativa total e o fato de que para qualquer variável aleatória Y , E ( Y ² ) não pode ser menor que [E ( Y )] ² . Essa desigualdade é um caso da desigualdade de Jensen , embora também possa ser demonstrado que decorre instantaneamente do fato frequentemente mencionado de que

{\ displaystyle 0 \ leq \ operatorname {Var} (Y) = \ operatorname {E} ((Y- \ operatorname {E} (Y)) ^ {2}) = \ operatorname {E} (Y ^ {2} ) - (\ operatorname {E} (Y)) ^ {2}.}

Mais precisamente, o erro quadrático médio do estimador de Rao-Blackwell tem a seguinte decomposição

{\ displaystyle \ operatorname {E} [(\ delta _ {1} (X) - \ theta) ^ {2}] = \ operatorname {E} [(\ delta (X) - \ theta) ^ {2}] - \ operatorname {E} [\ operatorname {Var} (\ delta (X) \ mid T (X))]}

Uma vez que , o teorema de Rao-Blackwell segue imediatamente. ${\ displaystyle \ operatorname {E} [\ operatorname {Var} (\ delta (X) \ mid T (X))] \ geq 0}$

Generalização de perda convexa

A versão mais geral do teorema de Rao-Blackwell fala da "perda esperada" ou função de risco :

{\ displaystyle \ operatorname {E} (L (\ delta _ {1} (X))) \ leq \ operatorname {E} (L (\ delta (X)))}

onde a "função de perda" L pode ser qualquer função convexa . Se a função de perda é duas vezes diferenciável, como no caso do erro quadrático médio, então temos a desigualdade mais nítida

{\ displaystyle \ operatorname {E} (L (\ delta (X))) - \ operatorname {E} (L (\ delta _ {1} (X))) \ geq {\ frac {1} {2}} \ operatorname {E} _ {T} \ left [\ inf _ {x} L '' (x) \ operatorname {Var} (\ delta (X) \ mid T) \ right].}

Propriedades

O estimador melhorado é não- viesado se e somente se o estimador original é não-viesado, como pode ser visto imediatamente usando a lei da expectativa total . O teorema é válido independentemente de serem usados estimadores enviesados ou não enviesados.

O teorema parece muito fraco: diz apenas que o estimador de Rao-Blackwell não é pior do que o estimador original. Na prática, entretanto, a melhoria costuma ser enorme.

Exemplo

As chamadas telefônicas chegam a uma central de acordo com um processo de Poisson a uma taxa média de λ por minuto. Esta taxa não é observável, mas os números X ₁ , ..., X _n de chamadas telefônicas que chegaram durante n períodos sucessivos de um minuto são observados. Deseja-se estimar a probabilidade e ^{−λ de} que o próximo período de um minuto passe sem chamadas telefônicas.

Um estimador extremamente bruto da probabilidade desejada é

{\ displaystyle \ delta _ {0} = \ left \ {{\ begin {matrix} 1 & {\ text {if}} \ X_ {1} = 0, \\ 0 & {\ text {caso contrário,}} \ end { matriz}} \ certo.}

ou seja, ele estima que essa probabilidade seja 1 se nenhuma chamada telefônica for recebida no primeiro minuto e zero caso contrário. Apesar das limitações aparentes deste estimador, o resultado dado por sua Rao-Blackwellization é um estimador muito bom.

A soma

{\ displaystyle S_ {n} = \ sum _ {i = 1} ^ {n} X_ {i} = X_ {1} + \ cdots + X_ {n}}

pode ser facilmente demonstrado que é uma estatística suficiente para λ, ou seja, a distribuição condicional dos dados X ₁ , ..., X _n , depende de λ apenas por meio dessa soma. Portanto, encontramos o estimador Rao-Blackwell

{\ displaystyle \ delta _ {1} = \ operatorname {E} (\ delta _ {0} \ mid S_ {n} = s_ {n}).}

Depois de fazer alguma álgebra, temos

{\ displaystyle {\ begin {alinhados} \ delta _ {1} & = \ operatorname {E} \ left (\ mathbf {1} _ {\ {X_ {1} = 0 \}} {\ Bigg |} \ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ right) \\ & = P \ left (X_ {1} = 0 {\ Bigg |} \ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ direita) \\ & = P \ esquerda (X_ {1} = 0, \ sum _ {i = 2} ^ {n} X_ {i} = s_ {n } \ right) \ times P \ left (\ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ right) ^ {- 1} \\ & = e ^ {- \ lambda} {\ frac {\ left ((n-1) \ lambda \ right) ^ {s_ {n}} e ^ {- (n-1) \ lambda}} {s_ {n}!}} \ times \ left ( {\ frac {(n \ lambda) ^ {s_ {n}} e ^ {- n \ lambda}} {s_ {n}!}} \ direita) ^ {- 1} \\ & = {\ frac {\ esquerda ((n-1) \ lambda \ direita) ^ {s_ {n}} e ^ {- n \ lambda}} {s_ {n}!}} \ times {\ frac {s_ {n}!} {( n \ lambda) ^ {s_ {n}} e ^ {- n \ lambda}}} \\ & = \ left (1 - {\ frac {1} {n}} \ right) ^ {s_ {n}} \ end {alinhado}}}

Uma vez que o número médio de chamadas que chegam durante os primeiros n minutos é n λ, não se pode ficar surpreso se este estimador tiver uma probabilidade bastante alta (se n for grande) de estar perto de

{\ displaystyle \ left (1- {1 \ over n} \ right) ^ {n \ lambda} \ approx e ^ {- \ lambda}.}

Portanto, δ ₁ é claramente um estimador muito melhorado dessa última quantidade. De fato, como S _n é completo e δ ₀ é não-viesado, δ ₁ é o estimador não-viesado único da variância mínima pelo teorema de Lehmann-Scheffé .

Idempotência

Rao – Blackwellization é uma operação idempotente . Usá-lo para melhorar o estimador já aprimorado não obtém uma melhoria adicional, mas apenas retorna como sua saída o mesmo estimador aprimorado.

Completude e variância mínima de Lehmann-Scheffé

Se a estatística de condicionamento é completa e suficiente , e o estimador inicial não é viesado, então o estimador de Rao-Blackwell é o único " melhor estimador não viesado ": ver teorema de Lehmann-Scheffé .

Um exemplo de melhoria improvável de Rao-Blackwell, ao usar uma estatística mínima suficiente que não está completa , foi fornecido por Galili e Meilijson em 2016. Seja uma amostra aleatória de uma distribuição uniforme de escala com média desconhecida e parâmetro de design conhecido . Na busca pelos "melhores" estimadores não viesados possíveis para , é natural considerar como um estimador não viesado inicial (bruto) e então tentar melhorá-lo. Uma vez que não é uma função da estatística mínima suficiente para (onde e ), ela pode ser melhorada usando o teorema de Rao-Blackwell da seguinte forma: ${\ displaystyle X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle X \ sim U \ left ((1-k) \ theta, (1 + k) \ theta \ right),}$ ${\ displaystyle E [X] = \ theta}$ ${\ displaystyle k \ in (0,1)}$ ${\ displaystyle \ theta,}$ ${\ displaystyle X_ {1}}$ ${\ displaystyle \ theta}$ ${\ displaystyle X_ {1}}$ ${\ displaystyle T = \ left (X _ {(1)}, X _ {(n)} \ right)}$ ${\ displaystyle \ theta}$ ${\ displaystyle X _ {(1)} = \ min (X_ {i})}$ ${\ displaystyle X _ {(n)} = \ max (X_ {i})}$