Estatística suficiente - Sufficient statistic

Em estatística , uma estatística é suficiente com respeito a um modelo estatístico e seu parâmetro desconhecido associado se "nenhuma outra estatística que pode ser calculada a partir da mesma amostra fornecer qualquer informação adicional quanto ao valor do parâmetro". Em particular, uma estatística é suficiente para uma família de distribuições de probabilidade se a amostra da qual ela é calculada não fornecer nenhuma informação adicional além da estatística, sobre qual dessas distribuições de probabilidade é a distribuição de amostragem .

Um conceito relacionado é o de suficiência linear , que é mais fraco do que a suficiência, mas pode ser aplicado em alguns casos onde não há estatísticas suficientes, embora seja restrito a estimadores lineares. A função de estrutura de Kolmogorov lida com dados finitos individuais; a noção relacionada de que é a estatística suficiente algorítmica.

O conceito é devido a Sir Ronald Fisher em 1920. Stephen Stigler observou em 1973 que o conceito de suficiência caiu em desuso nas estatísticas descritivas devido à forte dependência de uma suposição da forma distributiva (ver teorema de Pitman-Koopman-Darmois abaixo ), mas manteve-se muito importante no trabalho teórico.

Fundo

Grosso modo, dado um conjunto de dados independentes distribuídos de forma idêntica, condicionados a um parâmetro desconhecido , uma estatística suficiente é uma função cujo valor contém todas as informações necessárias para calcular qualquer estimativa do parâmetro (por exemplo, uma estimativa de máxima verossimilhança ). Devido ao teorema de fatoração ( veja abaixo ), para uma estatística suficiente , a densidade de probabilidade pode ser escrita como . A partir dessa fatoração, pode-se facilmente ver que a estimativa de máxima verossimilhança de irá interagir apenas com . Normalmente, a estatística suficiente é uma função simples dos dados, por exemplo, a soma de todos os pontos de dados. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ theta}$${\ displaystyle T (\ mathbf {X})}$${\ displaystyle T (\ mathbf {X})}$${\ displaystyle f _ {\ mathbf {X}} (x) = h (x) \, g (\ theta, T (x))}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {X}}$${\ displaystyle T (\ mathbf {X})}$

Mais geralmente, o "parâmetro desconhecido" pode representar um vetor de quantidades desconhecidas ou pode representar tudo sobre o modelo que é desconhecido ou não totalmente especificado. Nesse caso, a estatística suficiente pode ser um conjunto de funções, chamado de estatística suficiente conjuntamente . Normalmente, existem tantas funções quanto parâmetros. Por exemplo, para uma distribuição Gaussiana com média e variância desconhecidas , a estatística conjuntamente suficiente, a partir da qual as estimativas de máxima verossimilhança de ambos os parâmetros podem ser estimadas, consiste em duas funções, a soma de todos os pontos de dados e a soma de todos os pontos de dados ao quadrado ( ou equivalentemente, a média da amostra e a variância da amostra ).

O conceito equivale à afirmação de que, condicional ao valor de uma estatística suficiente para um parâmetro, a distribuição de probabilidade conjunta dos dados não depende desse parâmetro. Tanto a estatística quanto o parâmetro subjacente podem ser vetores.

Definição matemática

Uma estatística t  =  T ( X ) é suficiente para o parâmetro subjacente θ precisamente se a distribuição de probabilidade condicional dos dados X , dada a estatística t  =  T ( X ), não depende do parâmetro θ .

Alternativamente, pode-se dizer que a estatística  T ( X ) é suficiente para θ se sua informação mútua com θ for igual à informação mútua entre X e θ . Em outras palavras, a desigualdade no processamento de dados torna-se uma igualdade:

${\ displaystyle I {\ bigl (} \ theta; T (X) {\ bigr)} = I (\ theta; X)}$

Exemplo

Por exemplo, a média da amostra é suficiente para a média ( μ ) de uma distribuição normal com variância conhecida. Uma vez que a média da amostra é conhecida, nenhuma informação adicional sobre μ pode ser obtida da própria amostra. Por outro lado, para uma distribuição arbitrária, a mediana não é suficiente para a média: mesmo que a mediana da amostra seja conhecida, conhecer a própria amostra forneceria mais informações sobre a média da população. Por exemplo, se as observações que são menores que a mediana são apenas ligeiramente menores, mas as observações que excedem a mediana a excedem em uma grande quantidade, então isso teria uma influência na inferência de alguém sobre a média da população.

Teorema de fatoração de Fisher-Neyman

O teorema de fatoração de Fisher ou critério de fatoração fornece uma caracterização convenientede uma estatística suficiente. Se a função densidade de probabilidade é ƒ _θ ( x ), então T é suficiente para θ se e somente se as funções não negativos g e h pode ser encontrada de tal modo que

${\ displaystyle f _ {\ theta} (x) = h (x) \, g _ {\ theta} (T (x)),}$

isto é, a densidade ƒ pode ser fatorada em um produto de forma que um fator, h , não dependa de θ e o outro fator, que depende de θ , dependa de x apenas por meio de T ( x ).

É fácil ver que se F ( t ) é uma função um-para-um e T é uma estatística suficiente, então F ( T ) é uma estatística suficiente. Em particular, podemos multiplicar uma estatística suficiente por uma constante diferente de zero e obter outra estatística suficiente.

Interpretação do princípio de probabilidade

Uma implicação do teorema é que, ao usar a inferência baseada na probabilidade, dois conjuntos de dados produzindo o mesmo valor para a estatística suficiente T ( X ) sempre produzirão as mesmas inferências sobre θ . Pelo critério de fatoração, a dependência da probabilidade de θ é apenas em conjunção com T ( X ). Como isso é o mesmo em ambos os casos, a dependência de θ também será a mesma, levando a inferências idênticas.

Prova

Devido a Hogg e Craig. Vamos denotar uma amostra aleatória de uma distribuição tendo a fdp f ( x ,  θ ) para ι  <  θ  <  δ . Seja Y ₁  =  u ₁ ( X ₁ ,  X ₂ , ...,  X _n ) uma estatística cuja pdf é g ₁ ( y ₁ ;  θ ). O que queremos provar é que Y ₁  =  u ₁ ( X ₁ , X ₂ , ...,  X _n ) é uma estatística suficiente para θ se e somente se, para alguma função H , ${\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$

${\ displaystyle \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta) = g_ {1} \ left [u_ {1} (x_ {1}, x_ {2}, \ dots , x_ {n}); \ theta \ right] H (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Primeiro, suponha que

${\ displaystyle \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta) = g_ {1} \ left [u_ {1} (x_ {1}, x_ {2}, \ dots , x_ {n}); \ theta \ right] H (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Faremos a transformação y _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n ), para i  = 1, ...,  n , tendo funções inversas x _i  =  w _i ( y ₁ ,  y ₂ , ...,  y _n ), para i  = 1, ...,  n e Jacobiano . Desse modo, ${\ displaystyle J = \ left [w_ {i} / y_ {j} \ right]}$

${\ displaystyle \ prod _ {i = 1} ^ {n} f \ left [w_ {i} (y_ {1}, y_ {2}, \ dots, y_ {n}); \ theta \ right] = | J | g_ {1} (y_ {1}; \ theta) H \ left [w_ {1} (y_ {1}, y_ {2}, \ dots, y_ {n}), \ dots, w_ {n} (y_ {1}, y_ {2}, \ dots, y_ {n}) \ right].}$

O membro do lado esquerdo é a fdp conjunta g ( y ₁ , y ₂ , ..., y _n ; θ) de Y ₁ = u ₁ ( X ₁ , ..., X _n ), ..., Y _n = u _n ( X ₁ , ..., X _n ). No membro da direita, está a fdp de , então esse é o quociente de e ; ou seja, é a pdf condicional de determinado . ${\ displaystyle g_ {1} (y_ {1}; \ theta)}$${\ displaystyle Y_ {1}}$${\ displaystyle H [w_ {1}, \ dots, w_ {n}] | J |}$${\ displaystyle g (y_ {1}, \ dots, y_ {n}; \ theta)}$${\ displaystyle g_ {1} (y_ {1}; \ theta)}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$${\ displaystyle Y_ {2}, \ dots, Y_ {n}}$${\ displaystyle Y_ {1} = y_ {1}}$

Mas , e assim , foi dado para não depender . Uma vez que não foi introduzido na transformação e, portanto, não no Jacobiano , segue-se que não depende de e que é uma estatística suficiente para . ${\ displaystyle H (x_ {1}, x_ {2}, \ dots, x_ {n})}$${\ displaystyle H \ left [w_ {1} (y_ {1}, \ dots, y_ {n}), \ dots, w_ {n} (y_ {1}, \ dots, y_ {n})) \ right ]}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ displaystyle J}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$${\ displaystyle \ theta}$${\ displaystyle Y_ {1}}$${\ displaystyle \ theta}$

O inverso é provado tomando:

${\ displaystyle g (y_ {1}, \ dots, y_ {n}; \ theta) = g_ {1} (y_ {1}; \ theta) h (y_ {2}, \ dots, y_ {n} \ meados de y_ {1}),}$

onde não depende de porque dependem apenas de , que são independentes quando condicionados por , uma estatística suficiente por hipótese. Agora divida ambos os membros pelo valor absoluto do Jacobiano não desaparecido e substitua pelas funções em . Isso produz ${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$${\ displaystyle \ theta}$${\ displaystyle Y_ {2} ... Y_ {n}}$${\ displaystyle X_ {1} ... X_ {n}}$${\ displaystyle \ Theta}$${\ displaystyle Y_ {1}}$${\ displaystyle J}$${\ displaystyle y_ {1}, \ dots, y_ {n}}$${\ displaystyle u_ {1} (x_ {1}, \ dots, x_ {n}), \ dots, u_ {n} (x_ {1}, \ dots, x_ {n})}$${\ displaystyle x_ {1}, \ dots, x_ {n}}$

${\ displaystyle {\ frac {g \ left [u_ {1} (x_ {1}, \ dots, x_ {n}), \ dots, u_ {n} (x_ {1}, \ dots, x_ {n} ); \ theta \ right]} {| J ^ {*} |}} = g_ {1} \ left [u_ {1} (x_ {1}, \ dots, x_ {n}); \ theta \ right] {\ frac {h (u_ {2}, \ dots, u_ {n} \ mid u_ {1})} {| J ^ {*} |}}}$

onde está o Jacobiano com substituído por seu valor em termos . O membro esquerdo é necessariamente a fdp conjunta de . Uma vez que , e assim , não depende , então ${\ displaystyle J ^ {*}}$${\ displaystyle y_ {1}, \ dots, y_ {n}}$${\ displaystyle x_ {1}, \ dots, x_ {n}}$${\ displaystyle f (x_ {1}; \ theta) \ cdots f (x_ {n}; \ theta)}$${\ displaystyle X_ {1}, \ dots, X_ {n}}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$${\ displaystyle h (u_ {2}, \ dots, u_ {n} \ mid u_ {1})}$${\ displaystyle \ theta}$

${\ displaystyle H (x_ {1}, \ dots, x_ {2}) = {\ frac {h (u_ {2}, \ dots, u_ {n} \ mid u_ {1})} {| J ^ { *} |}}}$

é uma função da qual não depende . ${\ displaystyle \ theta}$

Outra prova

Uma prova mais simples e mais ilustrativa é a seguinte, embora se aplique apenas no caso discreto.

Usamos a notação abreviada para denotar a densidade de probabilidade conjunta de por . Uma vez que é uma função de , temos , enquanto e zero caso contrário. Portanto: ${\ displaystyle (X, T (X))}$${\ displaystyle f _ {\ theta} (x, t)}$${\ displaystyle T}$${\ displaystyle X}$${\ displaystyle f _ {\ theta} (x, t) = f _ {\ theta} (x)}$${\ displaystyle t = T (x)}$

${\ displaystyle {\ begin {alinhados} f _ {\ theta} (x) & = f _ {\ theta} (x, t) \\ [5pt] & = f _ {\ theta} (x \ mid t) f _ {\ teta} (t) \\ [5pt] & = f (x \ mid t) f _ {\ theta} (t) \ end {alinhado}}}$

com a última igualdade sendo verdadeira pela definição de estatísticas suficientes. Assim com e . ${\ displaystyle f _ {\ theta} (x) = a (x) b _ {\ theta} (t)}$${\ displaystyle a (x) = f_ {X \ mid t} (x)}$${\ displaystyle b _ {\ theta} (t) = f _ {\ theta} (t)}$

Por outro lado, se , temos ${\ displaystyle f _ {\ theta} (x) = a (x) b _ {\ theta} (t)}$

${\ displaystyle {\ begin {alinhados} f _ {\ theta} (t) & = \ sum _ {x: T (x) = t} f _ {\ theta} (x, t) \\ [5pt] & = \ soma _ {x: T (x) = t} f _ {\ theta} (x) \\ [5pt] & = \ sum _ {x: T (x) = t} a (x) b _ {\ theta} ( t) \\ [5pt] & = \ left (\ sum _ {x: T (x) = t} a (x) \ right) b _ {\ theta} (t). \ end {alinhado}}}$

Com a primeira igualdade pela definição de pdf para variáveis ​​múltiplas , a segunda pela observação acima, a terceira por hipótese e a quarta porque a soma não acabou . ${\ displaystyle t}$

Deixe denotar a densidade de probabilidade condicional de dado . Então, podemos derivar uma expressão explícita para isso: ${\ displaystyle f_ {X \ mid t} (x)}$${\ displaystyle X}$${\ displaystyle T (X)}$

${\ displaystyle {\ begin {alinhados} f_ {X \ mid t} (x) & = {\ frac {f _ {\ theta} (x, t)} {f _ {\ theta} (t)}} \\ [ 5pt] & = {\ frac {f _ {\ theta} (x)} {f _ {\ theta} (t)}} \\ [5pt] & = {\ frac {a (x) b _ {\ theta} (t )} {\ left (\ sum _ {x: T (x) = t} a (x) \ right) b _ {\ theta} (t)}} \\ [5pt] & = {\ frac {a (x )} {\ sum _ {x: T (x) = t} a (x)}}. \ end {alinhado}}}$

Com a primeira igualdade por definição de densidade de probabilidade condicional, a segunda pela observação acima, a terceira pela igualdade provada acima e a quarta por simplificação. Esta expressão não depende e, portanto, é uma estatística suficiente. ${\ displaystyle \ theta}$${\ displaystyle T}$

Suficiência mínima

Uma estatística suficiente é mínima suficiente se puder ser representada como uma função de qualquer outra estatística suficiente. Em outras palavras, S ( X ) é mínimo suficiente se e somente se

1. S ( X ) é suficiente, e
2. se T ( X ) é suficiente, então existe uma função f tal que S ( X ) = f ( T ( X )).

Intuitivamente, uma estatística mínima suficiente captura de forma mais eficiente todas as informações possíveis sobre o parâmetro θ .

Uma caracterização útil de suficiência mínima é que quando a densidade f _θ existe, S ( X ) é mínimo suficiente se e somente se

${\ displaystyle {\ frac {f _ {\ theta} (x)} {f _ {\ theta} (y)}}}$é independente de θ  : S ( x ) = S ( y )${\ displaystyle \ Longleftrightarrow}$

Isso segue como uma consequência do teorema de fatoração de Fisher declarado acima.

Um caso em que não há estatística mínima suficiente foi mostrado por Bahadur, 1954. No entanto, em condições moderadas, uma estatística mínima suficiente sempre existe. Em particular, no espaço euclidiano, essas condições sempre são válidas se as variáveis ​​aleatórias (associadas a ) forem todas discretas ou contínuas. ${\ displaystyle P _ {\ theta}}$

Se existe uma estatística mínima suficiente, e este é geralmente o caso, então toda estatística suficiente completa é necessariamente mínima suficiente (observe que esta declaração não exclui a opção de um caso patológico em que existe um suficiente completo enquanto não há um suficiente mínimo estatística). Embora seja difícil encontrar casos em que não exista uma estatística mínima suficiente, não é tão difícil encontrar casos em que não haja uma estatística completa.

A coleção de razões de verossimilhança para , é uma estatística mínima suficiente se o espaço de parâmetro for discreto . ${\ displaystyle \ left \ {{\ frac {L (X \ mid \ theta _ {i})} {L (X \ mid \ theta _ {0})}} \ right \}}$${\ displaystyle i = 1, ..., k}$${\ displaystyle \ left \ {\ theta _ {0}, ..., \ theta _ {k} \ right \}}$

Exemplos

Distribuição Bernoulli

Se X ₁ , ....,  X _n são variáveis ​​aleatórias independentes distribuídas por Bernoulli com valor esperado p , então a soma T ( X ) =  X ₁  + ... +  X _n é uma estatística suficiente para p (aqui 'sucesso 'corresponde a X _i  = 1 e' falha 'a X _i  = 0; então, T é o número total de sucessos)

Isso é visto considerando a distribuição de probabilidade conjunta:

${\ displaystyle \ Pr \ {X = x \} = \ Pr \ {X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n} \ }.}$

Como as observações são independentes, isso pode ser escrito como

${\ displaystyle p ^ {x_ {1}} (1-p) ^ {1-x_ {1}} p ^ {x_ {2}} (1-p) ^ {1-x_ {2}} \ cdots p ^ {x_ {n}} (1-p) ^ {1-x_ {n}}}$

e, coletando poderes de pe 1 -  p , dá

${\ displaystyle p ^ {\ sum x_ {i}} (1-p) ^ {n- \ sum x_ {i}} = p ^ {T (x)} (1-p) ^ {nT (x)} }$

que satisfaz o critério de fatoração, com h ( x ) = 1 sendo apenas uma constante.

Observe a característica crucial: o parâmetro desconhecido p interage com os dados x apenas por meio da estatística T ( x ) = Σ  x _i .

Como uma aplicação concreta, isso fornece um procedimento para distinguir uma moeda justa de uma moeda tendenciosa .

Distribuição uniforme

Se X ₁ , ...., X _n são independentes e uniformemente distribuídos no intervalo [0, θ ], então T ( X ) = max ( X ₁ , ..., X _n ) é suficiente para θ - a amostra máximo é uma estatística suficiente para o máximo da população.

Para ver isso, considere a função densidade de probabilidade conjunta de X   ( X ₁ , ..., X _n ). Como as observações são independentes, o pdf pode ser escrito como um produto de densidades individuais

${\ displaystyle {\ begin {alinhados} f _ {\ theta} (x_ {1}, \ ldots, x_ {n}) & = {\ frac {1} {\ theta}} \ mathbf {1} _ {\ { 0 \ leq x_ {1} \ leq \ theta \}} \ cdots {\ frac {1} {\ theta}} \ mathbf {1} _ {\ {0 \ leq x_ {n} \ leq \ theta \}} \\ [5pt] & = {\ frac {1} {\ theta ^ {n}}} \ mathbf {1} _ {\ {0 \ leq \ min \ {x_ {i} \} \}} \ mathbf { 1} _ {\ {\ max \ {x_ {i} \} \ leq \ theta \}} \ end {alinhado}}}$

onde 1 _{{ ... }} é a função do indicador . Assim, a densidade assume a forma exigida pelo teorema de fatoração de Fisher-Neyman, onde h ( x ) =  1 _{{min { x i } ≥0}} , e o resto da expressão é uma função de apenas θ e T ( x ) = max { x _i }.

Na verdade, o estimador imparcial de variação mínima (MVUE) para θ é

${\ displaystyle {\ frac {n + 1} {n}} T (X).}$

Este é o máximo da amostra, escalado para corrigir o viés e é MVUE pelo teorema de Lehmann-Scheffé . O máximo T ( X ) da amostra não escalonada é o estimador de máxima verossimilhança para θ .

Distribuição uniforme (com dois parâmetros)

Se forem independentes e uniformemente distribuídos no intervalo (onde e são parâmetros desconhecidos), então é uma estatística bidimensional suficiente para . ${\ displaystyle X_ {1}, ..., X_ {n}}$${\ displaystyle [\ alpha, \ beta]}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\certo)}$${\ displaystyle (\ alpha \ ,, \, \ beta)}$

Para ver isso, considere a função de densidade de probabilidade conjunta de . Como as observações são independentes, o pdf pode ser escrito como um produto de densidades individuais, ou seja, ${\ displaystyle X_ {1} ^ {n} = (X_ {1}, \ ldots, X_ {n})}$

${\ displaystyle {\ begin {alinhados} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = \ prod _ {i = 1} ^ {n} \ left ({1 \ sobre \ beta - \ alpha} \ right) \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta \}} = \ left ({1 \ over \ beta - \ alpha} \ right ) ^ {n} \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta, \, \ forall \, i = 1, \ ldots, n \}} \\ & = \ left ({1 \ over \ beta - \ alpha} \ right) ^ {n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} X_ {i } \}} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} X_ {i} \, \ leq \, \ beta \}}. \ end {alinhado}}}$

A densidade conjunta da amostra assume a forma exigida pelo teorema de fatoração de Fisher-Neyman, permitindo

${\ displaystyle {\ begin {align} h (x_ {1} ^ {n}) = 1, \ quad g _ {(\ alpha, \ beta)} (x_ {1} ^ {n}) = \ left ({ 1 \ over \ beta - \ alpha} \ right) ^ {n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} X_ {i} \ }} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} X_ {i} \, \ leq \, \ beta \}}. \ end {alinhado}}}$

Uma vez que não depende do parâmetro e depende apenas através da função${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle (\ alpha, \ beta)}$${\ displaystyle g _ {(\ alpha \ ,, \, \ beta)} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\certo),}$

o teorema da fatoração de Fisher-Neyman implica que é uma estatística suficiente para . ${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\certo)}$${\ displaystyle (\ alpha \ ,, \, \ beta)}$

Distribuição de veneno

Se X ₁ , ....,  X _n são independentes e têm uma distribuição de Poisson com parâmetro λ , então a soma T ( X ) =  X ₁  + ... +  X _n é uma estatística suficiente para  λ .

Para ver isso, considere a distribuição de probabilidade conjunta:

${\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}$

Como as observações são independentes, isso pode ser escrito como

${\ displaystyle {e ^ {- \ lambda} \ lambda ^ {x_ {1}} \ over x_ {1}!} \ cdot {e ^ {- \ lambda} \ lambda ^ {x_ {2}} \ over x_ {2}!} \ Cdots {e ^ {- \ lambda} \ lambda ^ {x_ {n}} \ over x_ {n}!}}$

que pode ser escrito como

${\ displaystyle e ^ {- n \ lambda} \ lambda ^ {(x_ {1} + x_ {2} + \ cdots + x_ {n})} \ cdot {1 \ over x_ {1}! x_ {2} ! \ cdots x_ {n}!}}$

o que mostra que o critério de fatoração é satisfeito, onde h ( x ) é o recíproco do produto dos fatoriais. Observe que o parâmetro λ interage com os dados apenas por meio de sua soma T ( X ).

Distribuição normal

Se forem independentes e normalmente distribuídos com valor esperado (um parâmetro) e variância finita conhecida, então ${\ displaystyle X_ {1}, \ ldots, X_ {n}}$${\ displaystyle \ theta}$${\ displaystyle \ sigma ^ {2},}$

${\ displaystyle T (X_ {1} ^ {n}) = {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}}$

é uma estatística suficiente para ${\ displaystyle \ theta.}$

Para ver isso, considere a função de densidade de probabilidade conjunta de . Como as observações são independentes, o pdf pode ser escrito como um produto de densidades individuais, ou seja, ${\ displaystyle X_ {1} ^ {n} = (X_ {1}, \ dots, X_ {n})}$

${\ displaystyle {\ begin {alinhados} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = \ prod _ {i = 1} ^ {n} {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left (- {\ frac {(x_ {i} - \ theta) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ [6pt] & = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {(x_ {i} - \ theta) ^ {2}} {2 \ sigma ^ {2}}} \ direita) \\ [6pt] & = (2 \ pi \ sigma ^ {2 }) ^ {- {\ frac {n} {2}}} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {\ left (\ left (x_ {i} - { \ overline {x}} \ right) - \ left (\ theta - {\ overline {x}} \ right) \ right) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ [ 6pt] & = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ left ( \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} + \ sum _ {i = 1} ^ {n} (\ theta - {\ overline {x}}) ^ {2} -2 \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (\ theta - {\ overline {x}}) \ direita) \ direita) \\ [6pt] & = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ sobre 2 \ sigma ^ {2}} \ left (\ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} + n (\ theta - {\ overline {x} }) ^ {2} \ right) \ right) && \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (\ theta - {\ overline {x}} ) = 0 \\ [6pt] & = (2 \ pi \ sigma ^ {2 }) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ sum _ {i = 1} ^ {n} (x_ {i } - {\ overline {x}}) ^ {2} \ right) \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2}}} (\ theta - {\ overline {x}} ) ^ {2} \ direita) \ end {alinhado}}}$

A densidade conjunta da amostra assume a forma exigida pelo teorema de fatoração de Fisher-Neyman, permitindo

${\ displaystyle {\ begin {align} h (x_ {1} ^ {n}) & = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ esquerda (- {1 \ over 2 \ sigma ^ {2}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} \ direita) \\ [6pt] g _ {\ theta} (x_ {1} ^ {n}) & = \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2}}} (\ theta - {\ overline { x}}) ^ {2} \ right) \ end {alinhado}}}$

Uma vez que não depende do parâmetro e depende apenas da função ${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle \ theta}$${\ displaystyle g _ {\ theta} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$

${\ displaystyle T (X_ {1} ^ {n}) = {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}, }$

o teorema da fatoração de Fisher-Neyman implica que é uma estatística suficiente para . ${\ displaystyle T (X_ {1} ^ {n})}$${\ displaystyle \ theta}$

Se for desconhecido e desde então , a probabilidade acima pode ser reescrita como ${\ displaystyle \ sigma ^ {2}}$${\ displaystyle s ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ {n} \ left (x_ {i} - {\ overline {x}} \ right ) ^ {2}}$

${\ displaystyle {\ begin {alinhados} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) = (2 \ pi \ sigma ^ {2}) ^ {- n / 2} \ exp \ left (- {\ frac {n-1} {2 \ sigma ^ {2}}} s ^ {2} \ right) \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2 }}} (\ theta - {\ overline {x}}) ^ {2} \ right). \ end {alinhado}}}$

O teorema da fatoração de Fisher-Neyman ainda é válido e implica que é uma estatística conjunta suficiente para . ${\ displaystyle ({\ overline {x}}, s ^ ​​{2})}$${\ displaystyle (\ theta, \ sigma ^ {2})}$

Distribuição exponencial

Se forem independentes e exponencialmente distribuídos com valor esperado θ (um parâmetro positivo de valor real desconhecido), então é uma estatística suficiente para θ. ${\ displaystyle X_ {1}, \ dots, X_ {n}}$${\ displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$

Para ver isso, considere a função de densidade de probabilidade conjunta de . Como as observações são independentes, o pdf pode ser escrito como um produto de densidades individuais, ou seja, ${\ displaystyle X_ {1} ^ {n} = (X_ {1}, \ dots, X_ {n})}$

${\ displaystyle {\ begin {alinhados} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = \ prod _ {i = 1} ^ {n} {1 \ over \ theta } \, e ^ {{- 1 \ over \ theta} x_ {i}} = {1 \ over \ theta ^ {n}} \, e ^ {{- 1 \ over \ theta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ End {alinhado}}}$

A densidade conjunta da amostra assume a forma exigida pelo teorema de fatoração de Fisher-Neyman, permitindo

${\ displaystyle {\ begin {alinhados} h (x_ {1} ^ {n}) = 1, \, \, \, g _ {\ theta} (x_ {1} ^ {n}) = {1 \ over \ theta ^ {n}} \, e ^ {{- 1 \ over \ theta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {alinhado}}}$

Uma vez que não depende do parâmetro e depende apenas através da função${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle \ theta}$${\ displaystyle g _ {\ theta} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$${\ displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$

o teorema da fatoração de Fisher-Neyman implica que é uma estatística suficiente para . ${\ displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$${\ displaystyle \ theta}$

Distribuição gama

Se forem independentes e distribuídos como um , onde e forem parâmetros desconhecidos de uma distribuição Gama , então é uma estatística bidimensional suficiente para . ${\ displaystyle X_ {1}, \ dots, X_ {n}}$${\ displaystyle \ Gamma (\ alpha \ ,, \, \ beta)}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} {X_ {i}}, \ sum _ {i = 1} ^ {n} X_ {eu certo)}$${\ displaystyle (\ alpha, \ beta)}$

Para ver isso, considere a função de densidade de probabilidade conjunta de . Como as observações são independentes, o pdf pode ser escrito como um produto de densidades individuais, ou seja, ${\ displaystyle X_ {1} ^ {n} = (X_ {1}, \ dots, X_ {n})}$

${\ displaystyle {\ begin {alinhados} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) & = \ prod _ {i = 1} ^ {n} \ left ({1 \ sobre \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) x_ {i} ^ {\ alpha -1} e ^ {(- 1 / \ beta) x_ {i}} \\ [5pt] & = \ left ({1 \ over \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) ^ {n} \ left (\ prod _ {i = 1} ^ {n} x_ {i} \ right ) ^ {\ alpha -1} e ^ {{- 1 \ over \ beta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {alinhado}}}$

A densidade conjunta da amostra assume a forma exigida pelo teorema de fatoração de Fisher-Neyman, permitindo

${\ displaystyle {\ begin {alinhados} h (x_ {1} ^ {n}) = 1, \, \, \, g _ {(\ alpha \ ,, \, \ beta)} (x_ {1} ^ { n}) = \ left ({1 \ over \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) ^ {n} \ left (\ prod _ {i = 1} ^ {n} x_ {i } \ right) ^ {\ alpha -1} e ^ {{- 1 \ over \ beta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {alinhado}}}$

Uma vez que não depende do parâmetro e depende apenas através da função${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle (\ alpha \ ,, \, \ beta)}$${\ displaystyle g _ {(\ alpha \ ,, \, \ beta)} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$${\ displaystyle T (x_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} x_ {i}, \ sum _ {i = 1} ^ {n} x_ {i }\certo),}$

o teorema de fatoração de Fisher-Neyman implica que é uma estatística suficiente para${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} X_ {i}, \ sum _ {i = 1} ^ {n} X_ {i }\certo)}$${\ displaystyle (\ alpha \ ,, \, \ beta).}$

Teorema de Rao-Blackwell

Suficiência encontra uma aplicação útil no teorema de Rao-Blackwell , que afirma que se g ( X ) é qualquer tipo de estimador de θ , então, normalmente, a expectativa condicional de g ( X ) dada estatística suficiente T ( X ) é um estimador melhor de θ , e nunca é pior. Às vezes, pode-se facilmente construir um estimador g ( X ) muito bruto e, em seguida, avaliar esse valor esperado condicional para obter um estimador que seja ótimo em vários sentidos.

Família exponencial

De acordo com o teorema de Pitman – Koopman – Darmois, entre famílias de distribuições de probabilidade cujo domínio não varia com o parâmetro sendo estimado, apenas em famílias exponenciais há uma estatística suficiente cuja dimensão permanece limitada à medida que o tamanho da amostra aumenta.

De forma menos sucinta, suponha que existam variáveis ​​aleatórias independentes distribuídas de forma idêntica, cuja distribuição é conhecida por estar em alguma família de distribuições de probabilidade com suporte fixo. Somente se essa família for uma família exponencial, haverá uma estatística suficiente (possivelmente com valor vetorial) cujo número de componentes escalares não aumenta à medida que o tamanho da amostra n aumenta. ${\ displaystyle X_ {n}, n = 1,2,3, \ pontos}$${\ displaystyle T (X_ {1}, \ dots, X_ {n})}$

Este teorema mostra que a suficiência (ou melhor, a existência de uma estatística suficiente com valor escalar ou vetorial de dimensão limitada) restringe drasticamente as formas possíveis da distribuição.

Outros tipos de suficiência

Suficiência bayesiana

Uma formulação alternativa da condição de que uma estatística seja suficiente, definida em um contexto Bayesiano, envolve as distribuições posteriores obtidas usando o conjunto de dados completo e usando apenas uma estatística. Assim, o requisito é que, para quase todo x ,

${\ displaystyle \ Pr (\ theta \ mid X = x) = \ Pr (\ theta \ mid T (X) = t (x)).}$

Mais geralmente, sem assumir um modelo paramétrico, podemos dizer que a estatística T é preditiva suficiente se

${\ displaystyle \ Pr (X '= x' \ mid X = x) = \ Pr (X '= x' \ mid T (X) = t (x)).}$

Acontece que esta "suficiência bayesiana" é uma consequência da formulação acima, porém eles não são diretamente equivalentes no caso de dimensão infinita. Uma gama de resultados teóricos para suficiência em um contexto Bayesiano está disponível.

Suficiência Linear

Um conceito denominado "suficiência linear" pode ser formulado em um contexto bayesiano e de forma mais geral. Primeiro defina o melhor preditor linear de um vetor Y com base em X as . Então, uma estatística linear T ( x ) é linear suficiente se ${\ displaystyle {\ hat {E}} [Y \ mid X]}$

${\ displaystyle {\ hat {E}} [\ theta \ mid X] = {\ hat {E}} [\ theta \ mid T (X)].}$

Veja também

• Completude de uma estatística
• Teorema de Basu sobre a independência de estatísticas complementares e suficientes completas
• Teorema de Lehmann-Scheffé : um estimador suficiente completo é o melhor estimador de sua expectativa
• Teorema de Rao-Blackwell
• Redução de dimensão suficiente
• Estatística auxiliar

Notas

Referências

• Kholevo, AS (2001) [1994], "Sufficient statistic" , Encyclopedia of Mathematics , EMS Press
• Lehmann, EL; Casella, G. (1998). Teoria da estimativa de pontos (2ª ed.). Springer. Capítulo 4. ISBN 0-387-98502-6.
• Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms , OUP. ISBN  0-19-920613-9