Informação Fisher - Fisher information

Em estatística matemática , a informação de Fisher (às vezes chamado simplesmente de informações ) é uma forma de medir a quantidade de informações que um observável variável aleatória X transporta cerca de um parâmetro desconhecido θ de uma distribuição que os modelos X . Formalmente, é a variância da pontuação ou o valor esperado das informações observadas . Na estatística bayesiana , a distribuição assintótica do modo posterior depende da informação de Fisher e não do anterior (de acordo com o teorema de Bernstein-von Mises , que foi antecipado por Laplace para famílias exponenciais ). O papel da informação de Fisher na teoria assintótica de estimativa de máxima verossimilhança foi enfatizado pelo estatístico Ronald Fisher (seguindo alguns resultados iniciais de Francis Ysidro Edgeworth ). As informações de Fisher também são usadas no cálculo do Jeffreys prior , que é usado em estatísticas Bayesianas.

A matriz de informações de Fisher é usada para calcular as matrizes de covariância associadas às estimativas de máxima verossimilhança . Ele também pode ser usado na formulação de estatísticas de teste, como o teste de Wald .

Os sistemas estatísticos de natureza científica (físicos, biológicos, etc.) cujas funções de verossimilhança obedecem à invariância de deslocamento mostraram obedecer ao máximo de informações de Fisher. O nível do máximo depende da natureza das restrições do sistema.

Definição

A informação de Fisher é uma forma de medir a quantidade de informação que uma variável aleatória observável X carrega sobre um parâmetro desconhecido θ do qual a probabilidade de X depende. Seja f ( X ; θ ) a função de densidade de probabilidade (ou função de massa de probabilidade ) para X condicionada ao valor de θ . Ele descreve a probabilidade de observarmos um determinado resultado de X , dado um valor conhecido de θ . Se f tiver um pico agudo em relação às mudanças em θ , é fácil indicar o valor "correto" de θ a partir dos dados, ou de forma equivalente, que os dados X fornecem muitas informações sobre o parâmetro θ . Se a probabilidade f for plana e espalhada, então seriam necessárias muitas amostras de X para estimar o valor "verdadeiro" real de θ que seria obtido usando toda a população sendo amostrada. Isso sugere estudar algum tipo de variação em relação a θ .

Formalmente, a derivada parcial em relação a θ do logaritmo natural da função de verossimilhança é chamada de pontuação . Sob certas condições de regularidade, se θ é o parâmetro verdadeiro (ou seja, X é realmente distribuído como f ( X ; θ )), pode ser mostrado que o valor esperado (o primeiro momento ) da pontuação, avaliado no valor verdadeiro do parâmetro , é 0: ${\ displaystyle \ theta}$

${\ displaystyle {\ begin {alinhado} & \ operatorname {E} \ left [\ left. {\ frac {\ partial} {\ partial \ theta}} \ log f (X; \ theta) \ right | \ theta \ direita] \\ [3pt] = {} & \ int _ {\ mathbb {R}} {\ frac {{\ frac {\ parcial} {\ parcial \ theta}} f (x; \ theta)} {f ( x; \ theta)}} f (x; \ theta) \, dx \\ [3pt] = {} & {\ frac {\ parcial} {\ parcial \ theta}} \ int _ {\ mathbb {R}} f (x; \ theta) \, dx \\ [3pt] = {} & {\ frac {\ parcial} {\ parcial \ theta}} 1 = 0. \ end {alinhado}}}$

A variância da pontuação é definida como a informação de Fisher :

${\ displaystyle {\ mathcal {I}} (\ theta) = \ operatorname {E} \ left [\ left. \ left ({\ frac {\ partial} {\ partial \ theta}} \ log f (X; \ theta) \ right) ^ {2} \ right | \ theta \ right] = \ int _ {\ mathbb {R}} \ left ({\ frac {\ partial} {\ partial \ theta}} \ log f (x ; \ theta) \ right) ^ {2} f (x; \ theta) \, dx,}$

Observe isso . Uma variável aleatória com informações de Fisher altas implica que o valor absoluto da pontuação é frequentemente alto. As informações de Fisher não são função de uma observação particular, pois a variável aleatória X foi calculada. ${\ displaystyle 0 \ leq {\ mathcal {I}} (\ theta)}$

Se log  f ( x ; θ ) é duas vezes diferenciável em relação a θ , e sob certas condições de regularidade, então a informação de Fisher também pode ser escrita como

${\ displaystyle {\ mathcal {I}} (\ theta) = - \ operatorname {E} \ left [\ left. {\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} \ log f (X; \ theta) \ right | \ theta \ right],}$

Desde a

${\ displaystyle {\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} \ log f (X; \ theta) = {\ frac {{\ frac {\ partial ^ {2}} {\ parcial \ theta ^ {2}}} f (X; \ theta)} {f (X; \ theta)}} - \ left ({\ frac {{\ frac {\ parcial} {\ parcial \ theta} } f (X; \ theta)} {f (X; \ theta)}} \ right) ^ {2} = {\ frac {{\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2 }}} f (X; \ theta)} {f (X; \ theta)}} - \ left ({\ frac {\ partial} {\ partial \ theta}} \ log f (X; \ theta) \ right ) ^ {2}}$

e

${\ displaystyle \ operatorname {E} \ left [\ left. {\ frac {{\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} f (X; \ theta)} {f (X; \ theta)}} \ right | \ theta \ right] = {\ frac {\ parcial ^ {2}} {\ parcial \ theta ^ {2}}} \ int _ {\ mathbb {R}} f (x; \ theta) \, dx = 0.}$

Assim, a informação de Fisher pode ser vista como a curvatura da curva de suporte (o gráfico da log-verossimilhança). Perto da estimativa de máxima verossimilhança , as informações de Fisher baixas indicam, portanto, que o máximo parece "contundente", ou seja, o máximo é raso e há muitos valores próximos com log-verossimilhança semelhante. Por outro lado, informações de Fisher altas indicam que o máximo é nítido.

Condições de regularidade

As condições de regularidade são as seguintes:

1. A derivada parcial de f ( X ; θ ) com respeito a θ existe em quase toda parte . (Ele pode deixar de existir em um conjunto nulo, contanto que este conjunto não dependa de θ .)
2. A integral de f ( X ; θ ) pode ser diferenciada sob o sinal de integral em relação a θ .
3. O suporte de f ( X ; θ ) não depende de θ .

Se θ for um vetor, então as condições de regularidade devem ser válidas para cada componente de θ . É fácil encontrar um exemplo de densidade que não satisfaz as condições de regularidade: A densidade de uma variável Uniforme (0, θ ) falha em satisfazer as condições 1 e 3. Neste caso, embora a informação de Fisher possa ser calculada a partir de a definição, não terá as propriedades que normalmente se supõe que tenha.

Em termos de probabilidade

Como a probabilidade de θ dado X é sempre proporcional à probabilidade f ( X ; θ ), seus logaritmos necessariamente diferem por uma constante que é independente de θ , e as derivadas desses logaritmos em relação a θ são necessariamente iguais. Assim, pode-se substituir em log-verossimilhança l ( θ ; X ) em vez de log f ( X ; θ ) nas definições de Informação de Fisher.

Amostras de qualquer tamanho

O valor X pode representar uma única amostra retirada de uma única distribuição ou pode representar uma coleção de amostras retiradas de uma coleção de distribuições. Se houver n amostras e as n distribuições correspondentes forem estatisticamente independentes , as informações de Fisher serão necessariamente a soma dos valores de informações de Fisher de amostra única, um para cada amostra de sua distribuição. Em particular, se as n distribuições são independentes e distribuídas de forma idêntica, então a informação de Fisher será necessariamente n vezes a informação de Fisher de uma única amostra da distribuição comum.

Derivação informal do limite Cramér – Rao

O limite de Cramér-Rao afirma que o inverso da informação de Fisher é um limite inferior da variância de qualquer estimador imparcial de θ . HL Van Trees (1968) e B. Roy Frieden (2004) fornecem o seguinte método de derivar o limite de Cramér-Rao , um resultado que descreve o uso da informação de Fisher.

Informalmente, começamos considerando um estimador imparcial . Matematicamente, "imparcial" significa que ${\ displaystyle {\ hat {\ theta}} (X)}$

${\ displaystyle \ operatorname {E} \ left [\ left. {\ hat {\ theta}} (X) - \ theta \ right | \ theta \ right] = \ int \ left ({\ hat {\ theta}} (x) - \ theta \ right) \, f (x; \ theta) \, dx = 0 {\ text {independentemente do valor de}} \ theta.}$

Essa expressão é zero independente de θ , portanto, sua derivada parcial em relação a θ também deve ser zero. Pela regra do produto , esta derivada parcial também é igual a

${\ displaystyle 0 = {\ frac {\ partial} {\ partial \ theta}} \ int \ left ({\ hat {\ theta}} (x) - \ theta \ right) \, f (x; \ theta) \, dx = \ int \ left ({\ hat {\ theta}} (x) - \ theta \ right) {\ frac {\ parcial f} {\ parcial \ theta}} \, dx- \ int f \, dx.}$

Para cada θ , a função de verossimilhança é uma função de densidade de probabilidade e, portanto . Um cálculo básico implica que ${\ displaystyle \ int f \, dx = 1}$

${\ displaystyle {\ frac {\ partial f} {\ partial \ theta}} = f \, {\ frac {\ partial \ log f} {\ partial \ theta}}.}$

Usando esses dois fatos acima, obtemos

${\ displaystyle \ int \ left ({\ hat {\ theta}} - \ theta \ right) f \, {\ frac {\ parcial \ log f} {\ parcial \ theta}} \, dx = 1.}$

Fatorar o integrando dá

${\ displaystyle \ int \ left (\ left ({\ hat {\ theta}} - \ theta \ right) {\ sqrt {f}} \ right) \ left ({\ sqrt {f}} \, {\ frac {\ parcial \ log f} {\ parcial \ theta}} \ direita) \, dx = 1.}$

Quadrando a expressão na integral, a desigualdade de Cauchy-Schwarz produz

${\ displaystyle 1 = {\ biggl (} \ int \ left [\ left ({\ hat {\ theta}} - \ theta \ right) {\ sqrt {f}} \ right] \ cdot \ left [{\ sqrt {f}} \, {\ frac {\ partial \ log f} {\ partial \ theta}} \ right] \, dx {\ biggr)} ^ {2} \ leq \ left [\ int \ left ({\ hat {\ theta}} - \ theta \ right) ^ {2} f \, dx \ right] \ cdot \ left [\ int \ left ({\ frac {\ parcial \ log f} {\ parcial \ theta}} \ right) ^ {2} f \, dx \ right].}$

O segundo fator entre colchetes é definido como a informação de Fisher, enquanto o primeiro fator entre colchetes é o erro quadrático médio esperado do estimador . Ao reorganizar, a desigualdade nos diz que ${\ displaystyle {\ hat {\ theta}}}$

${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ theta}} \ right) \ geq {\ frac {1} {{\ mathcal {I}} \ left (\ theta \ right)}}.}$

Em outras palavras, a precisão com a qual podemos estimar θ é fundamentalmente limitada pela informação de Fisher da função de verossimilhança.

Experiência de Bernoulli de parâmetro único

Um ensaio de Bernoulli é uma variável aleatória com dois resultados possíveis, "sucesso" e "falha", com o sucesso tendo uma probabilidade de θ . O resultado pode ser considerado como determinado por um lançamento de moeda, com a probabilidade de cara ser θ e a probabilidade de coroa ser 1 - θ .

Seja X um julgamento de Bernoulli. A informação Fisher contida em X pode ser calculada para ser

${\ displaystyle {\ begin {align} {\ mathcal {I}} (\ theta) & = - \ operatorname {E} \ left [\ left. {\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} \ log \ left (\ theta ^ {X} (1- \ theta) ^ {1-X} \ right) \ right | \ theta \ right] \\ [5pt] & = - \ operatorname {E} \ left [\ left. {\ Frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} \ left (X \ log \ theta + (1-X) \ log (1- \ theta) \ right) \ right | \ theta \ right] \\ [5pt] & = \ operatorname {E} \ left [\ left. {\ frac {X} {\ theta ^ {2}}} + {\ frac {1-X} {(1- \ theta) ^ {2}}} \ right | \ theta \ right] \\ [5pt] & = {\ frac {\ theta} {\ theta ^ {2}}} + {\ frac {1- \ theta} {(1- \ theta) ^ {2}}} \\ [5pt] & = {\ frac {1} {\ theta (1- \ theta)}}. \ end {alinhado}}}$

Como as informações de Fisher são aditivas, as informações de Fisher contidas em n ensaios de Bernoulli independentes são, portanto,

${\ displaystyle {\ mathcal {I}} (\ theta) = {\ frac {n} {\ theta (1- \ theta)}}.}$

Este é o recíproco da variância do número médio de sucessos em n tentativas de Bernoulli , portanto, neste caso, o limite de Cramér-Rao é uma igualdade.

Forma de matriz

Quando existem N parâmetros, de modo que θ é um N × um vector , em seguida, a informação de Fisher toma a forma de um N × N matriz . Esta matriz é chamada de matriz de informação de Fisher (FIM) e tem um elemento típico ${\ displaystyle \ theta = {\ begin {bmatrix} \ theta _ {1} & \ theta _ {2} & \ dots & \ theta _ {N} \ end {bmatrix}} ^ {\ textf {T}}, }$

${\ displaystyle {\ bigl [} {\ mathcal {I}} (\ theta) {\ bigr]} _ {i, j} = \ operatorname {E} \ left [\ left. \ left ({\ frac {\ parcial} {\ parcial \ theta _ {i}}} \ log f (X; \ theta) \ direita) \ esquerda ({\ frac {\ parcial} {\ parcial \ theta _ {j}}} \ log f ( X; \ theta) \ right) \ right | \ theta \ right].}$

A FIM é um N × N matriz semidefinido positivo . Se for positivo definido, então ele define uma métrica Riemanniana no espaço de parâmetros N - dimensional . A geometria de informações do tópico usa isso para conectar as informações de Fisher à geometria diferencial e, nesse contexto, essa métrica é conhecida como métrica de informações de Fisher .

Sob certas condições de regularidade, a matriz de informações de Fisher também pode ser escrita como

${\ displaystyle {\ bigl [} {\ mathcal {I}} (\ theta) {\ bigr]} _ {i, j} = - \ operatorname {E} \ left [\ left. {\ frac {\ partial ^ {2}} {\ parcial \ theta _ {i} \, \ parcial \ theta _ {j}}} \ log f (X; \ theta) \ direita | \ theta \ direita] \ ,.}$

O resultado é interessante de várias maneiras:

• Ele pode ser derivado como o Hessiano da entropia relativa .
• Ela pode ser usada como uma métrica Riemanniana para definir a geometria Fisher-Rao quando for definida positiva.
• Pode ser entendido como uma métrica induzida a partir da métrica euclidiana , após mudança apropriada de variável.
• Em sua forma de valor complexo, é a métrica Fubini-Study .
• É a parte chave da prova do teorema de Wilks , que permite estimativas da região de confiança para estimativa de máxima verossimilhança (para aquelas condições para as quais se aplica) sem a necessidade do Princípio da Verossimilhança .
• Nos casos em que os cálculos analíticos do FIM acima são difíceis, é possível formar uma média das estimativas de Monte Carlo fáceis de Hessian da função de probabilidade logarítmica negativa como uma estimativa do FIM. As estimativas podem ser baseadas em valores da função de log-verossimilhança negativa ou no gradiente da função de log-verossimilhança negativa; nenhum cálculo analítico do Hessian da função de verossimilhança negativa é necessário.

Parâmetros ortogonais

Dizemos que dois parâmetros θ _i e θ _j são ortogonais se o elemento da i- ésima linha ej- ésima coluna da matriz de informação de Fisher for zero. Os parâmetros ortogonais são fáceis de lidar no sentido de que suas estimativas de máxima verossimilhança são independentes e podem ser calculadas separadamente. Ao lidar com problemas de pesquisa, é muito comum o pesquisador investir algum tempo na busca por uma parametrização ortogonal das densidades envolvidas no problema.

Modelo estatístico singular

Se a matriz de informação de Fisher for definida positiva para todo θ , então o modelo estatístico correspondente é considerado regular ; caso contrário, o modelo estatístico é considerado singular . Exemplos de modelos estatísticos singulares incluem o seguinte: misturas normais, misturas binomiais, misturas multinomiais, redes Bayesianas, redes neurais, funções de base radial, modelos de Markov ocultos, gramáticas estocásticas livres de contexto, regressões de classificação reduzida, máquinas de Boltzmann.

No aprendizado de máquina , se um modelo estatístico é elaborado de forma que extraia estruturas ocultas de um fenômeno aleatório, ele naturalmente se torna singular.

Distribuição normal multivariada

O FIM para uma distribuição normal multivariada N- variada , tem uma forma especial. Seja o vetor de parâmetros K -dimensional e o vetor de variáveis ​​normais aleatórias seja . Suponha que os valores médios dessas variáveis ​​aleatórias sejam , e deixe ser a matriz de covariância . Então, para , a entrada ( m , n ) do FIM é: ${\ displaystyle \, X \ sim N \ left (\ mu (\ theta), \, \ Sigma (\ theta) \ right)}$${\ displaystyle \ theta = {\ begin {bmatrix} \ theta _ {1} & \ dots & \ theta _ {K} \ end {bmatrix}} ^ {\ textf {T}}}$${\ displaystyle X = {\ begin {bmatrix} X_ {1} & \ dots & X_ {N} \ end {bmatrix}} ^ {\ textf {T}}}$${\ displaystyle \, \ mu (\ theta) = {\ begin {bmatrix} \ mu _ {1} (\ theta) & \ dots & \ mu _ {N} (\ theta) \ end {bmatrix}} ^ { \ textf {T}}}$${\ displaystyle \, \ Sigma (\ theta)}$${\ displaystyle 1 \ leq m, \, n \ leq K}$

${\ displaystyle {\ mathcal {I}} _ {m, n} = {\ frac {\ parcial \ mu ^ {\ textf {T}}} {\ parcial \ theta _ {m}}} \ Sigma ^ {- 1} {\ frac {\ partial \ mu} {\ partial \ theta _ {n}}} + {\ frac {1} {2}} \ operatorname {tr} \ left (\ Sigma ^ {- 1} {\ frac {\ partial \ Sigma} {\ partial \ theta _ {m}}} \ Sigma ^ {- 1} {\ frac {\ partial \ Sigma} {\ partial \ theta _ {n}}} \ right),}$

onde denota a transposição de um vetor, denota o traço de uma matriz quadrada e: ${\ displaystyle (\ cdot) ^ {\ textf {T}}}$${\ displaystyle \ operatorname {tr} (\ cdot)}$

${\ displaystyle {\ begin {alinhados} {\ frac {\ partial \ mu} {\ partial \ theta _ {m}}} & = {\ begin {bmatrix} {\ frac {\ partial \ mu _ {1}} {\ partial \ theta _ {m}}} & {\ frac {\ partial \ mu _ {2}} {\ partial \ theta _ {m}}} & \ cdots & {\ frac {\ partial \ mu _ { N}} {\ parcial \ theta _ {m}}} \ end {bmatriz}} ^ {\ textf {T}}; \\ {\ frac {\ parcial \ Sigma} {\ parcial \ theta _ {m}} } & = {\ begin {bmatrix} {\ frac {\ partial \ Sigma _ {1,1}} {\ partial \ theta _ {m}}} & {\ frac {\ partial \ Sigma _ {1,2} } {\ partial \ theta _ {m}}} & \ cdots & {\ frac {\ partial \ Sigma _ {1, N}} {\ partial \ theta _ {m}}} \\ [5pt] {\ frac {\ parcial \ Sigma _ {2,1}} {\ parcial \ theta _ {m}}} & {\ frac {\ parcial \ Sigma _ {2,2}} {\ parcial \ theta _ {m}}} & \ cdots & {\ frac {\ partial \ Sigma _ {2, N}} {\ partial \ theta _ {m}}} \\\ vdots & \ vdots & \ ddots & \ vdots \\ {\ frac {\ parcial \ Sigma _ {N, 1}} {\ parcial \ theta _ {m}}} & {\ frac {\ parcial \ Sigma _ {N, 2}} {\ parcial \ theta _ {m}}} & \ cdots & {\ frac {\ partial \ Sigma _ {N, N}} {\ partial \ theta _ {m}}} \ end {bmatrix}}. \ end {alinhado}}}$

Observe que um caso especial, mas muito comum, é aquele em que , uma constante. Então ${\ displaystyle \ Sigma (\ theta) = \ Sigma}$

${\ displaystyle {\ mathcal {I}} _ {m, n} = {\ frac {\ parcial \ mu ^ {\ textf {T}}} {\ parcial \ theta _ {m}}} \ Sigma ^ {- 1} {\ frac {\ partial \ mu} {\ partial \ theta _ {n}}}. \}$

Neste caso, a matriz de informação de Fisher pode ser identificada com a matriz de coeficiente das equações normais da teoria de estimativa de mínimos quadrados .

Outro caso especial ocorre quando a média e a covariância dependem de dois parâmetros vetoriais diferentes, digamos, β e θ . Isso é especialmente popular na análise de dados espaciais, que geralmente usa um modelo linear com resíduos correlacionados. Nesse caso,

${\ displaystyle {\ mathcal {I}} (\ beta, \ theta) = \ operatorname {diag} \ left ({\ mathcal {I}} (\ beta), {\ mathcal {I}} (\ theta) \ direito)}$

Onde

${\ displaystyle {\ begin {align} {\ mathcal {I}} {(\ beta) _ {m, n}} & = {\ frac {\ partial \ mu ^ {\ textf {T}}} {\ partial \ beta _ {m}}} \ Sigma ^ {- 1} {\ frac {\ partial \ mu} {\ partial \ beta _ {n}}}, \\ [5pt] {\ mathcal {I}} {( \ theta) _ {m, n}} & = {\ frac {1} {2}} \ operatorname {tr} \ left (\ Sigma ^ {- 1} {\ frac {\ partial \ Sigma} {\ partial \ theta _ {m}}} {\ Sigma ^ {- 1}} {\ frac {\ partial \ Sigma} {\ partial \ theta _ {n}}} \ right) \ end {alinhado}}}$

Propriedades

Regra da corrente

Semelhante à entropia ou informação mútua , a informação de Fisher também possui uma decomposição de regra em cadeia . Em particular, se X e Y são variáveis ​​aleatórias distribuídas em conjunto, segue-se que:

${\ displaystyle {\ mathcal {I}} _ {X, Y} (\ theta) = {\ mathcal {I}} _ {X} (\ theta) + {\ mathcal {I}} _ {Y \ mid X } (\ theta),}$

onde e é a informação de Fisher de Y em relação a calculada em relação à densidade condicional de Y, dado um valor específico  X  =  x . ${\ displaystyle {\ mathcal {I}} _ {Y \ mid X} (\ theta) = \ operatorname {E} _ {X} \ left [{\ mathcal {I}} _ {Y \ mid X = x} (\ theta) \ direita]}$${\ displaystyle {\ mathcal {I}} _ {Y \ mid X = x} (\ theta)}$${\ displaystyle \ theta}$

Como um caso especial, se as duas variáveis ​​aleatórias são independentes , a informação produzida pelas duas variáveis ​​aleatórias é a soma das informações de cada variável aleatória separadamente:

${\ displaystyle {\ mathcal {I}} _ {X, Y} (\ theta) = {\ mathcal {I}} _ {X} (\ theta) + {\ mathcal {I}} _ {Y} (\ theta).}$

Consequentemente, a informação em uma amostra aleatória de n observações independentes e distribuídas de forma idêntica é n vezes a informação em uma amostra de tamanho 1.

Estatística suficiente

A informação fornecida por uma estatística suficiente é a mesma que a da amostra X . Isso pode ser visto usando o critério de fatoração de Neyman para uma estatística suficiente. Se T ( X ) é suficiente para θ , então

${\ displaystyle f (X; \ theta) = g (T (X), \ theta) h (X)}$

Para algumas funções g e h . A independência de h ( X ) de θ implica

${\ displaystyle {\ frac {\ partial} {\ partial \ theta}} \ log \ left [f (X; \ theta) \ right] = {\ frac {\ partial} {\ partial \ theta}} \ log \ esquerda [g (T (X); \ theta) \ direita],}$

e a igualdade de informações segue então a definição de informação de Fisher. Mais geralmente, se T = t ( X ) é uma estatística , então

${\ displaystyle {\ mathcal {I}} _ {T} (\ theta) \ leq {\ mathcal {I}} _ {X} (\ theta)}$

com igualdade se e somente se T for uma estatística suficiente .

Reparametrização

As informações de Fisher dependem da parametrização do problema. Se θ e η são duas parametrizações escalares de um problema de estimativa, e θ é uma função continuamente diferenciável de η , então

${\ displaystyle {\ mathcal {I}} _ {\ eta} (\ eta) = {\ mathcal {I}} _ {\ theta} (\ theta (\ eta)) \ left ({\ frac {d \ theta) } {d \ eta}} \ right) ^ {2}}$

onde e são as medidas da informação de Fisher de η e θ , respectivamente. ${\ displaystyle {\ mathcal {I}} _ {\ eta}}$${\ displaystyle {\ mathcal {I}} _ {\ theta}}$

No caso do vetor, suponha e são k -vetores que parametrizam um problema de estimativa, e suponha que seja uma função continuamente diferenciável de , então, ${\ displaystyle {\ boldsymbol {\ theta}}}$${\ displaystyle {\ boldsymbol {\ eta}}}$${\ displaystyle {\ boldsymbol {\ theta}}}$${\ displaystyle {\ boldsymbol {\ eta}}}$

${\ displaystyle {\ mathcal {I}} _ {\ boldsymbol {\ eta}} ({\ boldsymbol {\ eta}}) = {\ boldsymbol {J}} ^ {\ textf {T}} {\ mathcal {I }} _ {\ boldsymbol {\ theta}} ({\ boldsymbol {\ theta}} ({\ boldsymbol {\ eta}})) {\ boldsymbol {J}}}$

onde a ( i , j ) º elemento do k  x  k Jacobiana matriz é definida pela ${\ displaystyle {\ boldsymbol {J}}}$

${\ displaystyle J_ {ij} = {\ frac {\ partial \ theta _ {i}} {\ partial \ eta _ {j}}},}$

e onde está a matriz transposta de${\ displaystyle {\ boldsymbol {J}} ^ {\ textf {T}}}$${\ displaystyle {\ boldsymbol {J}}.}$

Na geometria da informação , isso é visto como uma mudança de coordenadas em uma variedade Riemanniana , e as propriedades intrínsecas da curvatura permanecem inalteradas sob diferentes parametrizações. Em geral, a matriz de informação Fisher fornece uma métrica Riemanniana (mais precisamente, a métrica Fisher-Rao) para a variedade de estados termodinâmicos e pode ser usada como uma medida de complexidade geométrica de informação para uma classificação de transições de fase , por exemplo, o escalar curvatura do tensor métrico termodinâmico diverge em (e apenas em) um ponto de transição de fase.

No contexto termodinâmico, a matriz de informações de Fisher está diretamente relacionada à taxa de mudança nos parâmetros de ordem correspondentes . Em particular, tais relações identificam transições de fase de segunda ordem por meio de divergências de elementos individuais da matriz de informação de Fisher.

Desigualdade isoperimétrica

A matriz de informação de Fisher desempenha um papel em uma desigualdade como a desigualdade isoperimétrica . De todas as distribuições de probabilidade com uma determinada entropia, aquela cuja matriz de informação de Fisher tem o menor traço é a distribuição Gaussiana. É como, de todos os conjuntos limitados com um determinado volume, a esfera tem a menor área de superfície.

A prova envolve pegar uma variável aleatória multivariada com função de densidade e adicionar um parâmetro de localização para formar uma família de densidades . Então, por analogia com a fórmula de Minkowski-Steiner , a "área de superfície" de é definida como ${\ displaystyle X}$${\ displaystyle f}$${\ displaystyle \ {f (x- \ theta) \ mid \ theta \ in \ mathbb {R} ^ {n} \}}$${\ displaystyle X}$

${\ displaystyle S (X) = \ lim _ {\ epsilon \ to 0} {\ frac {e ^ {H (X + Z _ {\ epsilon})} - e ^ {H (X)}} {\ epsilon} }}$

onde é uma variável gaussiana com matriz de covariância . O nome "área de superfície" é adequado porque o poder de entropia é o volume do "conjunto de suporte efetivo", assim como a "derivada" do volume do conjunto de suporte efetivo, muito parecido com a fórmula de Minkowski-Steiner. O restante da prova usa a desigualdade de poder de entropia , que é como a desigualdade de Brunn-Minkowski . O traço da matriz de informações de Fisher é considerado um fator de . ${\ displaystyle Z _ {\ epsilon}}$${\ displaystyle \ epsilon I}$${\ displaystyle e ^ {H (X)}}$${\ displaystyle S (X)}$${\ displaystyle S (X)}$

Formulários

Projeto ideal de experimentos

As informações de Fisher são amplamente utilizadas no planejamento experimental ideal . Devido à reciprocidade da variância do estimador e da informação de Fisher, minimizar a variância corresponde a maximizar a informação .

Quando o modelo estatístico linear (ou linearizado ) possui vários parâmetros , a média do estimador de parâmetros é um vetor e sua variância é uma matriz . O inverso da matriz de variância é denominado "matriz de informação". Como a variância do estimador de um vetor de parâmetros é uma matriz, o problema de "minimizar a variância" é complicado. Usando a teoria estatística , os estatísticos comprimem a matriz de informações usando estatísticas de resumo com valor real ; sendo funções com valor real, esses "critérios de informação" podem ser maximizados.

Tradicionalmente, os estatísticos avaliam estimadores e designs considerando algumas estatísticas resumidas da matriz de covariância (de um estimador não enviesado), geralmente com valores reais positivos (como o determinante ou o traço da matriz ). Trabalhar com números reais positivos traz várias vantagens: Se o estimador de um único parâmetro tem uma variância positiva, então a variância e as informações de Fisher são números reais positivos; portanto, eles são membros do cone convexo de números reais não negativos (cujos membros diferentes de zero têm recíprocos neste mesmo cone).

Para vários parâmetros, as matrizes de covariância e as matrizes de informação são elementos do cone convexo de matrizes simétricas definidas não negativas em um espaço vetorial parcialmente ordenado , sob a ordem de Loewner (Löwner). Este cone é fechado sob a adição e inversão de matrizes, bem como sob a multiplicação de números reais positivos e matrizes. Uma exposição da teoria da matriz e da ordem de Loewner aparece em Pukelsheim.

Os critérios tradicionais de otimalidade são os invariantes da matriz de informação , no sentido da teoria dos invariantes ; algebricamente, os critérios de otimalidade tradicionais são funcionais dos autovalores da matriz de informação (Fisher) (ver projeto ótimo ).

Jeffreys anterior em estatísticas Bayesianas

Na estatística bayesiana , a informação de Fisher é usada para calcular o prior de Jeffreys , que é um prior padrão e não informativo para parâmetros de distribuição contínua.

Neurociência computacional

As informações de Fisher foram usadas para encontrar limites na precisão dos códigos neurais. Nesse caso, X é normalmente as respostas conjuntas de muitos neurônios que representam uma variável de baixa dimensão θ (como um parâmetro de estímulo). Em particular, o papel das correlações no ruído das respostas neurais foi estudado.

Derivação das leis físicas

As informações de Fisher desempenham um papel central em um princípio controverso apresentado por Frieden como a base das leis físicas, uma afirmação que tem sido contestada.

Aprendizado de máquina

As informações de Fisher são usadas em técnicas de aprendizado de máquina, como consolidação de peso elástico , que reduz o esquecimento catastrófico em redes neurais artificiais .

Relação com entropia relativa

A informação de Fisher está relacionada à entropia relativa . A entropia relativa, ou divergência de Kullback-Leibler , entre duas distribuições e pode ser escrita como ${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle KL (p: q) = \ int p (x) \ log {\ frac {p (x)} {q (x)}} dx.}$

Agora, considere uma família de distribuições de probabilidade parametrizadas por . Em seguida, a divergência Kullback-Leibler , entre duas distribuições na família pode ser escrita como ${\ displaystyle f (x; \ theta)}$${\ displaystyle \ theta \ in \ Theta}$

${\ displaystyle D (\ theta, \ theta ') = KL (p (.; \ theta): p (.; \ theta')) = \ int f (x; \ theta) \ log {\ frac {f ( x; \ theta)} {f (x; \ theta ')}} dx.}$

Se for fixo, então a entropia relativa entre duas distribuições da mesma família é minimizada em . Para perto de , pode-se expandir a expressão anterior em uma série até a segunda ordem: ${\ displaystyle \ theta}$${\ displaystyle \ theta '= \ theta}$${\ displaystyle \ theta '}$${\ displaystyle \ theta}$

${\ displaystyle D (\ theta, \ theta ') = {\ frac {1} {2}} (\ theta' - \ theta) ^ {\ textf {T}} \ left ({\ frac {\ parcial ^ { 2}} {\ parcial \ theta '_ {i} \, \ parcial \ theta' _ {j}}} D (\ theta, \ theta ') \ direita) _ {\ theta' = \ theta} (\ theta '- \ theta) + o \ left ((\ theta' - \ theta) ^ {2} \ right)}$

Mas a derivada de segunda ordem pode ser escrita como

${\ displaystyle \ left ({\ frac {\ partial ^ {2}} {\ partial \ theta '_ {i} \, \ partial \ theta' _ {j}}} D (\ theta, \ theta ') \ direita) _ {\ theta '= \ theta} = - \ int f (x; \ theta) \ left ({\ frac {\ parcial ^ {2}} {\ parcial \ theta' _ {i} \, \ parcial \ theta '_ {j}}} \ log (f (x; \ theta')) \ right) _ {\ theta '= \ theta} dx = [{\ mathcal {I}} (\ theta)] _ { eu j}.}$

Assim, a informação de Fisher representa a curvatura da entropia relativa.

História

As informações de Fisher foram discutidas por vários estatísticos antigos, principalmente FY Edgeworth . Por exemplo, Savage diz: "Nele [informações de Fisher], ele [Fisher] foi até certo ponto antecipado (Edgeworth 1908–9 esp. 502, 507–8, 662, 677–8, 82–5 e referências a ele [Edgeworth ] cita incluindo Pearson e Filon 1898 [...]). " Existem várias fontes históricas antigas e uma série de revisões deste trabalho inicial.

Veja também

• Eficiência (estatísticas)
• Informação observada
• Fisher informações métricas
• Matriz de formação
• Geometria da informação
• Jeffreys anterior
• Com destino a Cramér – Rao
• Informações mínimas de Fisher

Outras medidas empregadas na teoria da informação :

• Entropia (teoria da informação)
• Divergência de Kullback-Leibler
• Auto-informação

Notas

Referências

• Cramér, Harald (1946). Métodos matemáticos de estatística . Série matemática de Princeton. Princeton: Princeton University Press. ISBN 0691080046.
• Edgeworth, FY (junho de 1908). "Sobre os Prováveis ​​Erros das Constantes de Frequência" . Journal of the Royal Statistical Society . 71 (2): 381–397. doi : 10.2307 / 2339461 . JSTOR  2339461 .
• Edgeworth, FY (setembro de 1908). "Sobre os prováveis ​​erros das constantes de frequência (continuação)" . Journal of the Royal Statistical Society . 71 (3): 499–512. doi : 10.2307 / 2339293 . JSTOR  2339293 .
• Edgeworth, FY (dezembro de 1908). "Sobre os prováveis ​​erros das constantes de frequência (continuação)" . Journal of the Royal Statistical Society . 71 (4): 651–678. doi : 10.2307 / 2339378 . JSTOR  2339378 .
• Fisher, RA (01/01/1922). "Sobre os fundamentos matemáticos da estatística teórica" . Philosophical Transactions, da Royal Society de Londres, Série A . 222 (594–604): 309–368. doi : 10.1098 / rsta.1922.0009 .
• Frieden, BR (2004) Science from Fisher Information: A Unification . Cambridge Univ. Pressione. ISBN  0-521-00911-1 .
• Frieden, B. Roy; Gatenby, Robert A. (2013). "Princípio da informação máxima de Fisher a partir dos axiomas de Hardy aplicados a sistemas estatísticos" . Physical Review E . 88 (4): 042144. arXiv : 1405.0007 . Bibcode : 2013PhRvE..88d2144F . doi : 10.1103 / PhysRevE.88.042144 . PMC  4010149 . PMID  24229152 .
• Hald, A. (maio de 1999). "Sobre a história da máxima verossimilhança em relação à probabilidade inversa e aos mínimos quadrados" . Ciência Estatística . 14 (2): 214–222. doi : 10.1214 / ss / 1009212248 . JSTOR  2676741 .
• Hald, A. (1998). A History of Mathematical Statistics de 1750 a 1930 . Nova York: Wiley. ISBN 978-0-471-17912-2.
• Lehmann, EL ; Casella, G. (1998). Teoria da estimativa de pontos (2ª ed.). Springer. ISBN 978-0-387-98502-2.
• Le Cam, Lucien (1986). Métodos Assintóticos em Teoria da Decisão Estatística . Springer-Verlag. ISBN 978-0-387-96307-5.
• Pratt, John W. (maio de 1976). "FY Edgeworth e RA Fisher sobre a Eficiência da Estimativa de Máxima Verossimilhança" . Annals of Statistics . 4 (3): 501–514. doi : 10.1214 / aos / 1176343457 . JSTOR  2958222 .
• Rao, C. Radhakrishna (1945). "Informação e precisão atingíveis na estimativa de parâmetros estatísticos". Boletim da Sociedade Matemática de Calcutá . Springer Series in Statistics. 37 : 81–91. doi : 10.1007 / 978-1-4612-0919-5_16 . ISBN 978-0-387-94037-3.
• Savage, LJ (maio de 1976). "Sobre a releitura de RA Fisher" . Annals of Statistics . 4 (3): 441–500. doi : 10.1214 / aos / 1176343456 . JSTOR  2958221 .
• Schervish, Mark J. (1995). Teoria da Estatística . Nova York: Springer. ISBN 978-0-387-94546-0.
• Stigler, SM (1986). A história da estatística: a medição da incerteza antes de 1900 . Harvard University Press. ISBN 978-0-674-40340-6.
• Stigler, SM (1978). "Francis Ysidro Edgeworth, Estatístico" . Journal of Royal Statistical Society, Série A . 141 (3): 287–322. doi : 10.2307 / 2344804 . JSTOR  2344804 .
• Stigler, SM (1999). Estatísticas na mesa: A história dos conceitos e métodos estatísticos . Harvard University Press. ISBN 978-0-674-83601-3.
• Van Trees, HL (1968). Detecção, Avaliação e Teoria Modulation, Parte I . Nova York: Wiley. ISBN 978-0-471-09517-0.