Estimador - Estimator

Em estatística , um estimador é uma regra para calcular uma estimativa de uma dada quantidade com base em dados observados : assim, a regra (o estimador), a quantidade de interesse (a estimativa ) e seu resultado (a estimativa) são distinguidos. Por exemplo, a média da amostra é um estimador comumente usado da média da população .

Existem estimadores pontuais e de intervalo . Os estimadores pontuais produzem resultados de valor único. Isso está em contraste com um estimador de intervalo , onde o resultado seria uma faixa de valores plausíveis. "Valor único" não significa necessariamente "número único", mas inclui estimadores de valor vetorial ou de função.

A teoria da estimativa preocupa-se com as propriedades dos estimadores; ou seja, com a definição de propriedades que podem ser usadas para comparar diferentes estimadores (diferentes regras para a criação de estimativas) para a mesma quantidade, com base nos mesmos dados. Essas propriedades podem ser usadas para determinar as melhores regras a serem usadas em determinadas circunstâncias. No entanto, em estatísticas robustas , a teoria estatística passa a considerar o equilíbrio entre ter boas propriedades, se premissas bem definidas se mantiverem, e ter menos propriedades boas que se mantêm em condições mais amplas.

Fundo

Um "estimador" ou " estimativa pontual " é uma estatística (ou seja, uma função dos dados) usada para inferir o valor de um parâmetro desconhecido em um modelo estatístico . O parâmetro que está sendo estimado às vezes é chamado de estimativa . Ele pode ser de dimensão finita (em paramétricos e os modelos semi-paramétricas ), ou infinito-dimensional ( semi-paramétrico e modelos não-paramétricos ). Se o parâmetro é indicado então o estimador é tradicionalmente escrito por adição de um circunflexo sobre o símbolo: . Sendo uma função dos dados, o estimador é ele próprio uma variável aleatória ; uma realização particular desta variável aleatória é chamada de "estimativa". Às vezes, as palavras "estimador" e "estimativa" são usadas alternadamente.

A definição não coloca virtualmente nenhuma restrição sobre quais funções dos dados podem ser chamadas de "estimadores". A atratividade de diferentes estimadores pode ser avaliada observando suas propriedades, como imparcialidade , erro quadrático médio , consistência , distribuição assintótica , etc. A construção e comparação de estimadores são os temas da teoria de estimação . No contexto da teoria da decisão , um estimador é um tipo de regra de decisão , e seu desempenho pode ser avaliado por meio do uso de funções de perda .

Quando a palavra "estimador" é usada sem um qualificador, geralmente se refere à estimativa de ponto. A estimativa, neste caso, é um único ponto no espaço de parâmetros . Também existe outro tipo de estimador: estimadores de intervalo , onde as estimativas são subconjuntos do espaço de parâmetros.

O problema de estimativa de densidade surge em duas aplicações. Em primeiro lugar, na estimativa das funções de densidade de probabilidade de variáveis ​​aleatórias e, em segundo lugar, na estimativa da função de densidade espectral de uma série temporal . Nestes problemas, as estimativas são funções que podem ser pensadas como estimativas pontuais em um espaço dimensional infinito, e há problemas de estimativa de intervalo correspondentes.

Definição

Suponha que um parâmetro fixo precise ser estimado. Então, um "estimador" é uma função que mapeia o espaço amostral para um conjunto de estimativas amostrais . Um estimador de geralmente é denotado pelo símbolo . Muitas vezes, é conveniente expressar a teoria usando a álgebra de variáveis ​​aleatórias : assim, se X é usado para denotar uma variável aleatória correspondente aos dados observados, o estimador (ele próprio tratado como uma variável aleatória) é simbolizado como uma função dessa variável aleatória , . A estimativa para um determinado valor de dados observados (ou seja, para ) é então , que é um valor fixo. Freqüentemente, uma notação abreviada é usada na qual é interpretada diretamente como uma variável aleatória , mas isso pode causar confusão.

Propriedades quantificadas

As seguintes definições e atributos são relevantes.

Erro

Para uma determinada amostra , o " erro " do estimador é definido como

onde está o parâmetro sendo estimado. O erro, e , depende não apenas do estimador (a fórmula ou procedimento de estimação), mas também da amostra.

Erro quadrático médio

O erro quadrático médio de é definido como o valor esperado (média ponderada da probabilidade, em todas as amostras) dos erros quadráticos; isso é,

É usado para indicar a que distância, em média, a coleta de estimativas está do único parâmetro que está sendo estimado. Considere a seguinte analogia. Suponha que o parâmetro seja o alvo de um alvo, o estimador é o processo de atirar flechas no alvo e as flechas individuais são estimativas (amostras). Então, MSE alto significa que a distância média das flechas do alvo é alta, e MSE baixo significa que a distância média do alvo é baixa. As setas podem ou não estar agrupadas. Por exemplo, mesmo que todas as flechas atinjam o mesmo ponto, mas errem o alvo grosseiramente, o MSE ainda é relativamente grande. No entanto, se o MSE for relativamente baixo, então as setas provavelmente estão mais agrupadas (do que altamente dispersas) em torno do alvo.

Desvio de Amostragem

Para uma determinada amostra , o desvio amostral do estimador é definido como

onde é o valor esperado do estimador. O desvio amostral, d , depende não apenas do estimador, mas também da amostra.

Variância

A variância de é simplesmente o valor esperado dos desvios de amostragem quadrados; isto é ,. É usado para indicar a que distância, em média, a coleta de estimativas está do valor esperado das estimativas. (Observe a diferença entre MSE e variância.) Se o parâmetro é o alvo de um alvo e as setas são estimativas, então uma variância relativamente alta significa que as setas estão dispersas e uma variância relativamente baixa significa que as setas estão agrupadas. Mesmo se a variância for baixa, o agrupamento de flechas ainda pode estar muito longe do alvo e, mesmo se a variância for alta, a coleção difusa de flechas ainda pode ser imparcial. Finalmente, mesmo que todas as flechas errem grosseiramente o alvo, se ainda assim todas acertarem o mesmo ponto, a variância é zero.

Tendência

O viés de é definido como . É a distância entre a média da coleta de estimativas e o único parâmetro sendo estimado. O viés de é uma função do verdadeiro valor de dizer que o viés de é significa que para todo o viés de é .

O viés também é o valor esperado do erro, pois . Se o parâmetro é o alvo de um alvo e as setas são estimativas, então um valor absoluto relativamente alto para o viés significa que a posição média das setas está fora do alvo, e um viés absoluto relativamente baixo significa a posição média de as flechas estão no alvo. Eles podem estar dispersos ou agrupados. A relação entre tendência e variância é análoga à relação entre exatidão e precisão .

O estimador é um estimador imparcial de se e somente se . O viés é propriedade do estimador, não da estimativa. Freqüentemente, as pessoas se referem a uma "estimativa tendenciosa" ou uma "estimativa imparcial", mas na verdade estão falando sobre uma "estimativa de um estimador tendencioso" ou uma "estimativa de um estimador imparcial". Além disso, as pessoas costumam confundir o "erro" de uma única estimativa com o "viés" de um estimador. O fato de o erro de uma estimativa ser grande não significa que o estimador esteja enviesado. Na verdade, mesmo que todas as estimativas tenham valores astronômicos absolutos para seus erros, se o valor esperado do erro for zero, o estimador é imparcial. Além disso, o enviesamento de um estimador não impede que o erro de uma estimativa seja zero em uma instância particular. A situação ideal é ter um estimador imparcial com baixa variância e também tentar limitar o número de amostras onde o erro é extremo (ou seja, tem poucos outliers). No entanto, a imparcialidade não é essencial. Freqüentemente, se apenas um pequeno enviesamento for permitido, então um estimador pode ser encontrado com MSE mais baixo e / ou menos estimativas de amostra discrepantes.

Uma alternativa para a versão de "imparcial" acima, é "imparcial mediana", onde a mediana da distribuição das estimativas concorda com o valor verdadeiro; portanto, no longo prazo, metade das estimativas será muito baixa e a outra metade muito alta. Embora isso se aplique imediatamente apenas a estimadores de valor escalar, pode ser estendido a qualquer medida de tendência central de uma distribuição: consulte os estimadores não tendenciosos à mediana .

Relações entre as quantidades

  • O MSE, a variância e o enviesamento estão relacionados: isto é, erro quadrático médio = variância + quadrado do enviesamento. Em particular, para um estimador imparcial, a variância é igual ao MSE.
  • O desvio padrão de um estimador de (a raiz quadrada da variância), ou uma estimativa do desvio padrão de um estimador de , é chamado de erro padrão de .

Propriedades comportamentais

Consistência

Uma sequência consistente de estimadores é uma sequência de estimadores que convergem em probabilidade para a quantidade sendo estimada conforme o índice (geralmente o tamanho da amostra ) cresce sem limites. Em outras palavras, aumentar o tamanho da amostra aumenta a probabilidade do estimador estar próximo do parâmetro da população.

Matematicamente, uma sequência de estimadores { t n ; n ≥ 0 } é um estimador consistente para o parâmetro θ se e somente se, para todo ε > 0 , não importa quão pequeno, temos

.

A consistência definida acima pode ser chamada de consistência fraca. A sequência é fortemente consistente , se convergir quase com certeza para o valor verdadeiro.

Um estimador que converge para um múltiplo de um parâmetro pode ser transformado em um estimador consistente multiplicando o estimador por um fator de escala , ou seja, o valor verdadeiro dividido pelo valor assintótico do estimador. Isso ocorre frequentemente na estimativa de parâmetros de escala por medidas de dispersão estatística .

Normalidade assintótica

Um estimador assintoticamente normal é um estimador consistente cuja distribuição em torno do parâmetro verdadeiro θ se aproxima de uma distribuição normal com o desvio padrão encolhendo em proporção à medida que o tamanho da amostra n cresce. Usando para denotar convergência na distribuição , t n é assintoticamente normal se

para alguns V .

Nesta formulação, V / n pode ser chamado de variância assintótica do estimador. No entanto, alguns autores também chamam V a variância assintótica . Observe que a convergência não terá necessariamente ocorrido para qualquer "n" finito, portanto, esse valor é apenas uma aproximação da verdadeira variância do estimador, enquanto no limite a variância assintótica (V / n) é simplesmente zero. Para ser mais específico, a distribuição do estimador t n converge fracamente para uma função delta dirac centrada em .

O teorema do limite central implica a normalidade assintótica da média da amostra como um estimador da média verdadeira. Mais geralmente, os estimadores de máxima verossimilhança são assintoticamente normais sob condições de regularidade razoavelmente fracas - consulte a seção de assintóticos do artigo de máxima verossimilhança. No entanto, nem todos os estimadores são assintoticamente normais; os exemplos mais simples são encontrados quando o verdadeiro valor de um parâmetro está no limite da região de parâmetro permitida.

Eficiência

Duas propriedades naturalmente desejáveis ​​de estimadores são para que eles sejam imparciais e tenham erro quadrático médio mínimo (MSE). Em geral, ambos não podem ser satisfeitos simultaneamente: um estimador enviesado pode ter um erro quadrático médio (MSE) mais baixo do que qualquer estimador enviesado; veja o viés do estimador .

Entre os estimadores não enviesados, frequentemente existe um com a variância mais baixa, denominado estimador imparcial da variância mínima ( MVUE ). Em alguns casos , existe um estimador eficiente não enviesado que, além de ter a menor variância entre os estimadores não enviesados, satisfaz o limite de Cramér-Rao , que é um limite inferior absoluto da variância para estatísticas de uma variável.

Sobre esses "melhores estimadores imparciais", veja também limite de Cramér – Rao , teorema de Gauss – Markov , teorema de Lehmann – Scheffé , teorema de Rao – Blackwell .

Robustez

Veja também

Notas

Referências

links externos