Reamostragem (estatísticas) - Resampling (statistics)

Nas estatísticas , a reamostragem é qualquer um de uma variedade de métodos para fazer um dos seguintes:

Estimar a precisão das estatísticas da amostra ( medianas , variâncias , percentis ) usando subconjuntos de dados disponíveis ( jackknifing ) ou desenhando aleatoriamente com substituição de um conjunto de pontos de dados ( bootstrapping )
Os testes de permutação (também testes de re-randomização) são testes exatos : troca de rótulos em pontos de dados ao realizar testes de significância
Validando modelos usando subconjuntos aleatórios (bootstrapping, validação cruzada )

Bootstrap

O melhor exemplo do princípio do plug-in, o método de bootstrapping.

Bootstrapping é um método estatístico para estimar a distribuição amostral de um estimador por amostragem com substituição da amostra original, na maioria das vezes com o objetivo de derivar estimativas robustas de erros padrão e intervalos de confiança de um parâmetro populacional como média , mediana , proporção , probabilidades razão , coeficiente de correlação ou coeficiente de regressão . Tem sido chamado de princípio de plug-in , pois é o método de estimativa de funcionais de uma distribuição populacional avaliando os mesmos funcionais na distribuição empírica com base em uma amostra.

Por exemplo, ao estimar a média da população , este método usa a média da amostra ; para estimar a mediana da população , usa a mediana da amostra; para estimar a linha de regressão da população , ele usa a linha de regressão da amostra.

Também pode ser usado para construir testes de hipóteses. É frequentemente usado como uma alternativa robusta à inferência baseada em suposições paramétricas quando essas suposições estão em dúvida ou quando a inferência paramétrica é impossível ou requer fórmulas muito complicadas para o cálculo de erros padrão. Técnicas de bootstrapping também são usadas nas transições de atualização-seleção de filtros de partículas , algoritmos de tipo genético e métodos de Monte Carlo de reamostragem / reconfiguração relacionados usados em física computacional . Nesse contexto, o bootstrap é usado para substituir medidas de probabilidade ponderada empírica sequencialmente por medidas empíricas . O bootstrap permite substituir as amostras com pesos baixos por cópias das amostras com pesos elevados.

Canivete

Jackknifing, que é semelhante ao bootstrapping, é usado em inferência estatística para estimar o viés e o erro padrão (variância) de uma estatística, quando uma amostra aleatória de observações é usada para calculá-la. Historicamente, esse método precedeu a invenção do bootstrap com Quenouille inventando esse método em 1949 e Tukey estendendo-o em 1958. Esse método foi prenunciado por Mahalanobis que em 1946 sugeriu estimativas repetidas da estatística de interesse com metade da amostra escolhida ao acaso. Ele cunhou o nome de 'amostras interpenetrantes' para este método.

Quenouille inventou esse método com a intenção de reduzir o viés da estimativa amostral. Tukey estendeu este método assumindo que se as réplicas pudessem ser consideradas distribuídas de forma idêntica e independente, então uma estimativa da variância do parâmetro da amostra poderia ser feita e que seria aproximadamente distribuída como na variável com n -1 graus de liberdade ( n sendo o tamanho da amostra).

A ideia básica por trás do estimador de variância jackknife está em recomputar sistematicamente a estimativa estatística, deixando de fora uma ou mais observações por vez do conjunto de amostra. A partir desse novo conjunto de réplicas da estatística, uma estimativa para o viés e uma estimativa para a variância da estatística podem ser calculadas.

Em vez de usar o canivete para estimar a variância, ele pode ser aplicado ao log da variância. Essa transformação pode resultar em melhores estimativas, especialmente quando a distribuição da própria variância pode ser não normal.

Para muitos parâmetros estatísticos, a estimativa jackknife da variância tende assintoticamente ao valor verdadeiro quase com certeza. Em termos técnicos, diz-se que a estimativa jackknife é consistente . O jackknife é consistente para as médias da amostra , variâncias da amostra , estatísticas t centrais e não centrais (com populações possivelmente não normais), coeficiente de variação da amostra , estimadores de máxima verossimilhança , estimadores de mínimos quadrados, coeficientes de correlação e coeficientes de regressão .

Não é consistente para a mediana da amostra . No caso de uma variável unimodal, a razão da variância jackknife para a variância da amostra tende a ser distribuída como a metade do quadrado de uma distribuição de qui-quadrado com dois graus de liberdade .

O jackknife, como o bootstrap original, depende da independência dos dados. Extensões do jackknife para permitir a dependência nos dados foram propostas.

Outra extensão é o método delete-a-group usado em associação com a amostragem de Poisson .

Jackknife é equivalente à validação cruzada aleatória (subamostragem) de deixar um de fora discutida abaixo, ela apenas difere no objetivo.

Comparação de bootstrap e jackknife

Ambos os métodos, bootstrap e jackknife, estimam a variabilidade de uma estatística a partir da variabilidade dessa estatística entre subamostras, em vez de suposições paramétricas. Para o jackknife mais geral, o jackknife de observações delete-m, o bootstrap pode ser visto como uma aproximação aleatória dele. Ambos produzem resultados numéricos semelhantes, razão pela qual cada um pode ser visto como uma aproximação do outro. Embora existam enormes diferenças teóricas em seus insights matemáticos, a principal diferença prática para usuários de estatísticas é que o bootstrap dá resultados diferentes quando repetido nos mesmos dados, enquanto o jackknife dá exatamente o mesmo resultado todas as vezes. Por causa disso, o canivete é popular quando as estimativas precisam ser verificadas várias vezes antes da publicação (por exemplo, agências de estatísticas oficiais). Por outro lado, quando este recurso de verificação não é crucial e é do interesse não ter um número, mas apenas uma ideia de sua distribuição, o bootstrap é preferido (por exemplo, estudos em física, economia, ciências biológicas).

O uso de bootstrap ou jackknife pode depender mais de aspectos operacionais do que de questões estatísticas de uma pesquisa. O jackknife, originalmente usado para redução de viés, é mais um método especializado e apenas estima a variância do estimador de ponto. Isso pode ser suficiente para inferência estatística básica (por exemplo, teste de hipóteses, intervalos de confiança). O bootstrap, por outro lado, primeiro estima toda a distribuição (do estimador pontual) e então calcula a variância a partir disso. Embora poderoso e fácil, isso pode se tornar altamente intensivo em termos de computação.

"O bootstrap pode ser aplicado a problemas de estimativa de variância e distribuição. No entanto, o estimador de variância bootstrap não é tão bom quanto o jackknife ou o estimador de variância de replicação repetida balanceada (BRR) em termos de resultados empíricos. Além disso, o estimador de variância bootstrap geralmente requer mais cálculos do que o canivete ou o BRR. Portanto, o bootstrap é principalmente recomendado para estimativa de distribuição. "

Há uma consideração especial com o canivete, especialmente com o canivete de observação delete-1. Deve ser usado apenas com estatísticas suaves e diferenciáveis (por exemplo, totais, médias, proporções, razões, razões ímpares, coeficientes de regressão, etc .; não com medianas ou quantis). Isso pode se tornar uma desvantagem prática. Essa desvantagem geralmente é o argumento a favor do bootstrapping ao invés do jackknifing. Jackknifes mais gerais do que o delete-1, como o jackknife delete-m ou o estimador Hodges-Lehmann delete-all-but-2 , superam este problema para as medianas e quantis, relaxando os requisitos de suavidade para estimativa de variância consistente.

Normalmente, o jackknife é mais fácil de aplicar a esquemas de amostragem complexos do que o bootstrap. Os esquemas de amostragem complexos podem envolver estratificação, estágios múltiplos (agrupamento), pesos de amostragem variáveis (ajustes de não resposta, calibração, pós-estratificação) e sob projetos de amostragem de probabilidade desigual. Aspectos teóricos tanto do bootstrap quanto do canivete podem ser encontrados em Shao e Tu (1995), enquanto uma introdução básica é contada em Wolter (2007). A estimativa bootstrap do viés de predição do modelo é mais precisa do que as estimativas jackknife com modelos lineares, como função discriminante linear ou regressão múltipla.

Validação cruzada

A validação cruzada é um método estatístico para validar um modelo preditivo . Os subconjuntos dos dados são mantidos para uso como conjuntos de validação; um modelo é ajustado aos dados restantes (um conjunto de treinamento) e usado para prever o conjunto de validação. A média da qualidade das predições nos conjuntos de validação produz uma medida geral da precisão da predição. A validação cruzada é empregada repetidamente na construção de árvores de decisão.

Uma forma de validação cruzada deixa de fora uma única observação de cada vez; isso é semelhante ao canivete . Outra, validação cruzada K -fold, divide os dados em K subconjuntos; cada um é apresentado por sua vez como o conjunto de validação.

Isso evita a "auto-influência". Para comparação, em métodos de análise de regressão , como regressão linear , cada valor de y desenha a linha de regressão em sua direção, fazendo com que a previsão desse valor pareça mais precisa do que realmente é. A validação cruzada aplicada à regressão linear prevê o valor y para cada observação sem usar essa observação.

Isso geralmente é usado para decidir quantas variáveis preditoras usar na regressão. Sem validação cruzada, adicionar preditores sempre reduz a soma residual dos quadrados (ou possivelmente a deixa inalterada). Em contraste, o erro quadrático médio validado cruzado tenderá a diminuir se preditores valiosos forem adicionados, mas aumentar se preditores inúteis forem adicionados.

Subamostragem

A subamostragem é um método alternativo para aproximar a distribuição amostral de um estimador. As duas principais diferenças para o bootstrap são: (i) o tamanho da reamostragem é menor do que o tamanho da amostra e (ii) a reamostragem é feita sem substituição. A vantagem da subamostragem é que ela é válida em condições muito mais fracas em comparação com o bootstrap. Em particular, um conjunto de condições suficientes é que a taxa de convergência do estimador seja conhecida e que a distribuição limite seja contínua; além disso, o tamanho da reamostragem (ou subamostra) deve tender ao infinito junto com o tamanho da amostra, mas em uma taxa menor, de modo que sua proporção converge para zero. Embora a subamostragem tenha sido proposta originalmente apenas para o caso de dados independentes e identicamente distribuídos (iid), a metodologia foi estendida para cobrir também dados de séries temporais; neste caso, uma nova amostra de blocos de dados subsequentes em vez de pontos de dados individuais. Existem muitos casos de interesse aplicado em que a subamostragem leva a uma inferência válida, enquanto a bootstrap não o faz; por exemplo, tais casos incluem exemplos em que a taxa de convergência do estimador não é a raiz quadrada do tamanho da amostra ou quando a distribuição limite não é normal. Quando a subamostragem e o bootstrap são consistentes, o bootstrap é normalmente mais preciso. RANSAC é um algoritmo popular que usa subamostragem.

Testes de permutação

Os testes de permutação baseiam-se na reamostragem dos dados originais assumindo a hipótese nula. Com base nos dados reamostrados, pode-se concluir a probabilidade de os dados originais ocorrerem sob a hipótese nula.

Veja também

Referências

Bibliografia

Good, P. (2006) Resampling Methods . 3rd Ed. Birkhauser.
Wolter, KM (2007). Introdução à estimativa de variância . 2ª Edição. Springer, Inc.
Pierre Del Moral (2004). Fórmulas de Feynman-Kac. Sistemas de partículas genealógicas e de interação com aplicações, Springer, Série Probabilidade e Aplicações. ISBN 978-0-387-20268-6
Pierre Del Moral (2013). Del Moral, Pierre (2013). Simulação de campo médio para integração de Monte Carlo . Chapman & Hall / CRC Press, Monographs on Statistics and Applied Probability. ISBN 9781466504059

Languages

In other projects