Bootstrapping (estatísticas) - Bootstrapping (statistics)

Bootstrapping é qualquer teste ou métrica que usa amostragem aleatória com substituição (por exemplo, imitação do processo de amostragem) e se enquadra na classe mais ampla de métodos de reamostragem . O bootstrapping atribui medidas de precisão (viés, variância, intervalos de confiança , erro de predição, etc.) para estimativas de amostra. Esta técnica permite estimar a distribuição amostral de quase todas as estatísticas usando métodos de amostragem aleatória.

A inicialização estima as propriedades de um estimador (como sua variância ) medindo essas propriedades durante a amostragem de uma distribuição aproximada. Uma escolha padrão para uma distribuição aproximada é a função de distribuição empírica dos dados observados. No caso em que um conjunto de observações pode ser assumido como sendo de uma população independente e distribuída de forma idêntica , isso pode ser implementado através da construção de uma série de reamostragens com substituição do conjunto de dados observado (e de tamanho igual ao conjunto de dados observado) .

Também pode ser usado para construir testes de hipóteses . É frequentemente usado como uma alternativa à inferência estatística baseada na suposição de um modelo paramétrico quando essa suposição está em dúvida ou quando a inferência paramétrica é impossível ou requer fórmulas complicadas para o cálculo de erros padrão .

História

O bootstrap foi publicado por Bradley Efron em "Métodos de bootstrap : outra olhada no canivete" (1979), inspirado em trabalhos anteriores sobre o canivete . Estimativas aprimoradas da variação foram desenvolvidas posteriormente. Uma extensão bayesiana foi desenvolvida em 1981. O bootstrap corrigido e acelerado (BCa) foi desenvolvido por Efron em 1987 e o procedimento ABC em 1992.

Abordagem

A ideia básica de bootstrapping é que a inferência sobre uma população de dados de amostra (amostra → população) pode ser modelada reamostrando os dados de amostra e realizando inferência sobre uma amostra a partir de dados reamostrados (reamostragem → amostra). Como a população é desconhecida, o verdadeiro erro em uma estatística de amostra em relação ao valor da população é desconhecido. Nas reamostragens bootstrap, a 'população' é de fato a amostra, e isso é conhecido; portanto, a qualidade da inferência da amostra 'verdadeira' dos dados reamostrados (reamostragem → amostra) é mensurável.

Mais formalmente, o bootstrap funciona tratando a inferência da distribuição de probabilidade verdadeira J , dados os dados originais, como sendo análoga a uma inferência da distribuição empírica Ĵ , dados os dados reamostrados. A precisão das inferências a respeito de Ĵ usando os dados reamostrados pode ser avaliada porque sabemos Ĵ . Se Ĵ é uma aproximação razoável de J , então a qualidade da inferência em J pode, por sua vez, ser inferida.

Por exemplo, suponha que estamos interessados ​​na altura média (ou média ) das pessoas em todo o mundo. Não podemos medir todas as pessoas na população global, então, em vez disso, amostramos apenas uma pequena parte dela e a medimos. Suponha que a amostra seja de tamanho N ; ou seja, medimos as alturas de N indivíduos. Dessa única amostra, apenas uma estimativa da média pode ser obtida. Para raciocinar sobre a população, precisamos ter alguma noção da variabilidade da média que calculamos. O método mais simples de bootstrap envolve tomar os dados originais de alturas, e, utilizando um computador, a amostragem a partir dele para formar uma nova amostra (chamado um 'reamostragem' ou amostra de bootstrap) que também é de tamanho  N . A amostra bootstrap é retirada do original usando amostragem com substituição (por exemplo, podemos 'reamostrar' 5 vezes de [1,2,3,4,5] e obter [2,5,4,4,1]), então , assumindo que N é suficientemente grande, para todos os fins práticos, há virtualmente zero de probabilidade de que seja idêntico à amostra "real" original. Esse processo é repetido um grande número de vezes (normalmente 1.000 ou 10.000 vezes) e, para cada uma dessas amostras de bootstrap, calculamos sua média (cada uma delas é chamada de estimativas de bootstrap). Agora podemos criar um histograma de meios de bootstrap. Este histograma fornece uma estimativa da forma da distribuição da média da amostra a partir da qual podemos responder a perguntas sobre o quanto a média varia entre as amostras. (O método aqui, descrito para a média, pode ser aplicado a quase qualquer outra estatística ou estimador .)

Discussão

Vantagens

Uma grande vantagem do bootstrap é sua simplicidade. É uma maneira direta de obter estimativas de erros padrão e intervalos de confiança para estimadores complexos da distribuição, como pontos percentuais, proporções, odds ratio e coeficientes de correlação. O bootstrap também é uma forma apropriada de controlar e verificar a estabilidade dos resultados. Embora para a maioria dos problemas seja impossível saber o verdadeiro intervalo de confiança, o bootstrap é assintoticamente mais preciso do que os intervalos padrão obtidos usando a variância da amostra e suposições de normalidade. A inicialização também é um método conveniente que evita o custo de repetir o experimento para obter outros grupos de dados de amostra.

Desvantagens

Embora o bootstrap seja (sob algumas condições) assintoticamente consistente , ele não fornece garantias gerais de amostra finita. O resultado pode depender da amostra representativa. A aparente simplicidade pode ocultar o fato de que suposições importantes estão sendo feitas ao realizar a análise de bootstrap (por exemplo, independência de amostras), onde elas seriam mais formalmente declaradas em outras abordagens. Além disso, a inicialização pode ser demorada.

Recomendações

Os estudiosos recomendaram mais amostras de bootstrap conforme o poder de computação disponível aumentou. Se os resultados puderem ter consequências substanciais no mundo real, então deve-se usar quantas amostras forem razoáveis, dado o poder de computação e o tempo disponíveis. Aumentar o número de amostras não pode aumentar a quantidade de informações nos dados originais; ele pode apenas reduzir os efeitos de erros de amostragem aleatória que podem surgir de um procedimento de bootstrap em si. Além disso, há evidências de que números de amostras superiores a 100 levam a melhorias insignificantes na estimativa de erros padrão. Na verdade, de acordo com o desenvolvedor original do método de bootstrap, mesmo definir o número de amostras em 50 pode levar a estimativas de erro padrão razoavelmente boas.

Adèr et al. recomendar o procedimento de bootstrap para as seguintes situações:

  • Quando a distribuição teórica de uma estatística de interesse é complicada ou desconhecida. Como o procedimento de bootstrapping independe da distribuição, ele fornece um método indireto para avaliar as propriedades da distribuição subjacente à amostra e os parâmetros de interesse derivados dessa distribuição.
  • Quando o tamanho da amostra é insuficiente para inferência estatística direta. Se a distribuição subjacente for bem conhecida, o bootstrapping fornece uma maneira de contabilizar as distorções causadas pela amostra específica que pode não ser totalmente representativa da população.
  • Quando cálculos de potência precisam ser realizados, e uma pequena amostra piloto está disponível. A maioria dos cálculos de poder e tamanho da amostra são fortemente dependentes do desvio padrão da estatística de interesse. Se a estimativa usada estiver incorreta, o tamanho da amostra necessário também estará errado. Um método para obter uma impressão da variação da estatística é usar uma pequena amostra piloto e executar a inicialização nela para obter uma impressão da variação.

No entanto, Athreya mostrou que se alguém executa um bootstrap ingênuo na média da amostra quando a população subjacente carece de uma variância finita (por exemplo, uma distribuição de lei de potência ), então a distribuição de bootstrap não convergirá para o mesmo limite da média da amostra. Como resultado, os intervalos de confiança com base em uma simulação de Monte Carlo do bootstrap podem ser enganosos. Athreya afirma que "A menos que alguém esteja razoavelmente certo de que a distribuição subjacente não tem cauda pesada , deve-se hesitar em usar o bootstrap ingênuo".

Tipos de esquema de bootstrap

Em problemas univariados, é geralmente aceitável reamostrar as observações individuais com substituição ("reamostragem de caso" abaixo), ao contrário da subamostragem , na qual a reamostragem é sem substituição e é válida sob condições muito mais fracas em comparação com o bootstrap. Em pequenas amostras, uma abordagem paramétrica de bootstrap pode ser preferida. Para outros problemas, um bootstrap suave provavelmente será o preferido.

Para problemas de regressão, várias outras alternativas estão disponíveis.

Reamostragem de caso

O bootstrap é geralmente útil para estimar a distribuição de uma estatística (por exemplo, média, variância) sem usar a teoria normal (por exemplo, estatística z, estatística t). O bootstrap é útil quando não há forma analítica ou teoria normal para ajudar a estimar a distribuição das estatísticas de interesse, uma vez que os métodos de bootstrap podem se aplicar à maioria das quantidades aleatórias, por exemplo, a razão de variância e média. Existem pelo menos duas maneiras de realizar a reamostragem de caso.

  1. O algoritmo de Monte Carlo para reamostragem de caso é bastante simples. Primeiro, nós reamostramos os dados com substituição, e o tamanho da reamostragem deve ser igual ao tamanho do conjunto de dados original. Em seguida, a estatística de interesse é calculada a partir da reamostragem da primeira etapa. Repetimos essa rotina muitas vezes para obter uma estimativa mais precisa da distribuição Bootstrap da estatística.
  2. A versão 'exata' para reamostragem de caso é semelhante, mas enumeramos exaustivamente todas as reamostragens possíveis do conjunto de dados. Isso pode ser caro do ponto de vista computacional, pois há um total de diferentes reamostragens, onde n é o tamanho do conjunto de dados. Assim, para n  = 5, 10, 20, 30, existem 126, 92378, 6,89 × 10 10 e 5,91 × 10 16 reamostragens diferentes, respectivamente.

Estimando a distribuição da média da amostra

Considere um experimento de cara ou coroa. Jogamos a moeda e registramos se ela dá cara ou coroa. Seja X = x 1 , x 2 ,…, x 10 10 observações do experimento. x i = 1 se o i ésimo lançamento acerta cara e 0 caso contrário. Da teoria normal, podemos usar a estatística t para estimar a distribuição da média da amostra,

Em vez disso, usamos o bootstrap, especificamente a reamostragem de caso, para derivar a distribuição de . Primeiro, reamostramos os dados para obter uma reamostragem de bootstrap . Um exemplo da primeira reamostragem pode ser assim X 1 * = x 2 , x 1 , x 10 , x 10 , x 3 , x 4 , x 6 , x 7 , x 1 , x 9 . Existem algumas duplicatas, uma vez que uma reamostragem de bootstrap vem da amostragem com substituição dos dados. Além disso, o número de pontos de dados em uma reamostragem de bootstrap é igual ao número de pontos de dados em nossas observações originais. Em seguida, calculamos a média dessa reamostragem e obtemos a primeira média de bootstrap : μ 1 *. Repetimos esse processo para obter a segunda reamostragem X 2 * e calcular a segunda média de bootstrap μ 2 *. Se repetirmos 100 vezes, teremos μ 1 *, μ 2 *, ..., μ 100 *. Isso representa uma distribuição de bootstrap empírica da média da amostra. A partir dessa distribuição empírica, pode-se derivar um intervalo de confiança de bootstrap para fins de teste de hipótese.

Regressão

Em problemas de regressão, a reamostragem de caso refere-se ao esquema simples de reamostragem de casos individuais - geralmente linhas de um conjunto de dados . Para problemas de regressão, desde que o conjunto de dados seja bastante grande, esse esquema simples é geralmente aceitável. No entanto, o método está aberto a críticas.

Em problemas de regressão, as variáveis ​​explicativas são freqüentemente fixas, ou pelo menos observadas com mais controle do que a variável resposta. Além disso, a gama de variáveis ​​explicativas define as informações disponíveis a partir delas. Portanto, reamostrar casos significa que cada amostra de bootstrap perderá algumas informações. Como tal, procedimentos alternativos de bootstrap devem ser considerados.

Bootstrap bayesiano

O bootstrapping pode ser interpretado em uma estrutura bayesiana usando um esquema que cria novos conjuntos de dados por meio da reponderação dos dados iniciais. Dado um conjunto de pontos de dados, a ponderação atribuída ao ponto de dados em um novo conjunto de dados é , onde é uma lista ordenada de baixo para alto de números aleatórios uniformemente distribuídos em , precedidos por 0 e sucedidos por 1. As distribuições de um parâmetro inferidos da consideração de muitos desses conjuntos de dados são então interpretáveis ​​como distribuições posteriores naquele parâmetro.

Bootstrap suave

Sob este esquema, uma pequena quantidade de ruído aleatório centrado em zero (normalmente distribuído) é adicionada a cada observação reamostrada. Isso é equivalente à amostragem de uma estimativa da densidade do kernel dos dados. Suponha que K seja uma função de densidade de kernel simétrica com variância de unidade. O estimador de kernel padrão é

 

onde está o parâmetro de suavização. E o estimador da função de distribuição correspondente é

 

Bootstrap paramétrico

Com base na suposição de que o conjunto de dados original é uma realização de uma amostra aleatória de uma distribuição de um tipo paramétrico específico, neste caso, um modelo paramétrico é ajustado pelo parâmetro θ, muitas vezes por máxima verossimilhança , e amostras de números aleatórios são extraídas de este modelo ajustado. Normalmente, a amostra retirada tem o mesmo tamanho de amostra que os dados originais. Então, a estimativa da função original F pode ser escrita como . Este processo de amostragem é repetido muitas vezes como para outros métodos de bootstrap. Considerando a média da amostra centrada neste caso, a função de distribuição original da amostra aleatória é substituída por uma amostra aleatória bootstrap com função , e a distribuição de probabilidade de é aproximada pela de , onde , que é a expectativa correspondente a . A utilização de um modelo paramétrico na fase de amostragem da metodologia bootstrap conduz a procedimentos diferentes daqueles obtidos pela aplicação da teoria estatística básica à inferência para o mesmo modelo.

Resampling residuais

Outra abordagem para bootstrapping em problemas de regressão é reamostrar os resíduos . O método procede da seguinte maneira.

  1. Ajuste o modelo e retenha os valores ajustados e os resíduos .
  2. Para cada par, ( x i , y i ), em que x i é a variável explicativa (possivelmente multivariada), adicione um resíduo reamostrado aleatoriamente,, ao valor ajustado . Em outras palavras, crie variáveis ​​de resposta sintéticas onde j é selecionado aleatoriamente na lista (1, ..., n ) para cada i .
  3. Reinstale o modelo usando as variáveis ​​de resposta fictícias e retenha as quantidades de interesse (geralmente os parâmetros,, estimados a partir do sintético ).
  4. Repita as etapas 2 e 3 um grande número de vezes.

Este esquema tem a vantagem de reter as informações nas variáveis ​​explicativas. No entanto, surge uma questão sobre quais resíduos reamostrar. Resíduos brutos são uma opção; outro são os resíduos estudentizados (em regressão linear). Embora existam argumentos a favor do uso de resíduos estudentizados; na prática, muitas vezes faz pouca diferença e é fácil comparar os resultados de ambos os esquemas.

Bootstrap de regressão de processo gaussiano

Quando os dados são correlacionados temporalmente, a inicialização direta destrói as correlações inerentes. Este método usa a regressão de processo Gaussiano (GPR) para ajustar um modelo probabilístico a partir do qual as réplicas podem ser retiradas. GPR é um método de regressão não linear Bayesiano. Um processo gaussiano (GP) é uma coleção de variáveis ​​aleatórias, qualquer número finito das quais tem uma distribuição conjunta gaussiana (normal). Um GP é definido por uma função de média e uma função de covariância, que especificam os vetores médios e matrizes de covariância para cada coleção finita de variáveis ​​aleatórias.

Modelo de regressão:

é um termo de ruído.

Processo gaussiano anterior:

Para qualquer coleção finita de variáveis, x 1 , ...,  x n , as saídas da função são distribuídas em conjunto de acordo com uma Gaussiana multivariada com matriz de média e covariância

Suponha então ,

onde , e é a função delta Kronecker padrão.

Posterior do processo gaussiano:

De acordo com o GP anterior, podemos obter

,

onde e

Seja x 1 * , ..., x s * outra coleção finita de variáveis, é óbvio que

,

onde , ,

De acordo com as equações acima, as saídas y também são distribuídas em conjunto de acordo com uma Gaussiana multivariada. Assim,

onde , , , e é matriz identidade.

Bootstrap selvagem

O wild bootstrap, proposto originalmente por Wu (1986), é adequado quando o modelo exibe heteroscedasticidade . A ideia é, como bootstrap residual, deixar os regressores com seu valor de amostra, mas reamostrar a variável de resposta com base nos valores residuais. Ou seja, para cada replicação, calcula-se um novo com base em

então os resíduos são multiplicados aleatoriamente por uma variável aleatória com média 0 e variância 1. Para a maioria das distribuições de (mas não de Mammen), este método assume que a distribuição residual 'verdadeira' é simétrica e pode oferecer vantagens sobre a amostragem residual simples para amostras menores tamanhos. Diferentes formas são usadas para a variável aleatória , como

  • Uma distribuição sugerida por Mammen (1993).
Aproximadamente, a distribuição de Mammen é:

Bloquear bootstrap

O bootstrap de bloco é usado quando os dados, ou os erros em um modelo, são correlacionados. Nesse caso, um caso simples ou reamostragem residual irá falhar, pois não é capaz de replicar a correlação nos dados. O bootstrap de bloco tenta replicar a correlação reamostrando dentro dos blocos de dados. O bootstrap em bloco foi usado principalmente com dados correlacionados no tempo (ou seja, séries temporais), mas também pode ser usado com dados correlacionados no espaço ou entre grupos (os chamados dados de cluster).

Séries temporais: bootstrap de bloco simples

No bootstrap de bloco (simples), a variável de interesse é dividida em blocos não sobrepostos.

Séries temporais: Bootstrap de bloco móvel

No bootstrap de bloco móvel, introduzido por Künsch (1989), os dados são divididos em n  -  b  + 1 blocos sobrepostos de comprimento b : a observação 1 a b será o bloco 1, a observação 2 a b  + 1 será o bloco 2, etc. Então, a partir desses  blocos n  -  b + 1, blocos n / b serão sorteados aleatoriamente com substituição. Então, alinhar esses blocos n / b na ordem em que foram escolhidos fornecerá as observações de bootstrap.

Este bootstrap funciona com dados dependentes, no entanto, as observações bootstrap não serão mais estacionárias por construção. Porém, foi demonstrado que variar aleatoriamente o comprimento do bloco pode evitar esse problema. Este método é conhecido como bootstrap estacionário. Outras modificações relacionadas ao bootstrap de bloco móvel são o bootstrap Markoviano e um método de bootstrap estacionário que combina blocos subsequentes com base na correspondência de desvio padrão.

Séries temporais: bootstrap de entropia máxima

Vinod (2006), apresenta um método que inicializa dados de séries temporais usando princípios de entropia máxima satisfazendo o teorema Ergódico com restrições de preservação de média e massa. Existe um pacote R, o meboot , que utiliza o método, que tem aplicações em econometria e informática.

Dados de cluster: bloco de inicialização

Os dados de cluster descrevem dados onde muitas observações por unidade são observadas. Isso poderia ser a observação de muitas empresas em muitos estados ou a observação de alunos em muitas turmas. Nesses casos, a estrutura de correlação é simplificada e geralmente se faz a suposição de que os dados são correlacionados dentro de um grupo / cluster, mas independente entre grupos / clusters. A estrutura do bootstrap do bloco é facilmente obtida (onde o bloco corresponde apenas ao grupo), e geralmente apenas os grupos são reamostrados, enquanto as observações dentro dos grupos são deixadas inalteradas. Cameron et al. (2008) discute isso para erros agrupados em regressão linear.

Métodos para melhorar a eficiência computacional

O bootstrap é uma técnica poderosa, embora possa exigir recursos de computação substanciais tanto em tempo quanto em memória. Algumas técnicas foram desenvolvidas para reduzir esse fardo. Eles geralmente podem ser combinados com muitos dos diferentes tipos de esquemas Bootstrap e várias opções de estatísticas.

Poisson bootstrap

Gráfico mostrando a convergência da distribuição binomial para o Poisson conforme os parâmetros binomiais são n * p = 1 e n cresce

O bootstrap comum requer a seleção aleatória de n elementos de uma lista, o que é equivalente a extrair de uma distribuição multinomial. Isso pode exigir um grande número de passagens sobre os dados e é um desafio executar esses cálculos em paralelo. Para grandes valores de n, o bootstrap de Poisson é um método eficiente de geração de conjuntos de dados bootstrap. Ao gerar uma única amostra de bootstrap, em vez de extrair aleatoriamente dos dados da amostra com substituição, cada ponto de dados é atribuído a um peso aleatório distribuído de acordo com a distribuição de Poisson com . Para grandes dados de amostra, isso aproximará a amostragem aleatória com substituição. Isso se deve à seguinte aproximação:

Este método também se presta bem para streaming de dados e conjuntos de dados crescentes, uma vez que o número total de amostras não precisa ser conhecido antes do início da coleta de amostras de bootstrap.

Para n grande o suficiente, os resultados são relativamente semelhantes às estimativas de bootstrap originais.

Uma maneira de melhorar o bootstrap de Poisson, denominado "bootstrap sequencial", é pegar as primeiras amostras de modo que a proporção de valores únicos seja ~ 0,632 do tamanho original da amostra n. Isso fornece uma distribuição com as principais características empíricas estando a uma distância de . A investigação empírica mostrou que este método pode produzir bons resultados. Isso está relacionado ao método de bootstrap reduzido.

Saco de pequenas sapatilhas

Para conjuntos de dados massivos, muitas vezes é computacionalmente proibitivo manter todos os dados de amostra na memória e reamostrar a partir dos dados de amostra. O Bag of Little Bootstraps (BLB) fornece um método de pré-agregação de dados antes da inicialização para reduzir as restrições computacionais. Isso funciona particionando o conjunto de dados em depósitos de tamanhos iguais e agregando os dados em cada depósito. Este conjunto de dados pré-agregados torna-se os novos dados de amostra sobre os quais extrair amostras com substituição. Este método é semelhante ao Block Bootstrap, mas as motivações e definições dos blocos são muito diferentes. Sob certas suposições, a distribuição da amostra deve se aproximar do cenário totalmente bootstrapped. Uma limitação é o número de baldes onde e os autores recomendam o uso de como uma solução geral.

Escolha de estatística

A distribuição bootstrap de um estimador de ponto de um parâmetro da população foi usada para produzir um intervalo de confiança bootstrap para o valor verdadeiro do parâmetro se o parâmetro puder ser escrito como uma função da distribuição da população .

Os parâmetros populacionais são estimados com muitos estimadores pontuais . Famílias populares de ponto-estimadores incluem estimadores mínimos-variância média-imparcial , estimadores medianos-imparcial , estimadores de Bayesian (por exemplo, a distribuição a posteriori de modo , mediana , média ), e estimadores de probabilidade máxima .

Um estimador de ponto bayesiano e um estimador de máxima verossimilhança apresentam bom desempenho quando o tamanho da amostra é infinito, de acordo com a teoria assintótica . Para problemas práticos com amostras finitas, outros estimadores podem ser preferíveis. A teoria assintótica sugere técnicas que freqüentemente melhoram o desempenho de estimadores bootstrapped; o bootstrapping de um estimador de máxima verossimilhança pode frequentemente ser melhorado usando transformações relacionadas a quantidades pivotais .

Derivando intervalos de confiança da distribuição bootstrap

A distribuição bootstrap de um estimador de parâmetro foi usada para calcular intervalos de confiança para seu parâmetro populacional.

Polarização, assimetria e intervalos de confiança

  • Viés : A distribuição de bootstrap e a amostra podem discordar sistematicamente, caso em que pode ocorrer viés .
    Se a distribuição de bootstrap de um estimador é simétrica, então o intervalo de confiança do percentil é freqüentemente usado; tais intervalos são apropriados especialmente para estimadores não enviesados ​​de mediana de risco mínimo (com respeito a uma função de perda absoluta ). O viés na distribuição bootstrap levará ao viés no intervalo de confiança.
    Caso contrário, se a distribuição de bootstrap não for simétrica, os intervalos de confiança de percentil são frequentemente inadequados.

Métodos para intervalos de confiança de bootstrap

Existem vários métodos para construir intervalos de confiança a partir da distribuição bootstrap de um parâmetro real :

  • Bootstrap básico , também conhecido como intervalo de percentil reverso . O bootstrap básico é um esquema simples para construir o intervalo de confiança: basta pegar os quantis empíricos da distribuição bootstrap do parâmetro (ver Davison e Hinkley 1997, equ. 5.6 p. 194):
onde denota o percentil dos coeficientes bootstrapped .
  • Bootstrap de percentil . O bootstrap de percentil procede de maneira semelhante ao bootstrap básico, usando percentis da distribuição de bootstrap, mas com uma fórmula diferente (observe a inversão dos quantis esquerdo e direito):
onde denota o percentil dos coeficientes bootstrapped .
Veja Davison e Hinkley (1997, equ. 5.18 p. 203) e Efron e Tibshirani (1993, equ. 13.5 p. 171).
Este método pode ser aplicado a qualquer estatística. Funcionará bem nos casos em que a distribuição bootstrap é simétrica e centrada na estatística observada e onde a estatística da amostra é sem viés mediana e tem concentração máxima (ou risco mínimo em relação a uma função de perda de valor absoluto). Ao trabalhar com tamanhos de amostra pequenos (ou seja, menos de 50), o percentil básico / invertido e os intervalos de confiança do percentil para (por exemplo) a estatística de variância serão muito estreitos. Assim, com uma amostra de 20 pontos, o intervalo de confiança de 90% incluirá a variação real em apenas 78% do tempo. Os intervalos de confiança percentuais básicos / reversos são mais fáceis de justificar matematicamente, mas são menos precisos em geral do que os intervalos de confiança percentuais, e alguns autores desencorajam seu uso.
  • Bootstrap estudantizado . O bootstrap estudentizado, também chamado de bootstrap-t , é calculado analogamente ao intervalo de confiança padrão, mas substitui os quantis da aproximação normal ou de estudante pelos quantis da distribuição bootstrap do teste t de Student (ver Davison e Hinkley 1997, equ . 5.7 p. 194 e Efron e Tibshirani 1993 equ 12.22, p. 160):
onde denota o percentil do teste t de Student inicializado e é o erro padrão estimado do coeficiente no modelo original.
O teste estudentizado desfruta de propriedades ótimas, pois a estatística que é inicializada é fundamental (ou seja, não depende de parâmetros incômodos, pois o teste t segue assintoticamente uma distribuição N (0,1)), ao contrário do bootstrap percentual.
  • Bootstrap corrigido de polarização - ajusta a polarização na distribuição de bootstrap.
  • Bootstrap acelerado - O bootstrap com correção de viés e acelerado (BCa), de Efron (1987), ajusta tanto o viés quanto a assimetria na distribuição do bootstrap. Essa abordagem é precisa em uma ampla variedade de configurações, tem requisitos de computação razoáveis ​​e produz intervalos razoavelmente estreitos.

Teste de hipótese bootstrap

Efron e Tibshirani sugerem o seguinte algoritmo para comparar as médias de duas amostras independentes: Seja uma amostra aleatória da distribuição F com média e variância da amostra . Seja outra amostra aleatória independente da distribuição G com média e variância

  1. Calcule a estatística de teste
  2. Crie dois novos conjuntos de dados cujos valores são e onde é a média da amostra combinada.
  3. Desenhe uma amostra aleatória ( ) de tamanho com substituição de e outra amostra aleatória ( ) de tamanho com substituição de .
  4. Calcule a estatística de teste
  5. Repita 3 e 4 vezes (por exemplo ) para coletar os valores da estatística de teste.
  6. Estime o valor p como onde quando a condição é verdadeira e 0 caso contrário.

Aplicativos de exemplo

Bootstrap suavizado

Em 1878, Simon Newcomb fez observações sobre a velocidade da luz . O conjunto de dados contém dois outliers , que influenciam muito a média da amostra . (A média da amostra não precisa ser um estimador consistente para qualquer média da população , porque nenhuma média precisa existir para uma distribuição de cauda pesada .) Uma estatística bem definida e robusta para a tendência central é a mediana da amostra, que é consistente e mediana - imparcial para a mediana da população.

A distribuição de bootstrap para os dados de Newcomb aparece abaixo. Um método de convolução de regularização reduz a discrição da distribuição de bootstrap adicionando uma pequena quantidade de ruído aleatório N (0, σ 2 ) a cada amostra de bootstrap. Uma escolha convencional é para o tamanho da amostra n .

Histogramas da distribuição de bootstrap e da distribuição de bootstrap suave aparecem abaixo. A distribuição bootstrap da mediana da amostra tem apenas um pequeno número de valores. A distribuição de bootstrap suavizada tem um suporte mais rico .

MedianHists.png

Neste exemplo, o intervalo de confiança de 95% (percentil) inicializado para a mediana da população é (26, 28,5), que está próximo ao intervalo para (25,98, 28,46) para o bootstrap suavizado.

Relação com outras abordagens para inferência

Relação com outros métodos de reamostragem

O bootstrap é diferente de:

  • o procedimento jackknife , usado para estimar vieses de estatísticas de amostra e para estimar variâncias, e
  • validação cruzada , na qual os parâmetros (por exemplo, pesos de regressão, cargas fatoriais) que são estimados em uma subamostra são aplicados a outra subamostra.

Para obter mais detalhes, consulte a reamostragem de bootstrap .

A agregação de bootstrap (bagging) é um meta-algoritmo baseado na média dos resultados de várias amostras de bootstrap.

U-estatísticas

Em situações em que uma estatística óbvia pode ser concebida para medir uma característica necessária usando apenas um pequeno número, r , de itens de dados, uma estatística correspondente com base em toda a amostra pode ser formulada. Dada uma estatística de amostra r , pode-se criar uma estatística de amostra n por algo semelhante ao bootstrap (tirando a média da estatística de todas as subamostras de tamanho r ). Este procedimento é conhecido por ter certas propriedades boas e o resultado é uma estatística-U . A média da amostra e a variância da amostra são desta forma, para r  = 1 e r  = 2.

Veja também

Referências

Leitura adicional

links externos

Programas