Estatisticas - Statistics


Da Wikipédia, a enciclopédia livre
Mais de densidade de probabilidade é encontrado como um fica mais próxima do valor esperado (média) em uma distribuição normal . Estatísticas utilizados em testes padronizados de avaliação são mostrados. As escalas incluem desvios padrão , percentuais cumulativos, z-score e T-scores .
Gráficos de dispersão são usados em estatísticas descritivas para mostrar as relações observadas entre as diferentes variáveis.

Estatística é um ramo da matemática que lidam com dados coleta, organização, análise, interpretação e apresentação. Ao aplicar estatísticas para, por exemplo, um problema científico, industrial ou social, é convencional para começar com uma população estatística ou um modelo estatístico de processo a ser estudado. Populações podem ser diversos temas tais como "todas as pessoas vivendo em um país" ou "cada átomo compor um cristal". Estatísticas lida com todos os aspectos de dados, incluindo o planejamento da coleta de dados em termos de concepção de pesquisas e experimentos . Veja glossário de probabilidade e estatística .

Quando censo dados não podem ser recolhidos, os estatísticos coletar dados através do desenvolvimento de projetos experimentais e de pesquisa específica amostras . Amostragem representativa assegura que inferências e conclusões podem razoavelmente estender a partir da amostra para a população como um todo. Um estudo experimental envolve a tomada de medidas do sistema em estudo, manipulando o sistema, e, em seguida, tomar medidas adicionais utilizando o mesmo procedimento para determinar se a manipulação modificou os valores das medições. Em contraste, um estudo de observação não envolvem a manipulação experimental.

Dois principais métodos estatísticos são utilizados em análise de dados: estatísticas descritivas , que resumem os dados a partir de uma amostra utilizando os índices , tais como a média ou o desvio padrão , e estatística inferencial , que tirar conclusões a partir dos dados que estão sujeitas a variação aleatória (por exemplo, erros de observação, variação de amostragem). Estatísticas descritivas são na maioria das vezes em causa com dois conjuntos de propriedades de uma distribuição (amostra ou população): tendência central (ou local ) pretende caracterizar valor central ou típica da distribuição, enquanto dispersão (ou variabilidade ) caracteriza o grau em que os membros do distribuição afastar-se do seu centro e uns aos outros. Inferências sobre estatísticas matemáticas são feitas no âmbito da teoria da probabilidade , que trata da análise dos fenômenos aleatórios.

Um procedimento estatístico padrão envolve o teste da relação entre dois conjuntos de estatísticas de dados ou um conjunto de dados e os dados sintéticos desenhados a partir de um modelo idealizado. Uma hipótese é proposto para a relação estatística entre os dois conjuntos de dados, e esta é comparada como uma alternativa a um idealizada hipótese nula de não haver relação entre dois conjuntos de dados. Rejeitar ou refutar a hipótese nula é feito usando testes estatísticos que quantificam o sentido em que o nulo pode ser provada falsa, dada a dados que são usados no teste. Trabalhar a partir de uma hipótese nula, duas formas básicas de erro são reconhecidas: Tipo I erros (hipótese nula é falsamente rejeitada dando um "falso positivo") e erros do tipo II (hipótese nula não ser rejeitada e uma diferença real entre populações é perdida dando um "falso negativo"). Vários problemas têm vindo a ser associado a este quadro: desde a obtenção de um tamanho de amostra suficiente para especificar uma hipótese nula adequada.

Processos de medição que geram dados estatísticos também estão sujeitos ao erro. Muitos destes erros são classificados como aleatório (ruído) ou sistemático ( viés ), mas outros tipos de erros (por exemplo, erro, tais como quando um relatórios de analistas unidades incorretas) também pode ser importante. A presença de dados faltantes ou censurar pode resultar em estimativas tendenciosas e técnicas específicas foram desenvolvidas para resolver estes problemas.

As estatísticas podem ser dito ter começado na civilização antiga, que remonta pelo menos ao século 5 aC, mas não foi até o século 18 que ele começou a chamar mais fortemente a partir de cálculo e teoria da probabilidade . Nas estatísticas anos mais recentes tem confiado mais em software estatístico para produzir testes como análise descritiva.

Escopo

Algumas definições são:

  • Dicionário Merriam-Webster define estatísticas como "um ramo da matemática que lidam com a coleta, análise, interpretação e apresentação de massas de dados numéricos."
  • Estatístico Arthur Lyon Bowley define estatísticas como "declarações numéricas de fatos em qualquer departamento de investigação colocados em relação uns aos outros."

A estatística é um corpo matemática da ciência que diz respeito à recolha, análise, interpretação ou explicação e apresentação de dados , ou como um ramo da matemática . Alguns consideram as estatísticas de ser uma ciência matemática distinta em vez de um ramo da matemática. Enquanto muitas investigações científicas fazer uso de dados, estatísticas está preocupado com o uso de dados no contexto de incerteza e de tomada de decisão em face da incerteza.

estatística matemática

Estatística matemática é a aplicação da matemática para estatísticas. Técnicas matemáticas utilizadas para isso incluem a análise matemática , álgebra linear , análise estocástica , equações diferenciais , e a teoria das probabilidades medida da teoria .

visão global

Ao aplicar estatísticas para um problema, é prática comum começar com uma população ou processo a ser estudado. Populações podem ser diversos temas tais como "todas as pessoas vivendo em um país" ou "cada átomo compor um cristal".

Idealmente, os estatísticos compilar dados sobre toda a população (uma operação chamada censo ). Isto pode ser organizado por institutos de estatística governamentais. Estatística descritiva pode ser usado para resumir os dados populacionais. Descritores numéricos incluem média e desvio padrão para dados contínuos tipos (como rendimento), enquanto que a frequência e percentagem são mais úteis em termos de descrever os dados categóricos (como corrida).

Quando um censo não é viável, um grupo escolhido da população chamado uma amostra é estudada. Uma vez que uma amostra que é representativo da população é determinado, os dados são recolhidos para os membros de amostragem em uma ou de observação experimental configuração. Mais uma vez, estatística descritiva pode ser usado para resumir os dados de exemplo. No entanto, o desenho da amostra ter sido sujeita a um elemento de aleatoriedade, portanto, os descritores numéricos estabelecidos a partir da amostra são também devido à incerteza. Para ainda tirar conclusões significativas sobre toda a população, estatística inferencial é necessário. Ele usa padrões nos dados de amostra para fazer inferências sobre a população representada, representando aleatoriedade. Estas conclusões podem tomar a forma de: responder sim / não há dúvidas sobre os dados ( testes de hipóteses ), estimar as características numéricas dos dados ( estimativa ), descreve associações dentro dos dados ( de correlação ) e relações de modelagem dentro dos dados (por exemplo, usando A análise de regressão ). Inferência pode estender-se a previsão , predição e estimativa de valores não observados tanto em ou associados com a população em estudo; pode incluir extrapolação e interpolação de séries temporais ou dados espaciais , e também pode incluir mineração de dados .

Coleção de dados

Amostragem

Quando os dados do censo completos não podem ser recolhidos, estatísticos coletar dados de amostra através do desenvolvimento específico projetos experimentais e amostras de pesquisa . -Se Estatísticas também fornece ferramentas para previsão e previsão através de modelos estatísticos . A idéia de fazer inferências baseadas em dados amostrados começou por volta de meados de 1600 em conexão com a estimativa populações e desenvolver precursores de seguro de vida.

Para usar um exemplo como um guia para toda uma população, é importante que ele realmente representa a população em geral. Representante de amostragem assegura que inferências e conclusões podem estender com segurança a partir da amostra para a população como um todo. Um grande problema está em determinar a medida em que a amostra escolhida é realmente representativo. Estatísticas oferece métodos para estimar e corrigir para qualquer polarização dentro dos procedimentos de exemplo e de recolha de dados. Existem também métodos de desenho experimental para experiências que podem diminuir esses problemas no início do estudo, reforçando a sua capacidade de discernir verdades sobre a população.

Teoria da amostragem é parte da disciplina matemática da teoria da probabilidade . Probabilidade é utilizado em estatística matemática para estudar as distribuições de amostragem de estatísticas da amostra e, mais geralmente, as propriedades de procedimentos estatísticos . O uso de qualquer método estatístico é válida quando o sistema ou população sob consideração satisfaz os pressupostos do método. A diferença no ponto de vista entre a teoria das probabilidades clássico e a teoria de amostragem é, aproximadamente, que a teoria das probabilidades começa a partir dos parâmetros dados de uma população total para deduzir probabilidades que dizem respeito a amostras. Inferência estatística, entretanto, move-se na direcção- oposto inferir indutivamente a partir de amostras para os parâmetros de uma população maior ou total.

Estudos experimentais e observacionais

Um objetivo comum para um projeto de pesquisa estatística é investigar a causalidade , e em particular para tirar uma conclusão sobre o efeito das alterações nos valores de preditores ou variáveis independentes sobre as variáveis dependentes . Existem dois principais tipos de estudos estatísticos causais: estudos experimentais e estudos de observação . Em ambos os tipos de estudos, o efeito das diferenças de uma variável independente (ou variáveis) sobre o comportamento da variável dependente são observados. A diferença entre os dois tipos reside na forma como o estudo é realmente realizado. Cada um pode ser muito eficaz. Um estudo experimental envolve a tomada de medidas do sistema em estudo, manipulando o sistema, e, em seguida, tomar medidas adicionais utilizando o mesmo procedimento para determinar se a manipulação modificou os valores das medições. Em contraste, um estudo de observação não envolve manipulação experimental . Em vez disso, os dados são recolhidos e correlações entre preditores e resposta são investigados. Enquanto as ferramentas de trabalho de análise de dados melhor em dados de estudos randomizados , eles também são aplicados a outros tipos de dados de como experimentos naturais e estudos observacionais -por que um estatístico usaria um método de estimação modificado, mais estruturada (por exemplo, diferenças em diferenças estimativa e variáveis instrumentais , entre muitos outros) que produzem estimadores consistentes .

experimentos

Os passos básicos de um experimento estatístico são:

  1. Planejando a pesquisa, incluindo a determinação do número de repetições do estudo, utilizando as seguintes informações: estimativas preliminares sobre o tamanho dos efeitos do tratamento , as hipóteses alternativas , eo estimado variabilidade experimental . O exame da seleção dos sujeitos experimentais e a ética da pesquisa é necessária. Os estatísticos recomendar que as experiências de comparação (pelo menos) um novo tratamento com um tratamento padrão ou controlo, para permitir que de uma estimativa da diferença de efeitos de tratamento.
  2. Projeto de experimentos , usando o bloqueio para reduzir a influência de variáveis de confusão , e atribuição randomizados dos tratamentos a indivíduos para permitir estimativas imparciais de efeitos do tratamento e erro experimental. Nesta fase, os experimentadores e estatísticos escrever o protocolo experimental que vai guiar o desempenho do ensaio e que especifica a análise primária dos dados experimentais.
  3. Realizando a experiência seguindo o protocolo experimental e a análise dos dados de acordo com o protocolo experimental.
  4. Além disso examinar o conjunto de dados em análises secundárias, para sugerir novas hipóteses para futuros estudos.
  5. Documentar e apresentar os resultados do estudo.

Experimentos sobre o comportamento humano têm preocupações especiais. O famoso estudo Hawthorne analisou alterações no ambiente de trabalho na fábrica Hawthorne da Western Electric Empresa . Os pesquisadores estavam interessados em determinar se o aumento da iluminação aumentaria a produtividade das linhas de montagem trabalhadores. Os pesquisadores mediram primeiro a produtividade na planta, em seguida, modificou a iluminação em uma área da planta e verificado se as mudanças na iluminação afetou a produtividade. Descobriu-se que a produtividade de facto melhorada (sob as condições experimentais). No entanto, o estudo é fortemente criticada hoje para erros em procedimentos experimentais, especificamente para a falta de um grupo de controlo e cegueira . O efeito Hawthorne refere-se a constatação de que um resultado (neste caso, a produtividade do trabalhador) alterado devido à própria observação. Aqueles no estudo Hawthorne tornou-se mais produtivo não porque a iluminação foi mudado, mas porque eles estavam sendo observados.

Estudo observacional

Um exemplo de um estudo de observação é uma que explora a associação entre o tabagismo e o cancro do pulmão. Este tipo de estudo utiliza tipicamente um levantamento para recolher observações sobre a área de interesse e, em seguida, realiza análise estatística. Neste caso, os pesquisadores iria recolher observações de ambos os fumantes e não-fumantes, talvez através de um estudo de coorte , e depois olhar para o número de casos de cancro do pulmão em cada grupo. Um estudo de controlo de caso, é um outro tipo de estudo de casos em que pessoas com e sem o resultado de interesse (por exemplo, cancro do pulmão) são convidados a participar e suas histórias de exposição são recolhidos.

Tipos de dados

Várias tentativas têm sido feitas para produzir uma taxonomia de níveis de medição . O psychophysicist Stanley Smith Stevens definido escalas nominal, ordinais, intervalo e proporção. Medidas nominais não têm ordem de classificação significativa entre os valores, e permitir que qualquer transformação one-to-one. Medições ordinais têm diferenças imprecisas entre valores consecutivos, mas têm uma ordem significativa para esses valores, e permitir que qualquer transformação de preservação da ordem. Medições do intervalo têm distâncias significativas entre as medições definidas, mas o valor zero é arbitrária (como no caso com longitude e temperatura medidas em graus Celsius ou graus Fahrenheit ), e permitir que qualquer transformação linear. Medidas de proporção ter tanto um valor significativo zero e as distâncias entre os diferentes medições definidas, e permitir que qualquer transformação reescalonamento.

Porque variáveis em consonância apenas para medições nominais ou ordinais não pode ser razoavelmente medido numericamente, por vezes eles são agrupados em conjunto como variáveis categóricas , enquanto proporção e medições do intervalo são agrupados em conjunto como variáveis quantitativas , que podem ser tanto discreta ou contínua , devido à sua natureza numérica. Tais distinções muitas vezes pode ser vagamente correlacionados com o tipo de dados em ciência da computação, em que as variáveis categóricas dicotômicas pode ser representado com o tipo de dados Boolean , variáveis categóricas politômicos com arbitrariamente atribuídos números inteiros no tipo de dados integrado , e as variáveis contínuas com o tipo de dados reais envolvendo ponto flutuante computação. Mas o mapeamento de tipos de dados de ciência da computação para tipos de dados estatísticos depende de qual categorização deste último está sendo implementado.

Outros categorizações foram propostas. Por exemplo, Mosteller e Tukey (1977) graus distintos, ocupa, contadas fracções, condes, eleva-se, e contrapesos. Nelder (1990) descreveu a contagem contínuos, rácios contínuas, rácios de contagem, e os modos categóricas de dados. Veja também Chrisman (1998), van den Berg (1991).

A questão de saber se é ou não apropriado aplicar diferentes tipos de métodos estatísticos com os dados obtidos a partir de diferentes tipos de procedimentos de medição é complicada por questões relacionadas com a transformação de variáveis ​​ea interpretação precisa de questões de pesquisa. "A relação entre os dados e que eles descrevem apenas reflete o fato de que certos tipos de levantamentos estatísticos podem ter valores de verdade que não são invariantes sob algumas transformações. Seja ou não uma transformação é sensata para contemplar depende da pergunta se está tentando responder "(mão, 2004, p. 82).

Terminologia e teoria da estatística inferencial

Estatísticas, estimadores e quantidades cruciais

Considere variáveis aleatórias independentes identicamente distribuído (IID) com uma determinada distribuição de probabilidade : padrão inferência estatística e teoria estimativa define uma amostra aleatória como o vector aleatório dado pelo vector de coluna destas variáveis IID. A população a ser examinada é descrita por uma distribuição de probabilidade que pode ter parâmetros desconhecidos.

A estatística é uma variável aleatória que é uma função da amostra aleatória, mas não uma função de parâmetros desconhecidos . A distribuição de probabilidade da estatística, no entanto, pode ter parâmetros desconhecidos.

Considere agora uma função do parâmetro desconhecido: um estimador é uma estatística utilizada para estimar tal função. Estimadores comumente usados incluem média da amostra , imparcial variância da amostra e covariância da amostra .

Uma variável aleatória que é uma função da amostra aleatória e do parâmetro desconhecido, mas cuja distribuição de probabilidade não depende do parâmetro desconhecido é chamado uma quantidade essencial ou pivô. Amplamente pivôs usados incluem o z-score , a estatística qui quadrado e de Student t-valor .

Entre dois avaliadores de um determinado parâmetro, aquele com menor erro quadrado médio é dito ser mais eficiente . Além disso, um estimador é dito ser imparcial se o seu valor esperado é igual ao verdadeiro valor do parâmetro desconhecido a ser estimado, e assintoticamente imparcial se o seu valor esperado converge ao limite para o verdadeiro valor de tais parâmetros.

Outras propriedades desejáveis para avaliadores incluem: UMVUE estimadores que têm o menor variação para todos os possíveis valores do parâmetro a ser estimado (esta é geralmente uma propriedade mais fácil verificar que a eficiência) e consistentes estimadores que converge em probabilidade para o verdadeiro valor de tal parâmetro .

Isso ainda deixa a questão de como obter estimadores em uma determinada situação e realizar o cálculo, vários métodos têm sido propostos: o método dos momentos , a máxima verossimilhança método, o dos mínimos quadrados método e o método mais recente da estimativa de equações .

hipótese nula e hipótese alternativa

Interpretação de informação estatística pode muitas vezes envolvem o desenvolvimento de uma hipótese nula que é geralmente (mas não necessariamente) que nenhuma relação existe entre as variáveis ou que nenhuma mudança ocorreu ao longo do tempo.

A melhor ilustração para um iniciante é a situação encontrada por um julgamento criminal. A hipótese nula, H 0 , afirma que o requerido é inocente, ao passo que a hipótese alternativa, H 1 , afirma que o requerido é culpada. A acusação vem por causa da suspeita da culpa. O H 0 (status quo) está em oposição a H 1 e é mantido a menos H 1 é apoiada por evidência "além de uma dúvida razoável". No entanto, "a falta de rejeitar H 0 " neste caso não implica inocência, mas apenas que a evidência era insuficiente para condenar. Assim, o júri não necessariamente aceitar H 0 , mas falha em rejeitar H 0 . Embora não se pode "provar" uma hipótese nula, pode-se testar o quão próximo está a ser verdadeiro com um teste de potência , que testa para erros do tipo II.

O que os estatísticos chamam de uma hipótese alternativa é simplesmente uma hipótese que contradiz a hipótese nula .

Erro

Trabalhando a partir de uma hipótese nula , duas formas básicas de erro são reconhecidos:

  • Tipo I erros em que a hipótese nula é falsamente rejeitadas dando um "falso positivo".
  • Erros do tipo II , onde a hipótese nula não ser rejeitada e uma diferença real entre populações é perdida dando um "falso negativo".

Desvio padrão refere-se à extensão em que observações individuais em uma amostra diferente de um valor central, tais como a amostra ou média da população, enquanto erro padrão refere-se a uma estimativa da diferença entre a média da amostra e média da população.

Um erro estatístico é a quantidade pela qual uma observação difere do seu valor esperado , um residual é a quantidade de uma observação é diferente do valor do estimador do valor esperado assume numa dada amostra (também chamado de previsão).

Do erro quadrático médio é usada para a obtenção de estimadores eficientes , uma classe amplamente utilizado de estimadores. Erro quadrático médio é simplesmente a raiz quadrada do erro quadrático médio.

A mínimos quadrados se encaixam: em vermelho os pontos a serem instalados, em azul a linha equipada.

Muitos métodos estatísticos procuram minimizar a soma dos quadrados dos resíduos , e estes são chamados de " métodos de mínimos quadrados ", em contraste com mínimos desvios absolutos . Este último dá um peso igual para pequenos e grandes erros, enquanto o primeiro dá mais peso a grandes erros. Soma dos quadrados dos resíduos também é diferenciável , que fornece uma propriedade útil para fazer regressão . Mínimos quadrados aplicados a regressão linear é chamado Mínimos Quadrados Ordinários método e mínimos quadrados aplicados a regressão não linear é chamado de não-linear dos mínimos quadrados . Também em um modelo de regressão linear a parte não determinística do modelo é chamado de termo de erro, perturbação ou mais simplesmente ruído. Ambos regressão linear e de regressão não-linear são abordados em mínimos quadrados polinomiais , que também descreve a variância em uma previsão da variável dependente (eixo Y) como uma função da variável independente (eixo dos xx) e os desvios (erros, ruído, perturbações) a partir do) curva estimada (equipado.

Processos de medição que geram dados estatísticos também estão sujeitos ao erro. Muitos destes erros são classificados como aleatório (ruído) ou sistemático ( viés ), mas outros tipos de erros (por exemplo, erro, tais como quando um relatórios de analistas unidades incorretas) também pode ser importante. A presença de dados faltantes ou censurar pode resultar em estimativas tendenciosas e técnicas específicas foram desenvolvidas para resolver estes problemas.

estimativa de intervalo

Intervalos de confiança : a linha vermelha é verdadeiro valor para a média neste exemplo, as linhas azuis são os intervalos de confiança aleatórios para 100 realizações.

A maioria dos estudos apenas parte da amostra de uma população, por isso os resultados não representam plenamente toda a população. Quaisquer estimativas obtidas a partir da amostra única aproximar o valor da população. Intervalos de confiança permitir que os estatísticos para expressar o quão perto a estimativa da amostra corresponde ao valor verdadeiro em toda a população. Muitas vezes, eles são expressos como intervalos de confiança de 95%. Formalmente, um intervalo de confiança de 95% para um valor de uma escala em que, se a amostragem e análise foram repetido sob as mesmas condições (dando origem a um conjunto de dados diferente), o intervalo iria incluir o valor verdadeiro (população) em 95% de todos os casos possíveis . Isso não implica que a probabilidade de que o verdadeiro valor está no intervalo de confiança é de 95%. Do frequencista perspectiva, tal afirmação não faz muito sentido, como o verdadeiro valor não é uma variável aleatória . Ou o verdadeiro valor é ou não dentro do intervalo dado. No entanto, é verdade que, antes de quaisquer dados são amostrados e dado um plano de como construir o intervalo de confiança, a probabilidade é de 95% que o intervalo ainda-a-ser-calculada irá cobrir o valor verdadeiro: neste momento, a limites do intervalo são ainda-a-ser-observadas variáveis aleatórias . Uma abordagem que faz produzir um intervalo que pode ser interpretado como tendo uma determinada probabilidade de conter o verdadeiro valor é usar um intervalo de credibilidade de Estatística Bayesiana : esta abordagem depende de uma maneira diferente de interpretar o que se entende por "probabilidade" , isto é, como uma probabilidade Bayesian .

Em intervalos de confiança de princípio pode ser simétrica ou assimétrica. Um intervalo pode ser assimétrica porque funciona como inferior ou limite superior para um parâmetro (intervalo do lado esquerdo ou do lado direito intervalo), mas também pode ser assimétrica porque os dois lados intervalo é construído violar simetria em torno da estimativa. Às vezes, os limites para um intervalo de confiança são atingidos asymptotically e estes são usados ​​para aproximar os verdadeiros limites.

Significado

Estatísticas raramente dão uma resposta sim / não Tipo simples para a questão em análise. Interpretação frequentemente vem para baixo para o nível de significância estatística aplicada aos números e frequentemente se refere à probabilidade de um valor de precisão rejeitando a hipótese nula (por vezes referido como o valor de p ).

Neste gráfico da linha preta representa a distribuição de probabilidade para a estatística de teste , a região crítica é o conjunto de valores para a direita do ponto de dados observáveis (valor observado da estatística de teste) e o valor de p é representada pela área verde.

A abordagem padrão é para testar uma hipótese nula contra uma hipótese alternativa. A região crítica é o conjunto de valores do estimador que leva a refutar a hipótese nula. A probabilidade de erro tipo I é, por conseguinte, a probabilidade de que o estimador pertence à região crítica, dado que a hipótese nula é verdadeira ( significância estatística ) e a probabilidade de erro do tipo II é a probabilidade de que o estimador não pertencem à região crítica dado que a hipótese alternativa é verdade. O poder estatístico de um teste é a probabilidade de que isso corretamente rejeita a hipótese nula quando a hipótese nula é falsa.

Referindo-se a significância estatística não significa necessariamente que o resultado global é significativo em termos reais. Por exemplo, em um grande estudo de uma droga que pode ser mostrado que a droga tem um efeito benéfico estatisticamente significativa, mas muito pequeno, de tal modo que o fármaco é improvável para ajudar o paciente visivelmente.

Embora, em princípio, o nível aceitável de significância estatística pode estar sujeito a debate, o p-valor é o nível de significância menor que permite o teste de rejeitar a hipótese nula. Este teste é logicamente equivalente a dizer que o valor-p é a probabilidade, assumindo a hipótese nula é verdadeira, de observar um resultado pelo menos tão extrema como a estatística de teste . Portanto, quanto menor o valor-p, menor é a probabilidade de cometer erro tipo I.

Alguns problemas são normalmente associados com esta estrutura (Veja a crítica de testes de hipóteses ):

  • Uma diferença que é altamente estatisticamente significativa ainda pode ser de qualquer significado prático, mas é possível formular adequadamente os testes para explicar isso. Uma resposta envolve ir além relatando apenas o nível de significância para incluir o p -valor ao relatar se uma hipótese é rejeitada ou aceita. O p-valor, no entanto, não indica o tamanho ou importância do efeito observado e também pode parecem exagerar a importância de pequenas diferenças em grandes estudos. Uma abordagem melhor e cada vez mais comum é relatar intervalos de confiança . Embora estes sejam produzidos a partir dos mesmos cálculos como os dos testes de hipóteses ou p valores A, que descrevem tanto o tamanho do efeito e a incerteza que o rodeia.
  • Falácia da, aka condicional transposta falácia do promotor : surgem críticas porque as forças de aproximação testes de hipóteses uma hipótese (a hipótese nula ) a ser favorecido, já que o que está sendo avaliada é a probabilidade do resultado observado dada a hipótese nula e não probabilidade do hipótese nula dado o resultado observado. Uma alternativa a esta abordagem é oferecido por inferência Bayesiana , embora requer o estabelecimento de uma probabilidade prévia .
  • Rejeitar a hipótese nula não prova automaticamente a hipótese alternativa.
  • Como tudo na estatística inferencial que depende do tamanho da amostra, e, portanto, sob caudas gordas p-valores podem ser seriamente mis-computados.

Exemplos

Alguns estatísticos bem conhecidos testes e procedimentos são os seguintes:

abuso

Desvio de estatísticas pode produzir sutis, mas erros graves na descrição e interpretação sutil no sentido de que até mesmo profissionais experientes fazer tais erros, e sério no sentido de que eles podem levar a erros de decisão devastadores. Por exemplo, a política social, a prática médica, e a confiabilidade de estruturas como pontes todos contam com o uso adequado de estatísticas.

Mesmo quando as técnicas estatísticas são aplicadas corretamente, os resultados podem ser difíceis de interpretar para aqueles experiência faltando. A significância estatística de uma tendência nos dados-que mede a extensão em que a tendência pode ser causado por uma variação aleatória na amostra-pode ou não pode concordar com um sentido intuitivo do seu significado. O conjunto de habilidades básicas de estatística (e ceticismo) que as pessoas precisam lidar com a informação na sua vida quotidiana corretamente é referido como literacia estatística .

Há uma percepção geral de que o conhecimento estatístico é por demais freqüentemente intencionalmente mal utilizado por encontrar maneiras de interpretar apenas os dados que são favoráveis para o apresentador. A desconfiança e incompreensão das estatísticas está associada com a citação, " Existem três tipos de mentiras: mentiras, mentiras deslavadas e estatísticas ". Desvio de estatísticas pode ser tanto acidental e intencional, eo livro Como mentir com estatísticas descreve uma série de considerações. Em uma tentativa de lançar luz sobre o uso e abuso de estatísticas, comentários de técnicas estatísticas utilizadas em campos específicos são realizados (por exemplo Warne, Lazo, Ramos, e Ritter (2012)).

Maneiras de evitar a utilização indevida das estatísticas incluem o uso de diagramas adequados e evitando viés . O uso indevido pode ocorrer quando as conclusões são supergeneralizada e alegou ser representativa de mais do que realmente são, muitas vezes, por qualquer viés de amostragem deliberada ou inconscientemente, com vista. Os gráficos de barras são, indiscutivelmente, os diagramas mais fáceis de usar e entender, e eles podem ser feitos à mão ou com programas de computador simples. Infelizmente, a maioria das pessoas não olham de viés ou erros, para que eles não são notados. Assim, as pessoas podem muitas vezes acreditam que algo é verdadeiro mesmo se ele não está bem representada . Para tornar os dados recolhidos a partir de estatísticas credíveis e precisas, a amostra colhida deve ser representativa do conjunto. De acordo com Huff, "A confiabilidade de uma amostra pode ser destruída por [preconceito] ... permita-se algum grau de ceticismo."

Para auxiliar na compreensão das estatísticas Huff propôs uma série de perguntas a serem feitas em cada caso:

  • Quem diz isso? (Será que ele / ela tem um machado para moer?)
  • Como é que ele / ela sabe? (Será que ele / ela tem os recursos para conhecer os fatos?)
  • O que está a faltar? (Será que ele / ela nos dar um quadro completo?)
  • Será que alguém mudar de assunto? (Será que ele / ela nos oferecer a resposta certa para o problema errado?)
  • Isso faz sentido? (É seu / sua conclusão lógica e consistente com o que já sabe?)
A variável de confusão problema: X e Y podem ser correlacionados, não porque não há relação causal entre eles, mas, porque ambos dependem de uma terceira variável Z . Z é chamado de fator de confusão.

Má interpretação: correlação

O conceito de correlação é particularmente notável para a confusão potencial que pode causar. A análise estatística de uma definir dados frequentemente revela que duas variáveis (propriedades) da população em estudo tendem a variar em conjunto, como se estivessem ligados. Por exemplo, um estudo do rendimento anual que também olha para a idade da morte pode achar que as pessoas pobres tendem a ter vidas mais curtas do que as pessoas ricas. As duas variáveis são disse a ser correlacionados; no entanto, eles podem ou não podem ser a causa de um outro. Os fenómenos de correlação pode ser causado por um terceiro fenómeno, previamente desconsiderados, chamado de uma variável ou escondido variável de confusão . Por esta razão, não há como inferir imediatamente a existência de uma relação causal entre as duas variáveis. (Veja a correlação não implica causalidade .)

História da ciência estatística

Gerolamo Cardano , o mais antigo pioneiro na matemática da probabilidade.

Alguns estudiosos identificar a origem das estatísticas de 1663, com a publicação de observações naturais e Políticos sobre as listas de mortalidade por John Graunt . As primeiras aplicações de pensamento estatístico girava em torno das necessidades dos estados com a política de base em dados demográficos e econômicos, daí o seu stat- etimologia . O âmbito da disciplina de estatísticas alargado no início do século 19 para incluir a recolha e análise de dados em geral. Hoje, as estatísticas é amplamente empregado no governo, negócios e ciências naturais e sociais.

Seus fundamentos matemáticos foram estabelecidas no século 17 com o desenvolvimento da teoria da probabilidade por Gerolamo Cardano , Blaise Pascal e Pierre de Fermat . Mathematical teoria da probabilidade surgiu a partir do estudo dos jogos de azar, embora o conceito de probabilidade já foi examinado no direito medieval e por filósofos como Juan Caramuel . O método dos mínimos quadrados foi descrita pela primeira vez por Adrien-Marie Legendre em 1805.

Karl Pearson , um dos fundadores da estatística matemática.

O moderno campo de estatísticas surgiu no final do século 19 e início do século 20 em três etapas. A primeira onda, na virada do século, foi conduzida pelo trabalho de Francis Galton e Karl Pearson , que transformou as estatísticas em uma disciplina matemática rigorosa utilizado para análise, não apenas na ciência, mas na indústria e na política também. Contribuições de Galton incluído introduzindo os conceitos de desvio padrão , correlação , análise de regressão e a aplicação destes métodos para o estudo da variedade de características de altura humanos, peso, comprimento pestana entre outros. Pearson desenvolveram o coeficiente de produto-momento de correlação de Pearson , definido como um produto-momento, o método de momentos para a montagem de distribuição de amostras e para a distribuição de Pearson , entre muitas outras coisas. Galton e Pearson fundada Biometrika como a primeira revista de estatísticas matemáticas e bioestatística (então chamado de biometria), eo último fundou o primeiro departamento de estatísticas da universidade do mundo na University College London .

Ronald Fisher criou o termo hipótese nula durante a degustação de chá Lady experimento, que "nunca é provada ou estabelecida, mas é possivelmente refutada, no curso de experimentação".

A segunda onda dos anos 1910 e 20s foi iniciado por William Gosset , e atingiu seu ponto culminante nos insights de Ronald Fisher , que escreveu os livros que estavam para definir a disciplina acadêmica em universidades de todo o mundo. Publicações mais importantes de Fisher foram seu papel seminal 1918 a correlação entre parentes na suposição de Mendelian Inheritance , que foi o primeiro a usar o termo estatístico, variância , seu clássico 1925 de trabalho Métodos Estatísticos dos Trabalhadores de Pesquisa e seu 1935 O projeto de experimentos , onde ele desenvolveu rigoroso projeto de experimentos modelos. Ele originou os conceitos de suficiência , estatísticas auxiliares , discriminador linear de Fisher e informações Fisher . Em seu livro 1930 A Teoria Genética da Seleção Natural , ele estatística aplicada a vários biológicas conceitos como princípio de Fisher ). No entanto, AWF Edwards observou que é "provavelmente o argumento mais comemorado em biologia evolutiva ". (sobre a proporção entre os sexos ), o fugitivo Fisherian , um conceito em seleção sexual sobre um fugitivo feedback positivo afetam encontrado em evolução .

A onda final, que viu principalmente o refinamento e expansão de desenvolvimentos anteriores, surgiu a partir do trabalho colaborativo entre Egon e Jerzy Neyman na década de 1930. Eles introduziram os conceitos de " tipo II erro", o poder de um teste e intervalos de confiança . Jerzy Neyman em 1934 mostraram que a amostragem estratificada aleatória era, em geral, um método de melhor estimativa do que intencional (quotas) amostragem.

Hoje, os métodos estatísticos são aplicados em todos os campos que envolvem a tomada de decisão, para fazer inferências precisas de um corpo com compilação de dados e para a tomada de decisões em face da incerteza com base em metodologia estatística. O uso de modernos computadores agilizou cálculos estatísticos em larga escala, e também fez possíveis novos métodos que são impraticáveis para executar manualmente. Estatísticas continua a ser uma área de pesquisa ativa, por exemplo, sobre o problema de como analisar grandes volumes de dados .

aplicações

Estatística Aplicada, estatísticas teóricas e estatística matemática

Estatística Aplicada compreende estatística descritiva e da aplicação da estatística inferencial. Estatísticas teóricas diz respeito aos argumentos lógicos subjacentes justificação de abordagens para inferência estatística , bem como englobando estatística matemática . Estatística matemática inclui não só a manipulação de distribuições de probabilidade necessárias para derivar resultados relativos aos métodos de estimação e inferência, mas também vários aspectos da estatística computacional e do projeto de experimentos .

aprendizado de máquina e mineração de dados

Há dois pedidos de aprendizado de máquina e mineração de dados : análise de gestão de dados e de dados. Ferramentas estatísticas são necessárias para a análise de dados.

Estatísticas em sociedade

Estatística é aplicável a uma grande variedade de disciplinas acadêmicas , incluindo naturais e ciências sociais , governo e negócios. Consultores estatísticos podem ajudar as organizações e empresas que não têm experiência em casa relevante para as suas questões particulares.

computação estatística

Os aumentos rápidos e sustentados em computação partida de energia a partir da segunda metade do século 20 tiveram um impacto substancial sobre a prática da ciência estatística. Modelos estatísticos adiantados eram quase sempre da classe dos modelos lineares , mas poderosos computadores, juntamente com numéricos adequados algoritmos , causou um aumento do interesse em modelos não lineares (tais como redes neurais ), bem como a criação de novos tipos, tais como modelos lineares generalizados e modelos multinível .

Poder de computação aumentou também levou à crescente popularidade dos métodos computacionalmente intensivas com base em resampling , tais como testes de permutação e a inicialização , enquanto técnicas como a amostragem de Gibbs fizeram uso de modelos bayesianos mais viável. A revolução do computador tem implicações para o futuro das estatísticas com nova ênfase na "experimentais" e estatísticas "empíricos". Um grande número de ambos uso geral e especial software estatístico estão agora disponíveis. Exemplos de software disponível capaz de cálculo estatístico complexo incluem programas tais como Mathematica , SAS , SPSS , e R .

Estatística aplicada à matemática ou as artes

Tradicionalmente, as estatísticas estava preocupado com inferências usando uma metodologia semi-padronizado que foi "necessária aprendizagem" na maioria das ciências. Esta tradição mudou com o uso de estatísticas em contextos não-inferencial. O que antes era considerado um assunto seco, tomado em muitos campos como um grau de exigência, agora é visto com entusiasmo. Inicialmente ridicularizada por alguns puristas matemáticas, ele é agora considerado metodologia essencial em determinadas áreas.

  • Em teoria número , diagramas de dispersão de dados gerados por uma função de distribuição pode ser transformada com ferramentas conhecidas para utilização nas estatísticas para revelar os padrões subjacentes, as quais podem, então, levar a hipóteses.
  • Métodos de estatísticas, incluindo métodos de previsão em previsões são combinados com a teoria do caos e geometria fractal para criar obras de vídeo que são considerados de grande beleza.
  • A arte processo de Jackson Pollock invocado experiências artísticas em que as distribuições subjacentes na natureza foram artisticamente reveladas. Com o advento dos computadores, os métodos estatísticos foram aplicados para formalizar tais processos naturais orientado a distribuição para fazer e analisar se movendo videoarte.
  • Métodos de estatísticas podem ser usados predicativamente na arte da performance , como em um truque de cartas com base em um processo de Markov que só funciona por algum tempo, por ocasião da qual pode ser previsto utilizando metodologia estatística.
  • As estatísticas podem ser usados para criar predicativamente arte, como na estatística ou música estocástica inventado por Iannis Xenakis , onde a música é específico do desempenho. Embora este tipo de arte nem sempre saem como o esperado, ele não se comportar de maneiras que são estatísticas previsíveis e ajustável usando.

disciplinas especializadas

Técnicas estatísticas são usados em uma ampla gama de tipos de pesquisa científica e social, incluindo: bioestatística , biologia computacional , sociologia computacional , biologia rede , ciências sociais , sociologia e pesquisa social . Alguns campos de uso inquérito estatística aplicada tão extensivamente que eles especializada terminologia . Estas disciplinas incluem:

Além disso, existem determinados tipos de análise estatística que também desenvolveram sua própria terminologia e metodologia especializada:

Estatísticas formar uma ferramenta de base fundamental no negócio e fabricação também. É usado para compreender variabilidade sistemas de medição, os processos de controlo (tal como no controlo do processo estatístico ou SPC), para os dados que resumem, e para tomar decisões baseadas em dados. Nessas funções, é uma ferramenta-chave, e talvez a única ferramenta confiável.

Veja também

Fundações e grandes áreas de estatísticas

Referências

Outras leituras

links externos