Validação de modelo estatístico - Statistical model validation

"Validação de modelo" redireciona aqui. Para a função de banco de investimento, consulte Análise quantitativa (finanças) § Validação do modelo .

Em estatística , a validação de modelo é a tarefa de confirmar se as saídas de um modelo estatístico são aceitáveis ​​com relação ao processo real de geração de dados. Em outras palavras, a validação do modelo é a tarefa de confirmar que as saídas de um modelo estatístico têm fidelidade suficiente às saídas do processo de geração de dados para que os objetivos da investigação possam ser alcançados.

Visão geral

A validação do modelo pode ser baseada em dois tipos de dados: dados que foram usados ​​na construção do modelo e dados que não foram usados ​​na construção. A validação com base no primeiro tipo geralmente envolve a análise da qualidade do ajuste do modelo ou a análise se os resíduos parecem ser aleatórios (isto é, diagnósticos residuais ). A validação com base no segundo tipo geralmente envolve a análise de se o desempenho preditivo do modelo se deteriora de forma não desprezível quando aplicado a novos dados pertinentes.

Figura 1. Os dados (pontos pretos), que foram gerados através da linha reta e algum ruído adicionado, são perfeitamente ajustados por um polinômio curvilíneo .

A validação baseada apenas no primeiro tipo (dados que foram usados ​​na construção do modelo) é frequentemente inadequada. Um exemplo extremo é ilustrado na Figura 1. A figura exibe dados (pontos pretos) que foram gerados por meio de uma linha reta + ruído. A figura também exibe uma curva, que é um polinômio escolhido para ajustar os dados perfeitamente. Os resíduos da curva são todos zero. Portanto, a validação baseada apenas no primeiro tipo de dados concluiria que a curva era um bom modelo. No entanto, a curva é obviamente um modelo pobre: ​​a interpolação, especialmente entre −5 e −4, tenderia a ser altamente enganosa; além disso, qualquer extrapolação substancial seria ruim.

Assim, a validação geralmente não se baseia apenas na consideração de dados que foram usados ​​na construção do modelo; em vez disso, a validação geralmente também emprega dados que não foram usados ​​na construção. Em outras palavras, a validação geralmente inclui o teste de algumas das previsões do modelo.

Um modelo pode ser validado apenas em relação a alguma área de aplicação. Um modelo válido para um aplicativo pode ser inválido para alguns outros aplicativos. Como exemplo, considere a curva na Figura 1: se o aplicativo usou apenas entradas do intervalo [0, 2], então a curva pode muito bem ser um modelo aceitável.

Métodos de validação

Ao fazer uma validação, existem três causas notáveis ​​de dificuldade potencial, de acordo com a Enciclopédia de Ciências Estatísticas . As três causas são estas: falta de dados; falta de controle das variáveis ​​de entrada; incerteza sobre as distribuições e correlações de probabilidade subjacentes. Os métodos usuais para lidar com as dificuldades de validação incluem os seguintes: verificar as suposições feitas na construção do modelo; examinar os dados disponíveis e os resultados do modelo relacionados; aplicação de opinião de especialistas. Observe que a opinião de um especialista geralmente requer experiência na área de aplicação.

A opinião especializada pode às vezes ser usada para avaliar a validade de uma previsão sem obter dados reais: por exemplo, para a curva da Figura 1, um especialista pode muito bem ser capaz de avaliar que uma extrapolação substancial será inválida. Além disso, a opinião especializada pode ser usada em testes do tipo Turing , onde os especialistas são apresentados a dados reais e saídas de modelo relacionadas e, em seguida, solicitados a distinguir entre os dois.

Para algumas classes de modelos estatísticos, métodos especializados de execução de validação estão disponíveis. Por exemplo, se o modelo estatístico foi obtido por meio de uma regressão , então existem análises especializadas para validação do modelo de regressão e são geralmente empregadas.

Diagnóstico residual

O diagnóstico de resíduos compreende análises dos resíduos para determinar se os resíduos parecem ser efetivamente aleatórios. Essas análises normalmente requerem estimativas das distribuições de probabilidade dos resíduos. As estimativas das distribuições dos resíduos muitas vezes podem ser obtidas executando repetidamente o modelo, ou seja, usando repetidas simulações estocásticas (empregando um gerador de números pseudo- aleatórios para variáveis ​​aleatórias no modelo).

Se o modelo estatístico foi obtido por meio de uma regressão, então o diagnóstico de regressão residual existe e pode ser usado; esses diagnósticos têm sido bem estudados.

Veja também

Referências

Leitura adicional

links externos