Regressão não paramétrica - Nonparametric regression

Parte de uma série sobre
Análise de regressão
Modelos
Regressão linear Regressão simples Regressão polinomial Modelo linear geral
Modelo linear generalizado Escolha discreta Regressão binomial Regressão binária Regressão logística Logit multinomial Logit misto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinível Efeitos fixos Efeitos aleatórios Modelo linear de efeitos mistos Modelo não linear de efeitos mistos
Regressão não linear Não paramétrico Semiparamétrico Robusto Quantil Isotônico Componentes principais Ângulo mínimo Local Segmentado
Erros em variáveis
Estimativa
Mínimos quadrados Linear Não linear
Comum Pesada Generalizado
Parcial Total Não negativo Regressão de cume Regularizado
Desvios mínimos absolutos Reponderado iterativamente Bayesiano Multivariada bayesiana
fundo
Validação de regressão Resposta média e prevista Erros e residuais Qualidade de ajuste Resíduo estudantizado Teorema de Gauss-Markov
Portal de matemática
v t e

A regressão não paramétrica é uma categoria de análise de regressão na qual o preditor não assume uma forma predeterminada, mas é construído de acordo com as informações derivadas dos dados. Ou seja, nenhuma forma paramétrica é assumida para o relacionamento entre preditores e variável dependente. A regressão não paramétrica requer tamanhos de amostra maiores do que a regressão baseada em modelos paramétricos porque os dados devem fornecer a estrutura do modelo, bem como as estimativas do modelo.

Definição

Na regressão não paramétrica, temos variáveis aleatórias e e assumir a seguinte relação: ${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ mathbb {E} [Y \ mid X = x] = m (x),}$

onde está alguma função determinística. A regressão linear é um caso restrito de regressão não paramétrica em que é considerada afim. Alguns autores usam uma suposição um pouco mais forte de ruído aditivo: ${\ displaystyle m (x)}$${\ displaystyle m (x)}$

${\ displaystyle Y = m (X) + U,}$

onde a variável aleatória é o `termo de ruído ', com média 0. Sem a suposição de que pertence a uma família paramétrica específica de funções, é impossível obter uma estimativa não enviesada para , no entanto, a maioria dos estimadores são consistentes sob condições adequadas. ${\ displaystyle U}$${\ displaystyle m}$${\ displaystyle m}$

Lista de algoritmos de regressão não paramétrica de uso geral

Esta é uma lista não exaustiva de algoritmos adequados para problemas de regressão não paramétrica.

• vizinhos mais próximos, consulte interpolação por vizinho mais próximo e k-vizinhos mais próximos algoritmo
• árvores de regressão
• regressão do kernel
• regressão local
• splines de regressão adaptativa multivariada
• redes neurais
• suporte a regressão vetorial
• suavizando splines

Exemplos

Regressão do processo gaussiano ou Krigagem

Na regressão do processo gaussiano, também conhecida como Krigagem, um prior gaussiano é assumido para a curva de regressão. Os erros são assumidos como tendo uma distribuição normal multivariada e a curva de regressão é estimada por seu modo posterior . O prior gaussiano pode depender de hiperparâmetros desconhecidos, que geralmente são estimados via Bayes empírica . Os hiperparâmetros normalmente especificam um kernel de covariância anterior. Caso o kernel também deva ser inferido não parametricamente a partir dos dados, o filtro crítico pode ser usado.

As splines de suavização têm uma interpretação como o modo posterior de uma regressão de processo gaussiano.

Regressão de kernel

Exemplo de uma curva (linha vermelha) ajustada a um pequeno conjunto de dados (pontos pretos) com regressão não paramétrica usando um suavizador de kernel gaussiano. A área sombreada em rosa ilustra a função kernel aplicada para obter uma estimativa de y para um determinado valor de x. A função kernel define o peso dado a cada ponto de dados na produção da estimativa para um ponto alvo.

A regressão do kernel estima a variável dependente contínua a partir de um conjunto limitado de pontos de dados convolvendo as localizações dos pontos de dados com uma função de kernel - falando aproximadamente, a função de kernel especifica como "borrar" a influência dos pontos de dados para que seus valores possam ser usado para prever o valor para locais próximos.

Árvores de regressão

Os algoritmos de aprendizagem da árvore de decisão podem ser aplicados para aprender a prever uma variável dependente a partir dos dados. Embora a formulação original da Árvore de Classificação e Regressão (CART) aplicada apenas para prever dados univariados, a estrutura pode ser usada para prever dados multivariados, incluindo séries temporais.

Veja também

• Lasso (estatísticas)
• Regressão local
• Estatísticas não paramétricas
• Regressão semiparamétrica
• Regressão isotônica
• Splines de regressão adaptativa multivariada

Referências

Leitura adicional

• Bowman, AW; Azzalini, A. (1997). Técnicas de suavização aplicadas para análise de dados . Oxford: Clarendon Press. ISBN   0-19-852396-3 .
• Fan, J .; Gijbels, I. (1996). Modelagem Polinomial Local e suas Aplicações . Boca Raton: Chapman e Hall. ISBN   0-412-98321-4 .
• Henderson, DJ; Parmeter, CF (2015). Econometria não paramétrica aplicada . Nova York: Cambridge University Press. ISBN   978-1-107-01025-3 .
• Li, Q .; Racine, J. (2007). Econometria Não Paramétrica: Teoria e Prática . Princeton: Princeton University Press. ISBN   978-0-691-12161-1 .
• Pagan, A .; Ullah, A. (1999). Econometria não paramétrica . Nova York: Cambridge University Press. ISBN   0-521-35564-8 .

links externos

• HyperNiche, software para regressão multiplicativa não paramétrica .
• Regressão não paramétrica adaptável à escala (com software Matlab).