Regularização de rede elástica - Elastic net regularization

Em estatística e, em particular, no ajuste de modelos de regressão linear ou logística , a rede elástica é um método de regressão regularizado que combina linearmente as penalidades L ₁ e L ₂ dos métodos laço e crista .

Especificação

O método de rede elástica supera as limitações do método LASSO (menor contração absoluta e operador de seleção), que usa uma função de penalidade com base em

${\ displaystyle \ | \ beta \ | _ {1} = \ textstyle \ sum _ {j = 1} ^ {p} | \ beta _ {j} |.}$

O uso desta função de penalidade tem várias limitações. Por exemplo, no caso de " p grande , n pequeno " (dados de alta dimensão com poucos exemplos), o LASSO seleciona no máximo n variáveis ​​antes de saturar. Além disso, se houver um grupo de variáveis ​​altamente correlacionadas, o LASSO tende a selecionar uma variável de um grupo e ignorar as outras. Para superar essas limitações, a rede elástica adiciona uma parte quadrática à penalidade ( ), que, quando usada sozinha, é a regressão do cume (também conhecida como regularização de Tikhonov ). As estimativas do método da rede elástica são definidas por ${\ displaystyle \ | \ beta \ | ^ {2}}$

${\ displaystyle {\ hat {\ beta}} \ equiv {\ underset {\ beta} {\ operatorname {argmin}}} (\ | yX \ beta \ | ^ {2} + \ lambda _ {2} \ | \ beta \ | ^ {2} + \ lambda _ {1} \ | \ beta \ | _ {1}).}$

O termo de penalidade quadrática torna a função de perda fortemente convexa e, portanto, tem um mínimo único. O método da rede elástica inclui o LASSO e a regressão do cume: em outras palavras, cada um deles é um caso especial onde ou . Enquanto isso, a versão ingênua do método da rede elástica encontra um estimador em um procedimento de dois estágios: primeiro para cada fixo, ele encontra os coeficientes de regressão da crista e, em seguida, faz um encolhimento do tipo LASSO. Esse tipo de estimativa incorre em uma quantidade dupla de redução, o que leva a um aumento do viés e a previsões ruins. Para melhorar o desempenho da previsão, os autores redimensionam os coeficientes da versão ingênua da rede elástica multiplicando os coeficientes estimados por . ${\ displaystyle \ lambda _ {1} = \ lambda, \ lambda _ {2} = 0}$${\ displaystyle \ lambda _ {1} = 0, \ lambda _ {2} = \ lambda}$${\ displaystyle \ lambda _ {2}}$${\ displaystyle (1+ \ lambda _ {2})}$

Exemplos de onde o método de rede elástica foi aplicado são:

• Máquina de vetor de suporte
• Aprendizagem métrica
• Otimização de portfólio
• Prognóstico de câncer

Redução para suportar máquina de vetor

No final de 2014, foi comprovado que a rede elástica pode ser reduzida à máquina de vetores de suporte linear . Uma redução semelhante foi comprovada anteriormente para o LASSO em 2014. Os autores mostraram que para cada instância da rede elástica, um problema de classificação binária artificial pode ser construído de forma que a solução hiperplana de uma máquina de vetores de suporte linear (SVM) seja idêntica para a solução (após redimensionamento). A redução permite imediatamente o uso de solucionadores SVM altamente otimizados para problemas de rede elástica. Ele também permite o uso de aceleração de GPU , que geralmente já é usada para solucionadores de SVM em grande escala. A redução é uma simples transformação dos dados originais e constantes de regularização ${\ displaystyle \ beta}$

${\ displaystyle X \ in {\ mathbb {R}} ^ {n \ vezes p}, y \ in {\ mathbb {R}} ^ {n}, \ lambda _ {1} \ geq 0, \ lambda _ { 2} \ geq 0}$

em novas instâncias de dados artificiais e uma constante de regularização que especifica um problema de classificação binária e a constante de regularização SVM

${\ displaystyle X_ {2} \ in {\ mathbb {R}} ^ {2p \ times n}, y_ {2} \ in \ {- 1,1 \} ^ {2p}, C \ geq 0.}$

Aqui, consiste em rótulos binários . Quando normalmente é mais rápido resolver o SVM linear no primário, ao passo que, caso contrário, a formulação dual é mais rápida. Os autores se referiram à transformação como Rede Elástica de Vetor de Suporte (SVEN) e forneceram o seguinte pseudocódigo MATLAB: ${\ displaystyle y_ {2}}$${\ displaystyle {-1,1}}$${\ displaystyle 2p> n}$

function β=SVEN(X,y,t,λ2);
 [n,p]=size(X); 
 X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
 Y2=[ones(p,1);-ones(p,1)];
if 2p>n then 
 w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
 α = C * max(1-Y2.*(X2*w),0); 
else
 α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
end if
β = t * (α(1:p) - α(p+1:2p)) / sum(α);

Programas

• "Glmnet: modelos lineares generalizados regularizados Lasso e elastic-net" é um software que é implementado como um pacote fonte R e como uma caixa de ferramentas MATLAB . Isso inclui algoritmos rápidos para estimativa de modelos lineares generalizados com ℓ ₁ (o laço), ℓ ₂ (regressão de crista) e misturas das duas penalidades (a rede elástica) usando a descida coordenada cíclica, calculada ao longo de um caminho de regularização.
• JMP Pro 11 inclui regularização de rede elástica, usando a personalidade de regressão generalizada com modelo de ajuste.
• "pensim: Simulação de dados de alta dimensão e regressão penalizada repetida paralelizada" implementa um método de ajuste "2D" alternativo e paralelizado dos parâmetros ℓ, um método que afirma resultar em maior precisão de predição.
• O scikit-learn inclui regressão linear, regressão logística e máquinas de vetores de suporte linear com regularização líquida elástica.
• SVEN, uma implementação Matlab do Support Vector Elastic Net. Este solver reduz o problema da rede elástica a uma instância de classificação binária SVM e usa um solver Matlab SVM para encontrar a solução. Como o SVM é facilmente paralelizável, o código pode ser mais rápido do que o Glmnet em hardware moderno.
• SpaSM , uma implementação Matlab de regressão esparsa, classificação e análise de componentes principais, incluindo regressão regularizada líquida elástica.
• O Apache Spark fornece suporte para Elastic Net Regression em sua biblioteca de aprendizado de máquina MLlib . O método está disponível como um parâmetro da classe LinearRegression mais geral.
• SAS (software) O procedimento SAS Glmselect suporta o uso de regularização de rede elástica para seleção de modelo.

Referências

Leitura adicional

• Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome (2017). "Métodos de encolhimento" (PDF) . Os Elementos de Aprendizagem Estatística: Mineração de Dados, Inferência e Previsão (2ª ed.). Nova York: Springer. pp. 61–79. ISBN   978-0-387-84857-0 .

links externos

• Regularização e Seleção Variável via Rede Elástica (apresentação)