Aprendizagem semissupervisionada - Semi-supervised learning

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Clustering Regressão Detecção de anomalia Limpeza de Dados AutoML Regras de associação Aprendizagem por reforço Previsão estruturada Engenharia de recursos Aprendizagem de recursos Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendendo a classificar Indução gramatical
Aprendizagem supervisionada ( classificação  • regressão ) Árvores de decisão Conjuntos Ensacamento Boosting Floresta aleatória k -NN Regressão linear Baías ingénuas Redes neurais artificiais Regressão logística Perceptron Máquina de vetor de relevância (RVM) Máquina de vetores de suporte (SVM)
Clustering BÉTULA CURA Hierárquico k- significa Expectativa-maximização (EM) DBSCAN ÓPTICA Mudança média
Redução de dimensionalidade Análise Fatorial CCA ICA LDA NMF PCA PGD t-SNE
Previsão estruturada Modelos gráficos Rede Bayes Campo aleatório condicional Markov Oculto
Detecção de anomalia k -NN Fator de outlier local
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformador Spiking rede neural Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Q-learning SARSA Diferença temporal (TD)
Teoria Compensação de polarização-variância Teoria de aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv: cs.LG
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa de aprendizado de máquina Esboço do aprendizado de máquina
v t e

Um exemplo da influência de dados não rotulados na aprendizagem semissupervisionada. O painel superior mostra um limite de decisão que podemos adotar depois de ver apenas um exemplo positivo (círculo branco) e um negativo (círculo preto). O painel inferior mostra um limite de decisão que poderíamos adotar se, além dos dois exemplos rotulados, recebêssemos uma coleção de dados não rotulados (círculos cinza). Isso pode ser visto como a realização de agrupamento e, em seguida, rotulando os clusters com os dados rotulados, empurrando o limite de decisão para longe das regiões de alta densidade ou aprendendo uma variedade unidimensional subjacente onde os dados residem.

O aprendizado semissupervisionado é uma abordagem de aprendizado de máquina que combina uma pequena quantidade de dados rotulados com uma grande quantidade de dados não rotulados durante o treinamento. A aprendizagem semissupervisionada fica entre a aprendizagem não supervisionada (sem dados de treinamento rotulados) e a aprendizagem supervisionada (apenas com dados de treinamento rotulados). É um caso especial de supervisão fraca .

Os dados não rotulados, quando usados ​​em conjunto com uma pequena quantidade de dados rotulados, podem produzir uma melhoria considerável na precisão do aprendizado. A aquisição de dados rotulados para um problema de aprendizagem muitas vezes requer um agente humano habilidoso (por exemplo, para transcrever um segmento de áudio) ou um experimento físico (por exemplo, determinar a estrutura 3D de uma proteína ou determinar se há óleo em um local específico). O custo associado ao processo de rotulagem, portanto, pode tornar inviáveis ​​conjuntos de treinamento grandes e totalmente rotulados, ao passo que a aquisição de dados não rotulados é relativamente barata. Em tais situações, o aprendizado semi-supervisionado pode ser de grande valor prático. A aprendizagem semissupervisionada também é de interesse teórico na aprendizagem de máquina e como um modelo para a aprendizagem humana.

Um conjunto de exemplos distribuídos de forma independente e idêntica com rótulos correspondentes e exemplos não rotulados são processados. O aprendizado semissupervisionado combina essas informações para superar o desempenho de classificação que pode ser obtido descartando os dados não rotulados e fazendo o aprendizado supervisionado ou descartando os rótulos e fazendo o aprendizado não supervisionado. ${\ displaystyle l}$ ${\ displaystyle x_ {1}, \ dots, x_ {l} \ in X}$${\ displaystyle y_ {1}, \ dots, y_ {l} \ in Y}$${\ displaystyle u}$${\ displaystyle x_ {l + 1}, \ dots, x_ {l + u} \ in X}$

A aprendizagem semissupervisionada pode referir-se a aprendizagem transdutiva ou aprendizagem indutiva . O objetivo do aprendizado transdutivo é inferir os rótulos corretos apenas para os dados não rotulados fornecidos . O objetivo da aprendizagem indutiva é inferir o mapeamento correto de para . ${\ displaystyle x_ {l + 1}, \ dots, x_ {l + u}}$${\ displaystyle X}$${\ displaystyle Y}$

Intuitivamente, o problema de aprendizagem pode ser visto como um exame e os dados rotulados como exemplos de problemas que o professor resolve para a turma como um auxílio na solução de outro conjunto de problemas. No cenário transdutivo, esses problemas não resolvidos funcionam como perguntas do exame. No ambiente indutivo, eles se tornam problemas práticos do tipo que constituirá o exame.

É desnecessário (e, de acordo com o princípio de Vapnik , imprudente) realizar o aprendizado transdutivo por meio da inferência de uma regra de classificação sobre todo o espaço de entrada; no entanto, na prática, algoritmos formalmente projetados para transdução ou indução são frequentemente usados ​​de forma intercambiável.

Premissas

Para fazer qualquer uso de dados não rotulados, deve existir algum relacionamento com a distribuição de dados subjacente. Algoritmos de aprendizagem semissupervisionada fazem uso de pelo menos uma das seguintes suposições:

Suposição de continuidade

Os pontos próximos um do outro têm maior probabilidade de compartilhar um rótulo. Isso também é geralmente assumido no aprendizado supervisionado e produz uma preferência por limites de decisão geometricamente simples . No caso do aprendizado semissupervisionado, a suposição de suavidade adicionalmente produz uma preferência por limites de decisão em regiões de baixa densidade, portanto, poucos pontos estão próximos uns dos outros, mas em classes diferentes.

Suposição de cluster

Os dados tendem a formar clusters discretos e os pontos no mesmo cluster têm maior probabilidade de compartilhar um rótulo (embora os dados que compartilham um rótulo possam se espalhar por vários clusters). Este é um caso especial da suposição de suavidade e dá origem ao aprendizado de recursos com algoritmos de agrupamento.

Suposição de manifold

Os dados estão aproximadamente em uma variedade de dimensão muito menor do que o espaço de entrada. Nesse caso, aprender a variedade usando os dados rotulados e não rotulados pode evitar a maldição da dimensionalidade . Então, o aprendizado pode prosseguir usando distâncias e densidades definidas no coletor.

A suposição múltipla é prática quando dados de alta dimensão são gerados por algum processo que pode ser difícil de modelar diretamente, mas que tem apenas alguns graus de liberdade. Por exemplo, a voz humana é controlada por algumas pregas vocais e as imagens de várias expressões faciais são controladas por alguns músculos. Nestes casos, distâncias e suavidade no espaço natural do problema gerador são superiores a considerar o espaço de todas as ondas acústicas ou imagens possíveis, respectivamente.

História

A abordagem heurística de autotreinamento (também conhecida como autoaprendizagem ou auto-rotulagem ) é historicamente a abordagem mais antiga de aprendizagem semissupervisionada, com exemplos de aplicações a partir da década de 1960.

A estrutura de aprendizagem transdutiva foi formalmente introduzida por Vladimir Vapnik na década de 1970. O interesse pela aprendizagem indutiva usando modelos generativos também começou na década de 1970. Um limite de aprendizado provavelmente aproximadamente correto para aprendizado semissupervisionado de uma mistura gaussiana foi demonstrado por Ratsaby e Venkatesh em 1995.

A aprendizagem semissupervisionada tornou-se recentemente mais popular e praticamente relevante devido à variedade de problemas para os quais grandes quantidades de dados não rotulados estão disponíveis - por exemplo, texto em sites, sequências de proteínas ou imagens.

Métodos

Modelos gerativos

As abordagens gerativas da aprendizagem estatística procuram primeiro estimar a distribuição dos pontos de dados pertencentes a cada classe. A probabilidade de que um determinado ponto tem a etiqueta é então proporcional pela regra de Bayes . A aprendizagem semissupervisionada com modelos generativos pode ser vista como uma extensão da aprendizagem supervisionada (classificação mais informações sobre ) ou como uma extensão da aprendizagem não supervisionada (agrupamento mais alguns rótulos). ${\ displaystyle p (x | y)}$${\ displaystyle p (y | x)}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle p (x | y) p (y)}$${\ displaystyle p (x)}$

Os modelos gerativos assumem que as distribuições assumem alguma forma particular parametrizada pelo vetor . Se essas suposições estiverem incorretas, os dados não rotulados podem, na verdade, diminuir a precisão da solução em relação ao que teria sido obtido apenas com os dados rotulados. No entanto, se as suposições estiverem corretas, os dados não rotulados necessariamente melhoram o desempenho. ${\ displaystyle p (x | y, \ theta)}$${\ displaystyle \ theta}$

Os dados não rotulados são distribuídos de acordo com uma mistura de distribuições de classes individuais. Para aprender a distribuição da mistura a partir dos dados não rotulados, ela deve ser identificável, ou seja, diferentes parâmetros devem gerar diferentes distribuições somadas. As distribuições de mistura gaussiana são identificáveis ​​e comumente usadas para modelos generativos.

A distribuição conjunta parametrizada pode ser escrita usando a regra da cadeia . Cada vetor de parâmetro está associado a uma função de decisão . O parâmetro é então escolhido com base no ajuste aos dados rotulados e não rotulados, ponderado por : ${\ displaystyle p (x, y | \ theta) = p (y | \ theta) p (x | y, \ theta)}$${\ displaystyle \ theta}$${\ displaystyle f _ {\ theta} (x) = {\ underset {y} {\ operatorname {argmax}}} \ p (y | x, \ theta)}$${\ displaystyle \ lambda}$

${\ displaystyle {\ underset {\ Theta} {\ operatorname {argmax}}} \ left (\ log p (\ {x_ {i}, y_ {i} \} _ {i = 1} ^ {l} | \ theta) + \ lambda \ log p (\ {x_ {i} \} _ {i = l + 1} ^ {l + u} | \ theta) \ right)}$

Separação de baixa densidade

Outra classe importante de métodos tenta colocar limites em regiões com poucos pontos de dados (rotulados ou não). Um dos algoritmos mais comumente usados ​​é a máquina de vetor de suporte transdutivo , ou TSVM (que, apesar do nome, também pode ser usada para aprendizado indutivo). Enquanto as máquinas de vetores de suporte para aprendizagem supervisionada buscam um limite de decisão com margem máxima sobre os dados rotulados, o objetivo do TSVM é rotular os dados não rotulados de forma que o limite de decisão tenha margem máxima sobre todos os dados. Além da perda de dobradiça padrão para dados rotulados, uma função de perda é introduzida sobre os dados não rotulados por letting . O TSVM então seleciona a partir de um espaço de Hilbert do kernel de reprodução , minimizando o risco empírico regularizado : ${\ displaystyle (1-yf (x)) _ {+}}$${\ displaystyle (1- | f (x) |) _ {+}}$${\ displaystyle y = \ operatorname {sinal} {f (x)}}$${\ displaystyle f ^ {*} (x) = h ^ {*} (x) + b}$ ${\ displaystyle {\ mathcal {H}}}$

${\ displaystyle f ^ {*} = {\ underset {f} {\ operatorname {argmin}}} \ left (\ displaystyle \ sum _ {i = 1} ^ {l} (1-y_ {i} f (x_ {i})) _ {+} + \ lambda _ {1} \ | h \ | _ {\ mathcal {H}} ^ {2} + \ lambda _ {2} \ sum _ {i = l + 1} ^ {l + u} (1- | f (x_ {i}) |) _ {+} \ right)}$

Uma solução exata é intratável devido ao termo não convexo , então a pesquisa se concentra em aproximações úteis. ${\ displaystyle (1- | f (x) |) _ {+}}$

Outras abordagens que implementam a separação de baixa densidade incluem modelos de processos gaussianos, regularização de informações e minimização de entropia (da qual o TSVM é um caso especial).

Regularização laplaciana

A regularização laplaciana tem sido historicamente abordada através do grafo-laplaciano. Os métodos baseados em grafos para aprendizagem semissupervisionada usam uma representação gráfica dos dados, com um nó para cada exemplo etiquetado e não etiquetado. O gráfico pode ser construído usando conhecimento de domínio ou semelhança de exemplos; dois métodos comuns são conectar cada ponto de dados a seus vizinhos mais próximos ou a exemplos dentro de alguma distância . O peso de uma aresta entre e é então definido como . ${\ displaystyle k}$${\ displaystyle \ epsilon}$${\ displaystyle W_ {ij}}$${\ displaystyle x_ {i}}$${\ displaystyle x_ {j}}$${\ displaystyle e ^ {\ frac {- \ | x_ {i} -x_ {j} \ | ^ {2}} {\ epsilon}}}$

No âmbito da regularização múltipla , o gráfico serve como proxy para a variedade. Um termo é adicionado ao problema de regularização de Tikhonov padrão para garantir a suavidade da solução em relação à variedade (no espaço intrínseco do problema), bem como em relação ao espaço de entrada do ambiente. O problema de minimização torna-se

${\ displaystyle {\ underset {f \ in {\ mathcal {H}}} {\ operatorname {argmin}}} \ left ({\ frac {1} {l}} \ displaystyle \ sum _ {i = 1} ^ {l} V (f (x_ {i}), y_ {i}) + \ lambda _ {A} \ | f \ | _ {\ mathcal {H}} ^ {2} + \ lambda _ {I} \ int _ {\ mathcal {M}} \ | \ nabla _ {\ mathcal {M}} f (x) \ | ^ {2} dp (x) \ right)}$

onde está um espaço de Hilbert do kernel de reprodução e é o coletor no qual os dados estão. Os parâmetros de regularização e suavidade de controle nos espaços ambiente e intrínseco respectivamente. O gráfico é usado para aproximar o termo de regularização intrínseca. Definindo o gráfico Laplaciano onde e o vetor , temos ${\ displaystyle {\ mathcal {H}}}$${\ displaystyle {\ mathcal {M}}}$${\ displaystyle \ lambda _ {A}}$${\ displaystyle \ lambda _ {I}}$ ${\ displaystyle L = DW}$${\ displaystyle D_ {ii} = \ sum _ {j = 1} ^ {l + u} W_ {ij}}$${\ displaystyle \ mathbf {f}}$${\ displaystyle [f (x_ {1}) \ dots f (x_ {l + u})]}$

${\ displaystyle \ mathbf {f} ^ {T} L \ mathbf {f} = \ displaystyle \ sum _ {i, j = 1} ^ {l + u} W_ {ij} (f_ {i} -f_ {j }) ^ {2} \ approx \ int _ {\ mathcal {M}} \ | \ nabla _ {\ mathcal {M}} f (x) \ | ^ {2} dp (x)}$.

A abordagem baseada em gráficos para a regularização Laplaciana é relacionar com o método das diferenças finitas .

O Laplaciano também pode ser usado para estender os algoritmos de aprendizado supervisionado: mínimos quadrados regularizados e máquinas de vetores de suporte (SVM) para versões semissupervisionadas mínimos quadrados regularizados Laplacianos e SVM Laplaciano.

Abordagens heurísticas

Alguns métodos de aprendizagem semissupervisionada não são intrinsecamente voltados para aprender a partir de dados não rotulados e rotulados, mas, em vez disso, fazem uso de dados não rotulados em uma estrutura de aprendizagem supervisionada. Por exemplo, os exemplos rotulados e não rotulados podem informar uma escolha de representação, métrica de distância ou kernel para os dados em uma primeira etapa não supervisionada. Então, a aprendizagem supervisionada procede apenas dos exemplos rotulados. Nesse sentido, alguns métodos aprendem uma representação de baixa dimensão usando os dados supervisionados e, em seguida, aplicam a separação de baixa densidade ou métodos baseados em gráfico para a representação aprendida. Refinar iterativamente a representação e, em seguida, realizar a aprendizagem semissupervisionada na referida representação pode melhorar ainda mais o desempenho. ${\ displaystyle x_ {1}, \ dots, x_ {l + u}}$

O autotreinamento é um método invólucro para a aprendizagem semissupervisionada. Primeiro, um algoritmo de aprendizado supervisionado é treinado com base apenas nos dados rotulados. Esse classificador é então aplicado aos dados não rotulados para gerar mais exemplos rotulados como entrada para o algoritmo de aprendizado supervisionado. Geralmente, apenas os rótulos nos quais o classificador tem mais confiança são adicionados a cada etapa.

O co-treinamento é uma extensão do autotreinamento em que vários classificadores são treinados em conjuntos de recursos diferentes (de preferência separados) e geram exemplos rotulados uns para os outros.

Na cognição humana

As respostas humanas a problemas formais de aprendizagem semissupervisionada produziram várias conclusões sobre o grau de influência dos dados não rotulados. Problemas de aprendizagem mais naturais também podem ser vistos como exemplos de aprendizagem semissupervisionada. Muito da aprendizagem de conceitos humanos envolve uma pequena quantidade de instrução direta (por exemplo, rotulagem dos pais de objetos durante a infância) combinada com grandes quantidades de experiência não rotulada (por exemplo, observação de objetos sem nomeá-los ou contá-los, ou pelo menos sem feedback).

Bebês humanos são sensíveis à estrutura de categorias naturais não rotuladas, como imagens de cães e gatos ou rostos masculinos e femininos. Bebês e crianças levam em consideração não apenas os exemplos não rotulados, mas o processo de amostragem do qual surgem os exemplos rotulados.

Veja também

• Aprendizagem PU
• Supervisão fraca

Referências

Fontes

• Chapelle, Olivier; Schölkopf, Bernhard; Zien, Alexander (2006). Aprendizagem semissupervisionada . Cambridge, Mass .: MIT Press. ISBN 978-0-262-03358-9.

links externos

• Regularização de manifolds Uma implementação MATLAB disponível gratuitamente dos algoritmos semissupervisionados baseados em grafos máquinas de vetores de suporte Laplaciano e mínimos quadrados regularizados Laplacianos.
• KEEL: Uma ferramenta de software para avaliar algoritmos evolutivos para problemas de Data Mining (regressão, classificação, agrupamento, mineração de padrões e assim por diante). Módulo KEEL para aprendizagem semissupervisionada.
• Software de aprendizagem semissupervisionado Software de aprendizagem semissupervisionado
• 1,14. Semi-supervisionado - documentação do scikit-learn 0.22.1 Algoritmos semissupervisionados no scikit-learn.