Algoritmo Wake-sleep - Wake-sleep algorithm

Camadas da rede neural. R, G são pesos usados ​​pelo algoritmo de vigília-sono para modificar os dados dentro das camadas.

O algoritmo de vigília-sono é um algoritmo de aprendizagem não supervisionado para uma rede neural estocástica de múltiplas camadas . O algoritmo ajusta os parâmetros para produzir um bom estimador de densidade. São duas fases de aprendizagem, a fase de “vigília” e a fase de “sono”, que se realizam alternadamente. Ele foi inicialmente projetado como um modelo para o funcionamento do cérebro usando aprendizagem bayesiana variacional . Depois disso, o algoritmo foi adaptado para aprendizado de máquina . Pode ser visto como uma forma de treinar uma Máquina Helmholtz . Também pode ser usado em Deep Belief Networks (DBN) .

Descrição

O algoritmo de vigília-sono é visualizado como uma pilha de camadas contendo representações de dados. As camadas acima representam os dados da camada abaixo dela. Os dados reais são colocados abaixo da camada inferior, fazendo com que as camadas superiores se tornem gradualmente mais abstratas. Entre cada par de camadas há um peso de reconhecimento e um peso gerador, que são treinados para melhorar a confiabilidade durante o tempo de execução do algoritmo.

O algoritmo vigília-sono é convergente e pode ser estocástico se alternado apropriadamente.

Treinamento

O treinamento consiste em duas fases - a fase de “vigília” e a fase de “sono”.

A fase de "despertar"

Os neurônios são acionados por conexões de reconhecimento (do que seria uma entrada para o que seria uma saída). Conexões gerativas (levando de saídas a entradas) são então modificadas para aumentar a probabilidade de que recriariam a atividade correta na camada abaixo - mais perto dos dados reais da entrada sensorial.

A fase de "sono"

O processo é revertido na fase de “sono” - os neurônios são acionados por conexões generativas enquanto as conexões de reconhecimento estão sendo modificadas para aumentar a probabilidade de recriarem a atividade correta na camada acima - além dos dados reais da entrada sensorial.

Riscos potenciais

A aprendizagem variacional bayesiana é baseada em probabilidades . Existe a chance de que uma aproximação seja realizada com erros, prejudicando outras representações de dados. Outra desvantagem diz respeito a amostras de dados complicadas ou corrompidas, tornando difícil inferir um padrão representacional.

Foi sugerido que o algoritmo vigília-sono não é poderoso o suficiente para as camadas da rede de inferência a fim de recuperar um bom estimador da distribuição posterior das variáveis ​​latentes.

Veja também

Referências

  1. ^ Hinton, Geoffrey E .; Dayan, Peter ; Frey, Brendan J .; Neal, Radford (26/05/1995). "O algoritmo de vigília-sono para redes neurais não supervisionadas" . Ciência . 268 (5214): 1158–1161. Bibcode : 1995Sci ... 268.1158H . doi : 10.1126 / science.7761831 . PMID   7761831 . S2CID   871473 .
  2. ^ Frey, Brendan J .; Hinton, Geoffrey E .; Dayan, Peter (01-05-1996). "O algoritmo de vigília-sono produz bons estimadores de densidade?" (PDF) . Avanços em Sistemas de Processamento de Informação Neural.
  3. ^ Katayama, Katsuki; Ando, ​​Masataka; Horiguchi, Tsuyoshi (01-04-2004). "Modelos de áreas MT e MST usando algoritmo de vigília-sono". Redes Neurais . 17 (3): 339–351. doi : 10.1016 / j.neunet.2003.07.004 . PMID   15037352 .
  4. ^ Hinton, Geoffrey E .; Dayan, Peter ; Frey, Brendan J .; Neal, Radford (1995-05-26). "O algoritmo de vigília-sono para redes neurais não supervisionadas" . Ciência . 268 (5214): 1158–1161. Bibcode : 1995Sci ... 268.1158H . doi : 10.1126 / science.7761831 . PMID   7761831 . S2CID   871473 .
  5. ^ Dayan, Peter ; Hinton, Geoffrey E. (1996-11-01). "Variedades de Máquina Helmholtz". Redes Neurais . Quatro hipóteses principais em neurociência. 9 (8): 1385-1403. CiteSeerX   10.1.1.29.1677 . doi : 10.1016 / S0893-6080 (96) 00009-3 . PMID   12662541 .
  6. ^ Maei, Hamid Reza (25-01-2007). "Algoritmo de vigília-sono para aprendizagem representacional" . University of Montreal . Página visitada em 01-11-2011 .
  7. ^ Neal, Radford M .; Dayan, Peter (1996-11-24). "Análise de fator usando regras de aprendizagem Wake-Sleep Learning" (PDF) . Universidade de Toronto . Página visitada em 01-11-2015 .
  8. ^ Ikeda, Shiro; Amari, Shun-ichi; Nakahara, Hiroyuki. "Convergência do algoritmo Wake-Sleep" (PDF) . O Instituto de Matemática Estatística . Página visitada em 01-11-2015 .
  9. ^ Dalzell, RWH; Murray, AF (01/01/1999). "Uma estrutura para uma máquina de Helmholtz com valor discreto" . 9ª Conferência Internacional sobre Redes Neurais Artificiais: ICANN '99 . 1 . pp. 49–54 vol.1. doi : 10.1049 / cp: 19991083 . ISBN   0-85296-721-7 .
  10. ^ Hinton, Geoffrey; Dayan, Peter ; Frey, Brendan J; Neal, Radford M (03/04/1995). "O algoritmo de vigília-sono para redes neurais não supervisionadas" (PDF) . PMID   7761831 . Página visitada em 01-11-2015 . Citar diário requer |journal= ( ajuda )
  11. ^ Dayan, Peter . "Helmholtz Machines and Wake-Sleep Learning" (PDF) . Página visitada em 01-11-2015 .
  12. ^ Bornschein, Jörg; Bengio, Yoshua (10/06/2014). "Wake-Sleep Reweighted". arXiv : 1406.2751 [ cs.LG ].