Aprendizagem da diferença temporal - Temporal difference learning

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Clustering Regressão Detecção de anomalia AutoML Regras de associação Aprendizagem por reforço Previsão estruturada Engenharia de recursos Aprendizagem de recursos Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendendo a classificar Indução gramatical
Aprendizagem supervisionada ( classificação  • regressão ) Árvores de decisão Conjuntos Ensacamento Boosting Floresta aleatória k -NN Regressão linear Baías ingénuas Redes neurais artificiais Regressão logística Perceptron Máquina de vetor de relevância (RVM) Máquina de vetores de suporte (SVM)
Clustering BÉTULA CURA Hierárquico k- significa Expectativa-maximização (EM) DBSCAN ÓPTICA Mudança média
Redução de dimensionalidade Análise Fatorial CCA ICA LDA NMF PCA PGD t-SNE
Previsão estruturada Modelos gráficos Rede Bayes Campo aleatório condicional Markov Oculto
Detecção de anomalia k -NN Fator de outlier local
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformador Spiking rede neural Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Q-learning SARSA Diferença temporal (TD)
Teoria Compensação de polarização-variância Teoria de aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv: cs.LG
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa de aprendizado de máquina Esboço do aprendizado de máquina
v t e

Aprendizagem de diferença temporal ( TD ) refere-se a uma classe de métodos de aprendizagem de reforço sem modelo que aprendem por bootstrap da estimativa atual da função de valor. Esses métodos são amostras do ambiente, como métodos de Monte Carlo , e executam atualizações com base nas estimativas atuais, como métodos de programação dinâmica .

Enquanto os métodos de Monte Carlo apenas ajustam suas estimativas quando o resultado final é conhecido, os métodos TD ajustam as previsões para corresponder às previsões posteriores e mais precisas sobre o futuro antes que o resultado final seja conhecido. Esta é uma forma de autoinicialização , conforme ilustrado no exemplo a seguir:

"Suponha que você deseja prever o tempo para sábado e tem algum modelo que prevê o tempo de sábado, considerando o clima de cada dia da semana. No caso padrão, você esperaria até sábado e ajustaria todos os seus modelos. No entanto, quando é, por exemplo, sexta-feira, você deve ter uma boa ideia de como o tempo estaria no sábado - e assim ser capaz de alterar, digamos, o modelo do sábado antes da chegada do sábado. "

Os métodos de diferença temporal estão relacionados ao modelo de diferença temporal de aprendizagem animal.

Formulação matemática

O método tabular TD (0) é um dos métodos TD mais simples. É um caso especial de métodos de aproximação estocásticos mais gerais. Ele estima a função de valor de estado de um processo de decisão de Markov de estado finito (MDP) sob uma política . Vamos denotar a função de valor de estado do MDP com estados , recompensas e taxa de desconto de acordo com a política : ${\ displaystyle \ pi}$${\ displaystyle V ^ {\ pi}}$${\ displaystyle (s_ {t}) _ {t \ in \ mathbb {N}}}$${\ displaystyle (r_ {t}) _ {t \ in \ mathbb {N}}}$${\ displaystyle \ gamma}$${\ displaystyle \ pi}$

${\ displaystyle V ^ {\ pi} (s) = E_ {a \ sim \ pi} \ left \ {\ sum _ {t = 0} ^ {\ infty} \ gamma ^ {t} r_ {t} (a_ {t}) {\ Bigg |} s_ {0} = s \ right \}.}$

Tiramos a ação da notação por conveniência. satisfaz a Equação de Hamilton-Jacobi-Bellman : ${\ displaystyle V ^ {\ pi}}$

${\ displaystyle V ^ {\ pi} (s) = E _ {\ pi} \ {r_ {0} + \ gamma V ^ {\ pi} (s_ {1}) | s_ {0} = s \},}$

o mesmo acontece com uma estimativa imparcial para . Essa observação motiva o seguinte algoritmo de estimativa . ${\ displaystyle r_ {0} + \ gamma V ^ {\ pi} (s_ {1})}$${\ displaystyle V ^ {\ pi} (s)}$${\ displaystyle V ^ {\ pi}}$

O algoritmo começa inicializando uma tabela arbitrariamente, com um valor para cada estado do MDP. Uma taxa de aprendizagem positiva é escolhida. ${\ displaystyle V (s)}$ ${\ displaystyle \ alpha}$

Em seguida, avaliamos repetidamente a política , obtemos uma recompensa e atualizamos a função de valor para o estado antigo usando a regra: ${\ displaystyle \ pi}$${\ displaystyle r}$

${\ displaystyle V (s) \ leftarrow V (s) + \ alpha (\ overbrace {r + \ gamma V (s ')} ^ {\ text {O alvo TD}} - V (s))}$

onde e estão os estados antigo e novo, respectivamente. O valor é conhecido como alvo TD. ${\ displaystyle s}$${\ displaystyle s '}$${\ displaystyle r + \ gamma V (s ')}$

TD-Lambda

TD-Lambda é um algoritmo de aprendizagem inventado por Richard S. Sutton com base em trabalhos anteriores sobre aprendizagem por diferença temporal de Arthur Samuel . Esse algoritmo foi aplicado por Gerald Tesauro para criar o TD-Gammon , um programa que aprendeu a jogar gamão no nível de jogadores humanos experientes.

O parâmetro lambda ( ) se refere ao parâmetro de decaimento do traço, com . Configurações mais altas levam a traços mais duradouros; ou seja, uma proporção maior de crédito de uma recompensa pode ser dada a estados e ações mais distantes quando é maior, com a produção de aprendizado paralelo para algoritmos RL de Monte Carlo. ${\ displaystyle \ lambda}$${\ displaystyle 0 \ leqslant \ lambda \ leqslant 1}$${\ displaystyle \ lambda}$${\ displaystyle \ lambda = 1}$

Algoritmo TD em neurociência

O algoritmo TD também tem recebido atenção no campo da neurociência . Os pesquisadores descobriram que a taxa de disparo dos neurônios de dopamina na área tegmental ventral (VTA) e na substância negra (SNc) parecem imitar a função de erro no algoritmo. A função de erro relata a diferença entre a recompensa estimada em qualquer estado ou etapa de tempo e a recompensa real recebida. Quanto maior for a função de erro, maior será a diferença entre a recompensa esperada e a real. Quando isso é emparelhado com um estímulo que reflete com precisão uma recompensa futura, o erro pode ser usado para associar o estímulo à recompensa futura .

As células dopaminérgicas parecem se comportar de maneira semelhante. Em um experimento, medições de células de dopamina foram feitas durante o treinamento de um macaco para associar um estímulo à recompensa do suco. Inicialmente, as células de dopamina aumentaram as taxas de disparo quando o macaco recebeu suco, indicando uma diferença nas recompensas esperadas e reais. Com o tempo, esse aumento no disparo se propagou até o primeiro estímulo confiável para a recompensa. Uma vez que o macaco estava totalmente treinado, não houve aumento na taxa de tiro após a apresentação da recompensa prevista. Posteriormente, a taxa de disparo para as células de dopamina diminuiu abaixo da ativação normal quando a recompensa esperada não foi produzida. Isso imita de perto como a função de erro no DT é usada para aprendizagem por reforço .

A relação entre o modelo e a função neurológica potencial produziu pesquisas que tentam usar o DT para explicar muitos aspectos da pesquisa comportamental. Também tem sido usado para estudar condições como a esquizofrenia ou as consequências das manipulações farmacológicas da dopamina na aprendizagem.

Veja também

• Q-learning
• SARSA
• Modelo Rescorla-Wagner
• PVLV

Notas

Bibliografia

• Sutton, RS, Barto AG (1990). "Modelos Derivativos de Tempo de Reforço Pavloviano" (PDF) . Learning and Computational Neuroscience: Foundations of Adaptive Networks : 497–537.CS1 maint: vários nomes: lista de autores ( link )
• Gerald Tesauro (março de 1995). "Aprendizagem por diferença temporal e TD-Gammon" . Comunicações da ACM . 38 (3): 58–68. doi : 10.1145 / 203330.203343 .
• Imran Ghory. Aprendizagem por Reforço em Jogos de Tabuleiro .
• SP Meyn, 2007. Control Techniques for Complex Networks , Cambridge University Press, 2007. Veja o capítulo final e o apêndice com o resumo de Meyn & Tweedie .

links externos

• Scholarpedia Diferença Temporal Aprendizagem
• TD-Gammon
• Grupo de Pesquisa TD-Networks
• Applet Connect Four TDGravity (+ versão para celular) - autoaprendizado usando o método TD-Leaf (combinação de TD-Lambda com pesquisa em árvore rasa)
• Autoaprendizado Meta-Tic-Tac-Toe Exemplo de aplicativo da web mostrando como o aprendizado de diferença temporal pode ser usado para aprender constantes de avaliação de estado para um minimax AI jogando um jogo de tabuleiro simples.
• Problema de Aprendizagem por Reforço , documento que explica como a aprendizagem de diferença temporal pode ser usada para acelerar o Q-learning
• TD-Simulator Simulador de diferença temporal para condicionamento clássico