Estado-ação-recompensa-estado-ação - State–action–reward–state–action

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Clustering Regressão Detecção de anomalia Limpeza de Dados AutoML Regras de associação Aprendizagem por reforço Previsão estruturada Engenharia de recursos Aprendizagem de recursos Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendendo a classificar Indução gramatical
Aprendizagem supervisionada ( classificação  • regressão ) Árvores de decisão Conjuntos Ensacamento Boosting Floresta aleatória k -NN Regressão linear Baías ingénuas Redes neurais artificiais Regressão logística Perceptron Máquina de vetor de relevância (RVM) Máquina de vetores de suporte (SVM)
Clustering BÉTULA CURA Hierárquico k- significa Expectativa-maximização (EM) DBSCAN ÓPTICA Mudança média
Redução de dimensionalidade Análise Fatorial CCA ICA LDA NMF PCA PGD t-SNE
Previsão estruturada Modelos gráficos Rede Bayes Campo aleatório condicional Markov Oculto
Detecção de anomalia k -NN Fator de outlier local
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformador Spiking rede neural Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Q-learning SARSA Diferença temporal (TD)
Teoria Compensação de polarização-variância Teoria de aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv: cs.LG
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa de aprendizado de máquina Esboço do aprendizado de máquina
v t e

Estado-ação-recompensa-estado-ação ( SARSA ) é um algoritmo para aprender uma política de processo de decisão de Markov , usado na área de aprendizado por reforço do aprendizado de máquina . Foi proposto por Rummery e Niranjan em uma nota técnica com o nome "Modified Connectionist Q-Learning" (MCQ-L). O nome alternativo SARSA, proposto por Rich Sutton , foi mencionado apenas em nota de rodapé.

Este nome simplesmente reflete o fato de que a função principal para atualizar o valor Q depende do estado atual do agente " S ₁ ", a ação que o agente escolhe " A ₁ ", a recompensa " R " que o agente obtém por escolher este ação, o estado " S ₂ " que o agente entra após realizar aquela ação e, finalmente, a próxima ação " A ₂ " que o agente escolhe em seu novo estado. A sigla para o quíntuplo (s _t , a _t , r _t , s _{t + 1} , a _{t + 1} ) é SARSA. Alguns autores usam uma convenção ligeiramente diferente e escrevem o quíntuplo (s _t , a _t , r _{t + 1} , s _{t + 1} , a _{t + 1} ), dependendo a qual intervalo de tempo a recompensa é formalmente atribuída. O restante do artigo usa a convenção anterior.

Algoritmo

${\ displaystyle Q (s_ {t}, a_ {t}) \ leftarrow Q (s_ {t}, a_ {t}) + \ alpha \, [r_ {t} + \ gamma \, Q (s_ {t + 1}, a_ {t + 1}) - Q (s_ {t}, a_ {t})]}$

Um agente SARSA interage com o ambiente e atualiza a política com base nas ações executadas, portanto, isso é conhecido como um algoritmo de aprendizagem na política . O valor Q para uma ação de estado é atualizado por um erro, ajustado pela taxa de aprendizagem alfa. Os valores de Q representam a possível recompensa recebida na próxima etapa de tempo por realizar uma ação a in state s , mais a recompensa futura com desconto recebida na próxima observação de ação de estado.

O Q-learning de Watkin atualiza uma estimativa da função de valor de ação de estado ótima com base na recompensa máxima de ações disponíveis. Enquanto o SARSA aprende os valores Q associados à adoção da política que ele segue, o Q-learning do Watkin aprende os valores Q associados à adoção da política ótima enquanto segue uma política de exploração / exploração . ${\ displaystyle Q ^ {*}}$

Algumas otimizações do Q-learning de Watkin podem ser aplicadas ao SARSA.

Hiperparâmetros

Taxa de aprendizagem (alfa)

A taxa de aprendizado determina em que medida as informações recém-adquiridas substituem as informações antigas. Um fator de 0 fará com que o agente não aprenda nada, enquanto um fator de 1 faria com que o agente considerasse apenas as informações mais recentes.

Fator de desconto (gama)

O fator de desconto determina a importância das recompensas futuras. Um fator de desconto de fator de 0 torna o agente "oportunista" ou "míope", por exemplo, por considerar apenas as recompensas atuais, enquanto um fator próximo a 1 o fará se empenhar por uma alta recompensa de longo prazo. Se o fator de desconto for igual ou superior a 1, os valores podem divergir. ${\ displaystyle Q}$

Condições iniciais ( Q ( s ₀ , a ₀ ) )

Como o SARSA é um algoritmo iterativo, ele assume implicitamente uma condição inicial antes que ocorra a primeira atualização. Um valor inicial baixo (infinito), também conhecido como "condições iniciais otimistas", pode encorajar a exploração: não importa qual ação ocorra, a regra de atualização faz com que ela tenha valores mais altos que a outra alternativa, aumentando assim sua probabilidade de escolha. Em 2013, foi sugerido que a primeira recompensa r pudesse ser usada para redefinir as condições iniciais. De acordo com esta ideia, a primeira vez que uma ação seja tomada a recompensa é usado para definir o valor de Q . Isso permite o aprendizado imediato no caso de recompensas determinísticas fixas. Esta abordagem de redefinição das condições iniciais (RIC) parece ser consistente com o comportamento humano em experimentos de escolha binária repetidos.

Referências