Adaptative transfer in reinforcement learning : application for simulation of game situations

Le transfert adaptatif en apprentissage par renforcement : application à la simulation de schéma de jeux tactiques

Aydano Pamponet Machado (1)

1 SMA - Systèmes Multi-Agents

A possible way to accelerate reinforcement learning process is to guide the exploration process using prior domain knowledge. This called knowledge transfer, and most transfer algorithms are based on an implicit assumption. They suppose that prior knowledge has a good quality for the current task. If this condition is not true, the learning process will be worse than standard reinforcement learning algorithm (negative transfer). This thesis put forwards some transfer algorithms to avoid this problem, whose can adapts learning process to prior knowledge quality. More precisely, we introduce a parameter called transfer rate, which controls how much prior knowledge will be used. In addition, we propose to optimize the transfer rate in order to make the best use of this policy. Thus, the proposed algorithms provide some robustness, working for all prior knowledge quality level, which was not the case with previous approaches. These algorithms are evaluated in two different problems: a toy problem (the gridworld), and a real complex one (a coach assistant tool). The latter application offers a coach to seize tactical patterns with a graphical interface, and then allows agents to view players doing the same patterns. To meet within a reasonable time, the request of the coach. The reinforcement learning alone is not enough, and transfer our algorithms have been applied to this area with success

Une voie permettant l'accélération l'apprentissage par renforcement est l'exploration à l'aide des connaissances du domaine. La plus part des algorithmes existants, intitulées transfert de connaissance, sont basés sur une hypothèse implicite : la bonne qualité de la connaissance disponible sur la tache courante. Lorsque cette hypothèse n'est pas respectée, les performances se dégradent bien en dessous des celles des méthodes standards. Ce travail de thèse propose des algorithmes de transfert capables de s'adapter à la qualité de la connaissance disponible. Pour le faire, nous introduisons un paramètre nommé le taux de transfert, qui contrôle à quel point l'algorithme se fiera à la connaissance disponible. De plus, nous optimisons ce taux afin de faire meilleur usage de cette politique, en ajoutant de la robustesse à nos algorithmes. Ces algorithmes sont évalués sur un problème jouet (le gridworld), et sur une application d'aide à l'entraineur qui simule une situation de jeu donnée.

Mots clés: reinforcement learning; multiagent systems; game situation; knowledge transfer

Mots clés: transfert de connaissance; apprentissage par renforcement; systèmes multiagent; gridworld; simulation; situation de jeu

Domaines: Modélisation et simulation

Aydano Pamponet Machado. Le transfert adaptatif en apprentissage par renforcement : application à la simulation de schéma de jeux tactiques. Modélisation et simulation. Université Pierre et Marie Curie - Paris VI, 2009. Français. ⟨NNT : 2009PA066209⟩. ⟨tel-00814207⟩