A Twofold Modular Approach of Reinforcement Learning for Adaptive Intelligent Agents

Une double approche modulaire de l'apprentissage par renforcement pour des agents intelligents adaptatifs

Olivier Buffet (1)

1 MAIA - Autonomous intelligent machine

This PhD thesis has been interested in two fields of artificial intelligence : reinforcement learning (RL) on the one hand, and multi-agent systems (MAS) on the other hand. The former allows for the conception of agents (intelligent entities) based on a reinforcement signal which rewards decisions leading to the specified goal, whereas the latter is concerned with the intelligence that can result from the interaction of a group of entities (in the perspective that the whole is more than the sum of its parts). Both these tools suffer from various difficulties. The work we accomplished has shown how these tools can serve each other to answer some of these problems. Thus, agents of a MAS have been conceived through RL, and the architecture of a reinforcement learning agent has been designed as a MAS. Both tools appear to be very complementary, and our global approach of a “progressive” design has proved its efficiency.

Cette thèse s'est intéressée à deux domaines de l'intelligence artificielle : d'une part l'apprentissage par renforcement (A/R), et d'autre part les systèmes multi-agents (SMA). Le premier permet de concevoir des agents (entités intelligentes) en se basant sur un signal de renforcement qui récompense les décisions menant au but fixé, alors que le second concerne l'intelligence qui peut venir de l'interaction d'un groupe d'entités (dans la perspective que le tout soit plus que la somme de ses parties). Chacun de ces deux outils souffre de diverses difficultés d'emploi. Le travail que nous avons mené a permis de montrer comment chacun des deux outils peut servir à l'autre pour répondre à certains de ces problèmes. On a ainsi conçu les agents d'un SMA par A/R, et organisé l'architecture d'un agent apprenant par renforcement sous la forme d'un SMA. Ces deux outils se sont avérés très complémentaires, et notre approche globale d'une conception “progressive” a prouvé son efficacité.

Mots clés: reinforcement learning; multi-agent systems; Markov decision processes; action selection; shaping

Mots clés: apprentissage par renforcement; systèmes multi-agents; processus de décision markoviens; sélection d'action; apprentissage progressif

Domaines: Informatique [cs]

Olivier Buffet. Une double approche modulaire de l'apprentissage par renforcement pour des agents intelligents adaptatifs. Informatique [cs]. Université Henri Poincaré - Nancy I, 2003. Français. ⟨NNT : ⟩. ⟨tel-00509349⟩