Contrôle d'un Système Multi-Agents Réactif par Modélisation et Apprentissage de sa Dynamique Globale
Résumé
In a reactive multi-agent system (MAS), the link between the collective behaviour and the behaviours of the individuals who make up this system is difficult to set up. So to reach a particular behaviour is also difficult. We support the concept of driving the behaviour of a MAS by a control approach. In order to obtain this control, we act on the MAS by using information about its global behavior. To achieve this, we first propose to model the global dynamics of the MAS as a graph of states. Reinforcement learning tools help to build the graph and to compute a policy. This policy indicates which action to choose based on the current state and a target behaviour. Then this policy is used to control the MAS. The originality of our proposal lies in the global level description of the MAS's dynamics. Thus the different behaviours of the MAS are expressed, in our proposal, at the same description level as the one of the target behaviour. The proposal is applied to control a MAS based on the movement of pedestrians in a corridor. It is compared to other approaches whose goal is to drive the behaviour of a MAS. We verify that the concept of global level control works. We show that our proposal provides good control performance and achieves a target behaviour more frequently than other tested approaches. Thus we lay the foundations of a new framework for the global level control of multi-agent systems.
Dans un système multi-agent (SMA) réactif, le lien entre le comportement collectif et celui des individus qui composent ce système est difficile à établir. Obtenir un comportement particulier est donc également difficile. Nous défendons le principe de maîtriser le comportement d'un SMA par une approche de contrôle. Pour cela, nous agissons sur le SMA à partir d'informations relatives à ses comportements globaux. Pour y parvenir, nous proposons tout d'abord de modéliser la dynamique globale du SMA sous forme d'un graphe d'états. Des outils d'apprentissage par renforcement permettent de construire ce graphe et de calculer une politique qui indique quelle action effectuer en fonction de l'état courant et d'un comportement cible à atteindre. Ensuite, cette politique est exploitée pour contrôler le SMA. L'originalité de notre proposition est de s'appuyer sur la dynamique du SMA décrite à son niveau global. Ainsi, les différents comportements du SMA sont exprimés dans notre proposition au même niveau de description que celui du comportement à atteindre. La proposition est appliquée au contrôle d'un SMA inspiré du déplacement de piétons dans un couloir. Nous la comparons à d'autres approches destinées à maîtriser le comportement d'un SMA. Nous vérifions que le principe du contrôle au niveau global fonctionne. Nous montrons que notre proposition fournit de bonnes performances de contrôle et permet d'atteindre un comportement cible plus fréquemment que les autres approches testées. Nous posons ainsi les premières pierres d'un cadre paradigmatique pour le contrôle au niveau global des systèmes multi-agents.
Loading...