Proposition d'un formalisme pour la construction automatique d'interactions dans les systèmes multi-agents réactifs
Résumé
This thesis deals with the design of multi-agent systems. It focuses on formalism based approach and aims in the long run to build, automatically and in a decentralized way, the behaviours of cooperative agents which must solve a collective problem. The goal of this work was to propose new techniques to build the behaviour of social agents, able to consider the presence of other agents in the system.
Existing formalism like DEC-POMDPs manage to formalize multi-agents problem but they don't represent at the agent level the concept of interaction which is fundamental in collective systems. It induces a important complexity in the algorithms used to build the behaviours of the agents. In order to give the agent the ability to consider the presence of other agents in the system and to structure implicitely multi-agents systems, this thesis proposes an original formalism the Interac-DEC-POMDP inspired by the DEC-POMDP formalism and Hamelin, a simulation developped during this thesis and inspired by collective biological phenomenon. The specificity of this new formalism lies in the ability given to the agents to interact directly and locally among them. It allows them to make decision at a level between global level and individual level.
Furthermore, we have proposed a decentralized algorithm based on reinforcement learning techniques and on distribution of individual rewards among agents during interactions. We have conducted experiments and validated our proposal : this algorithm manage to produce adaptive collective behaviour without the need for the agents to have a global vision of the system.
Existing formalism like DEC-POMDPs manage to formalize multi-agents problem but they don't represent at the agent level the concept of interaction which is fundamental in collective systems. It induces a important complexity in the algorithms used to build the behaviours of the agents. In order to give the agent the ability to consider the presence of other agents in the system and to structure implicitely multi-agents systems, this thesis proposes an original formalism the Interac-DEC-POMDP inspired by the DEC-POMDP formalism and Hamelin, a simulation developped during this thesis and inspired by collective biological phenomenon. The specificity of this new formalism lies in the ability given to the agents to interact directly and locally among them. It allows them to make decision at a level between global level and individual level.
Furthermore, we have proposed a decentralized algorithm based on reinforcement learning techniques and on distribution of individual rewards among agents during interactions. We have conducted experiments and validated our proposal : this algorithm manage to produce adaptive collective behaviour without the need for the agents to have a global vision of the system.
Cette thèse traite de la conception de système multi-agents. Elle se focalise sur des approches formelles et s'est donné pour objectif à long terme de construire de manière automatique et décentralisée les comportements d'agents coopératifs devant résoudre collectivement un problème. Ce travail a cherché à proposer des méthodes pour construire les comportements d'agents sociaux, capables de prendre en compte à l'exécution la présence d'autres agents dans le système.
Les formalismes existants comme les DEC-POMDPs parviennent à représenter des problèmes multi-agents mais ne représentent pas au niveau individuel la notion d'interaction fondamentale dans les systèmes collectifs. Ceci induit une complexité algorithmique importante dans les algorithmes de résolution. Afin de donner aux agents la possibilité d'appréhender la présence d'autres agents et de structurer de manière implicite les systèmes multi-agents, cette thèse propose un formalisme original, l'interac-DEC-POMDP inspiré des DEC-POMDPs et d'Hamelin, une simulation développée au cours de cette thèse et issue d'expériences conduites en éthologie. La spécificité de ce formalisme réside dans la capacité offerte aux agents d'interagir directement et localement entre eux. Cette possibilité permet des prises de décision à un niveau intermédiaire entre des décisions globales impliquant l'ensemble des agents et des décisions purement individuelles.
Nous avons proposé en outre un algorithme décentralisé basé sur des techniques d'apprentissage par renforcement et une répartition heuristique des gains des agents au cours des interactions. Une démarche expérimentale nous a permis de valider sa capacité à produire pour des restriction du formalisme des comportements collectifs pertinents adaptatifs sans qu'aucun agent ne dispose d'une vue globale du système.
Les formalismes existants comme les DEC-POMDPs parviennent à représenter des problèmes multi-agents mais ne représentent pas au niveau individuel la notion d'interaction fondamentale dans les systèmes collectifs. Ceci induit une complexité algorithmique importante dans les algorithmes de résolution. Afin de donner aux agents la possibilité d'appréhender la présence d'autres agents et de structurer de manière implicite les systèmes multi-agents, cette thèse propose un formalisme original, l'interac-DEC-POMDP inspiré des DEC-POMDPs et d'Hamelin, une simulation développée au cours de cette thèse et issue d'expériences conduites en éthologie. La spécificité de ce formalisme réside dans la capacité offerte aux agents d'interagir directement et localement entre eux. Cette possibilité permet des prises de décision à un niveau intermédiaire entre des décisions globales impliquant l'ensemble des agents et des décisions purement individuelles.
Nous avons proposé en outre un algorithme décentralisé basé sur des techniques d'apprentissage par renforcement et une répartition heuristique des gains des agents au cours des interactions. Une démarche expérimentale nous a permis de valider sa capacité à produire pour des restriction du formalisme des comportements collectifs pertinents adaptatifs sans qu'aucun agent ne dispose d'une vue globale du système.
Loading...