Probabilistic Behaviour Model and Imitation Learning Algorithm for Believable Characters in Video Games
Modèle probabiliste de comportement et algorithme d'apprentissage par imitation pour les personnages crédibles dans les jeux vidéo
Résumé
This manuscript aims at designing a behaviour model for the control of believable characters in video games. We define a believable character as a computer program able to control a virtual body in a virtual environment so that other human users in the environment think the virtual body is controlled by another human user. To be more precise, we define 10 requirements for a character to be believable, based on previous experiments and work. In order to fulfil these requirements, we studied the behaviour models developed both in the research and the industry. As one of the requirements is that the model is able to evolve, we had to find learning algorithms for the behaviour model. We find out that imitation is the best way to believability. With these studies in mind we find out that the behaviour model developed by Le Hy in his thesis answers to most of the requirements but has still some limitations. In this manuscript we use an approach like Le Hy's. We first try to reduce the number of parameters in the model. Then we replace the two mechanisms to break the complexity of the probability distributions by an attention selection mechanism. We add to the model the ability to learn by imitation the layout of environments. Finally we totally revamp the learning algorithm. The proposition makes the model able to learn how to act in the environment rapidly. Stimulus-action associations are made which the agent look-like a human player. However the learning also learns wrong associations which destroy the illusion of believability. According to our studies, our model performs better than Le Hy's but work has still to be done on the model to achieve the final goal.
Ce manuscrit cherche à concevoir un modèle de comportement pour le contrôle de personnages crédibles dans les jeux vidéo. Nous définissons un personnage crédible comme un programme informatique capable de contrôler une représentation virtuelle de façon à ce que des observateurs dans l'environnement virtuel pensent que la représentation est contrôlée par un humain. Nous établissons 10 critères plus précis pour établir notre thèse. Pour répondre à ces 10 critères nous avons étudié des modèles développés à la fois dans le domaine académique et de l'industrie. L'évolution étant un des critères, nous avons aussi étudié les algorithmes d'apprentissages existants, notamment ceux basés sur l'imitation étant le mieux adaptés à la crédibilité. De ces études nous avons conclu que le modèle de Le Hy était une excellente base pour de futurs développements. Nous utilisons l'approche de Le Hy mais nous avons effectué des choix différents en vue d'une meilleur crédibilité. Nous proposons un raffinement sémantique et un mécanisme d'attention pour réduire le nombre de paramètres dans le modèle et améliorer le comportement. Un algorithme est ajouté pour permettre au personnage de s'orienter dans l'environnement et un l'algorithme d'apprentissage des paramètres du modèles a été repensé. Ces propositions permettent au modèle d'apprendre rapidement des associations stimuli-actions qui ressemblent à des comportement humains. Cependant de mauvaise associations sont aussi faites rendant le comportement non crédible. Selon nos mesures, notre modèle donne de meilleurs résultats en terme de crédibilité que le modèle de Le Hy, mais des améliorations restent encore à faire pour atteindre notre objectif.
Loading...