Intrinsically Motivated Goal Exploration in Child Development and Artificial Intelligence : Learning and Development of Speech and Tool Use
Exploration intrinsèquement motivée orientée vers des buts dans le développement de l’enfant et en intelligence artificielle : apprentissage et développement de la parole et de l’utilisation des outils.
Résumé
Babies and children are curious, active explorers of their world. One of their challenges is to learn of the relations between their actions such as the use of tools or speech, and the changes in their environment. Intrinsic motivations have been little studied in psychology, such that its mechanisms are mostly unknown. On the other hand, most artificial agents and robots have been learning in a way very different from humans. The objective of this thesis is twofold: understanding the role of intrinsic motivations in human development of speech and tool use through robotic modeling, and improving the abilities of artificial agents inspired by the mechanisms of human exploration and learning. A first part of this work concerns the understanding and modeling of intrinsic motivations. We reanalyze a typical tool-use experiment, showing that intrinsically motivated exploration seems to play an important role in the observed behaviors and to interfere with the measured success rates. With a robotic model, we show that an intrinsic motivation based on the learning progress to reach goals with a modular representation can self-organize phases of behaviors in the development of tool-use precursors that share properties with child tool-use development. We present the first robotic model learning both speech and tool use from scratch, which predicts that the grounded exploration of objects in a social interaction scenario should accelerate infant vocal learning of accurate sounds for these objects' names as a result of a goal-directed exploration of the objects. In the second part of this thesis, we extend, formalize and evaluate the algorithms designed to model child development, with the aim to obtain an efficient learning robot. We formalize an approach called Intrinsically Motivated Goal Exploration Processes (IMGEP) that enables the discovery and acquisition of large repertoires of skills. We show within several experimental setups including a real humanoid robot that learning diverse spaces of goals with intrinsic motivations is more efficient for learning complex skills than only trying to directly learn these complex skills.
Les bébés et enfants humains sont curieux, ils explorent activement leur monde. Un de leurs défis est l'apprentissage des relations de causalité entre leurs actions, telles que l'utilisation d'outils ou de leur voix, et les changements dans l'environnement. Les motivations intrinsèques ont été peu étudiées en psychologie du développement, si bien que leurs mécanismes sont méconnus. D'autre part, la plupart des agents artificiels et robots apprennent d'une manière très différente de celle des enfants humains. Cette thèse présente deux objectifs complémentaires : d'une part la compréhension du rôle des motivations intrinsèques dans le développement de la parole et de l'utilisation des outils chez l'enfant à travers la modélisation robotique, et d'autre part l'amélioration des capacités des robots à apprendre à parler et à utiliser des outils grâce à une inspiration par les mécanismes d'exploration et d'apprentissage humains. La première partie de ce travail concerne donc la compréhension et modélisation des motivations intrinsèques chez l'humain. Nous réanalysons une expérience d'évaluation des capacités d'utilisation des outils par les enfants, et montrons que les motivations intrinsèques semblent jouer un rôle important dans les comportements observés et même interférer avec les mesures de succès dans la tâche. Avec un modèle robotique, nous montrons qu'une motivation intrinsèque basée sur le progrès à atteindre ses propres buts, couplée à une représentation modulaire de ces buts peut auto-organiser des phases de comportements dans le développement des précurseurs de l'utilisation d'outils qui ont des propriétés en commun avec le développement des outils chez les enfants. Nous présentons le premier modèle robotique de l'apprentissage de la parole et de l'utilisation des outils à partir de zéro, qui permet de prédire que l'exploration des objets physiques dans un scénario d'interaction sociale accélère l'apprentissage de la vocalisation de sons particuliers pour le nom de ces objets en conséquence d'une exploration des objets dirigée par les buts. Dans la seconde partie de cette thèse, nous développement, formalisons et évaluons les algorithmes définis pour la modélisation du développement de l'enfant, avec pour but d'obtenir un apprentissage robotique efficace. Nous formalisons ensuite une approche algorithmique appelée Intrinsically Motivated Goal Exploration Processes (IMGEP), qui permet la découverte et l'acquisition d'un vaste répertoire de compétences. Nous démontrons dans différents environnements robotiques dont un avec un robot humanoïde que l'apprentissage de divers espaces de buts avec des motivations intrinsèques est plus efficace pour l'apprentissage de compétences complexes que de seulement s'intéresser directement à l'apprentissage de ces compétences.
Origine : Version validée par le jury (STAR)