A Modular Framework for Generic Imitation Learning using Graph-based Spatio-Temporal Representation of Demonstrations : application to Robotic Learning

Une approche modulaire pour l’apprentissage par imitation générique à l’aide d’une représentation spatio-temporelle des démonstrations basée sur les graphes : application à l’apprentissage robotique

Yassine El Manyari (1)

1 LS2N - Laboratoire des Sciences du Numérique de Nantes

Reinforcement Learning and Imitation Learning allow robots to learn how to perform tasks independently, without the need for explicit instructions. This thesis examines both methods and integrates them into a modular and generic framework for solving the imitation learning from observation problem. The approach is implemented in two stages, beginning with learning a representation model that captures the spatial and temporal features of observed demonstrations, followed by applying an off-the-shelf RL algorithm with a taskagnostic reward function to learn the imitation policy. Experimental results indicate that the proposed method outperforms state-of-the-art methods and exhibits promising generalisation capabilities across a range of manipulation tasks, surpassing generative methods in most instances.

L’apprentissage par renforcement et l’apprentissage par imitation permettent aux robots d’apprendre à effectuer des tâches de manière autonome, sans avoir besoin d’instructions explicites. Cette thèse examine les deux méthodes et les intègre dans un cadre modulaire et générique pour résoudre le problème d’apprentissage par imitation à partir d’observations. L’approche est mise en œuvre en deux étapes, en commençant par apprendre un modèle de représentation qui capture les caractéristiques spatiales et temporelles des démonstrations observées, suivi de l’application d’un algorithme RL prêt à l’emploi avec une fonction de récompense générique pour apprendre la politique d’imitation. Les résultats expérimentaux indiquent que la méthode proposée surpasse les méthodes de pointe et présente des capacités de généralisation prometteuses pour une gamme de tâches de manipulation, dépassant les méthodes génératives dans la plupart des cas.

Keywords: Imitation Learning; Imitation from Observation; Reinforcement Learning; Graph Neural Networks; Sequential modelling

Keywords: Apprentissage par Imitation; Imitation par Observation; Apprentissage par Renforcement; Réseaux Neuronaux Graphiques; Modélisation Séquentielle

Domains: Technology for Human Learning

Yassine El Manyari. A Modular Framework for Generic Imitation Learning using Graph-based Spatio-Temporal Representation of Demonstrations : application to Robotic Learning. Technology for Human Learning. Nantes Université, 2023. English. ⟨NNT : 2023NANU4013⟩. ⟨tel-04288326⟩