Recurrent Neural Networks models : inference, representations, and the role of regularization
Modèles de Réseaux de Neurones Récurrents : inférence, représentations et rôle de la régularisation
Résumé
In the last decade, Deep Neural Networks--based methods for Machine Learning have enjoyed unprecedented growth, yielding new state-of-the-art results in many domains of Artificial Intelligence (vision, time-series analysis, continuous control, etc...). Despite their undeniable empirical success, a lot of work remains to be done to understand how these systems behave, from their training to the internal representations that emerge while they perform a given task. During this thesis, we studied these questions through the lens of recurrent neural networks of n ≫ 1 neurons, trained to perform integration of D ≃ 1 scalar signals in parallel. We observe that, for linear as well as non-linear networks, the internal state of the recurrent population evolves within a manifold of dimension D, small compared to the dimension n of the space of possible internal states, and we make a connection between the shape of this manifold and the activation function of the neurons. These observations allow us to propose a cost function which, by imposing a continuous set of conditions on the internal state dynamics, allows training of networks on arbitrary integration tasks, without requiring any data. We also study the problem of multimodal integration of agent movement within its environment, through visual and proprioceptive signals. In particular, we study how a recurrent neural network manages to combine those two imperfect sources of information (images being often unavailable, and speed signal being noisy) into a joint representation which can then be transferred towards other tasks which require an understanding of the environment's spatial structure (for example, navigation towards a given objective). All along this manuscript, we establish analogies between our results and concepts developed in theoretical neuroscience to explain similar behaviors observed in living organisms.
Au cours de la dernière décennie, les méthodes d'apprentissage par réseaux de neurones profonds ont connu un essor sans précédent, fournissant de nouveaux états de l'art dans de nombreux domaines de l'Intelligence Artificielle (vision, analyse de séries temporelles, contrôle continu, etc.). Malgré leur succès empirique évident, beaucoup reste à faire pour comprendre comment ces systèmes se comportent, de leur entraînement aux représentations qui émergent lorsqu'ils performent la tâche qui leur est confiée. Au cours de cette thèse, nous avons abordé ces questions en étudiant des réseaux récurrents de n ≫ 1 neurones, entraînés sur le problème de l'intégration en parallèle de D ≃ 1 signaux scalaires. Nous observons que, dans le cas de réseaux linéaires comme non-linéarires, l'état interne de la population récurrente évolue dans une variété de dimension D, faible devant la dimension de l'espace des états internes possibles n, et établissons un lien entre la forme de cette variété et la fonction d'activation des neurones. Ces observations nous permettent de proposer une fonction de coût qui, en imposant un ensemble continu de conditions sur la dynamique de l'état interne, permet d'entraîner des réseaux sur une tâche d'intégration arbitraire sans utiliser de données. Nous étudions également le problème d'intégration multimodale du déplacement d'un agent dans un environnement à partir d'images et de signaux proprioceptifs. En particulier, nous cherchons à étudier comment un réseau récurrent parvient à combiner ces deux sources d'information imparfaites (les images étant souvent indisponibles, le signal de vitesse étant bruité) en une représentation commune, qui peut ensuite être transférée vers d'autres tâches impliquant une compréhension de la structure spatiale de l'environnement (par exemple, de la navigation vers un objectif). Tout au long de ce manuscrit, nous établissons des analogies entre nos résultats et les concepts développés en neurosciences théoriques pour expliquer des comportements similaires observés sur des organismes vivants.
Origine : Version validée par le jury (STAR)