Development of the vibrissal system of the robot rat Psikharpax and contribution to the integration of its visual, auditive and tactile abilities

Mise au point du système vibrissal du robot-rat Psikharpax et contribution à la fusion de ses capacités visuelle, auditive et tactile

Steve N'Guyen (1)

1 ISIR - Institut des Systèmes Intelligents et de Robotique

To perceive the environment through multiple sensory modalities is an ability mandatory for an animal's survival. Understanding how these modalities operate and the way they are integrated in a unique representation is a major issue for neurosciences, as well as for the design of autonomous robots. The rat, for example, heavily relies on its whiskers to recognize textures or shapes and even to evaluate the size of an aperture. This sensory modality, although widely studied in biology, has generated few research efforts in robotics. Audition and vision also provide a lot of information about the environment and these three sensory modalities turn out to be highly complementary. One structure known to integrate them is the superior colliculus, a sub-cortical area common to almost all vertebrates. This structure acting as an attentional system, allows to detect and generate orienting behavior toward relevant stimuli while ignoring others. The aim of this work is to implement these sensory modalities (tactile, auditive and visual) on the robot-rat Psikharpax and to take the relevant biological knowledge into account in order to integrate them in a multi-sensory percept. We first developed an artificial whisker system allowing texture recognition on a robotic platform. We demonstrated that two apparently opposite biological theories about the encoding of tactile information may be, in fact, complementary. We then collaborated to the development of a binaural auditive system making source localization and separation possible. We demonstrated that the mechanism we used for texture recognition with whiskers can also be used for sound recognition. We also developed a visual attentional system integrating neuromimetic models of superior colliculus and basal ganglia with the ability of reinforcement learning. This model includes sub-cortical and cortical loops allowing for the learning of spatial and non-spatial features. We demonstrated that this system was able to generate saccades toward rewarding targets. Finally, we extended this attentional model to tactile and auditive modalities and demonstrated its ability to produce multi-sensory integration. We also used this model on a mobile robotic platform in order to control the orientation behavior toward multi-sensory targets associated with a reward. We conclude that this model makes it possible to manage multi-sensory stimuli in a way robust enough to be used on a mobile robot. It also generates several testable predictions.

La perception de l'environnement à travers différentes modalités sensorielles est une capacité essentielle à la survie des animaux. La compréhension du fonctionnement de ces différentes modalités ainsi que du mécanisme de leur intégration en une représentation unique est un enjeu majeur en neurosciences ainsi qu'en matière de conception d'architectures de contrôle de robots autonomes. Le rat, par exemple, exploite énormément les informations tactiles fournies par ses vibrisses. Elles lui servent notamment à reconnaître des textures ou des formes, comme à évaluer la taille d'une ouverture... Cette modalité, très étudiée en biologie, n'a été que peu abordée dans le domaine de la robotique. L'audition et la vision fournissent également de riches informations sur l'environnement et ces trois modalités fonctionnent de manière complémentaire. Une des structures intégrant toutes ces modalités est le colliculus supérieur, région sous-corticale commune à la plupart des vertébrés. Cette structure fonctionnant comme un système attentionnel, permet de détecter les stimuli pertinents et de s'orienter vers ceux-ci tout en ignorant les stimuli inutiles. L'objectif de ce travail est de développer les différentes capacités sensorielles (tactile, auditive et visuelle) du robot-rat Psikharpax et de les intégrer en une représentation multi-sensorielle en s'inspirant de ces connaissances biologiques. Nous avons tout d'abord développé un système vibrissal artificiel permettant de reconnaitre des textures sur un robot mobile. Nous avons montré que deux hypothèses biologiques s'affrontant pour expliquer le codage des informations tactiles sont peut-être compatibles. Nous avons ensuite collaboré au développement d'un système auditif binaural permettant la localisation et la séparation de sources. Nous avons montré que les mécanismes permettant la reconnaissance de textures avec le système vibrissal, permettait de reconnaitre des sons avec le système auditif. Puis nous avons développé un système d'attention visuelle en adaptant et en intégrant des modèles neuro-mimétiques de colliculus supérieur et de ganglions de la base avec un mécanisme d'apprentissage par renforcement. Ce modèle inclut des boucles sous-corticales et corticales permettant l'apprentissage des caractéristiques spatiales et non-spatiales des stimuli. Nous avons montré que ce système permettait de générer des saccades oculaires vers des cibles génératrices de récompense. Enfin, nous avons étendu ce modèle d'attention visuelle aux modalités tactile et auditive et montré ses capacités à reproduire les phénomènes d'intégration multi-sensorielle. Nous avons également utilisé ce modèle sur un robot mobile pour générer des comportements d'orientation vers des stimuli multi-sensoriels associés à des récompenses. Nous concluons que ce modèle permet la gestion de stimuli multi-sensoriels de manière assez robuste pour être utilisé sur un robot mobile. Il génère de plus quelques prédictions testables.

Mots clés: multi-sensory integration; artificial whiskers; superior colliculus

Mots clés: Psikharpax; Intégration multi-sensorielle; vibrisses artificielles; saccades; colliculus supérieur

Domaines: Neurosciences [q-bio.NC]; Automatique / Robotique

Steve N'Guyen. Mise au point du système vibrissal du robot-rat Psikharpax et contribution à la fusion de ses capacités visuelle, auditive et tactile. Neurosciences [q-bio.NC]. Université Pierre et Marie Curie - Paris VI, 2010. Français. ⟨NNT : ⟩. ⟨tel-00579980⟩