Multi-sensory interactions between a multidimensional and multi-sensor robotic system
Interactions multi sensorielles entre un système robotique multidimensionnel et multi capteur
Résumé
In mixed-reality simulators, immersion quality can only be assessed by means of post-simulation user questionnaires.To overcome this limitation, we propose a system that reproduces a human's ability to perceive its self-motion so that immersion quality can be assessed qualitatively.In our system, the human is replaced by a NAO humanoid robot and a visuo-inertial motion perception model that simulates human visuo-spatial cognitive function.This system raises issues related to the processing of visual and inertial information flows by the visual cortex and the vestibular system, respectively.Therefore, a visual SLAM method that is robust to scene dynamics is proposed to replace the tasks performed by the visual cortex.This method exploits the spatial, semantic and interaction information present in the observed scene to achieve a human-like level of robustness.A database of globally and locally degraded photorealistic images has also been created to make our SLAM method less sensitive to distortions related to the acquisition conditions.The visual and inertial estimates are then integrated into a framework that links our NAO robot to the perceptual model used to determine the motion perceived by the human and thus provide an opinion on the quality of the immersion.This framework then makes it possible to calibrate scenarios for the simulator that guarantee both the restoration of sensation and the physical integrity of the user.Finally, with the aim of optimising immersion, a reinforcement learning method is proposed to optimise the restitution of inertial sensations through the Motion Cueing Algorithm. This new method enables the simulator's robotic platform to better reproduce inertial sensations.
Dans le cadre de simulateur de réalité mixte, la qualité de l'immersion ne peut être évaluée qu'à travers des questionnaires post-simulations faits sur les utilisateurs.Afin de s'affranchir de cette limite, nous proposons un système reproduisant la capacité de l'humain à percevoir son mouvement en vue d'évaluer la pertinence de l'immersion de manière qualitative.Dans notre système, l'humain est ainsi remplacé par un robot humanoïde NAO et un modèle de perception visuo-inertiel du mouvement permettant de simuler par biomimétisme la fonction cognitive visuo-spatiale de l'humain.Ce système soulève des problématiques relatives aux traitements des flux d'information visuelle et inertielle réalisés respectivement par le cortex visuel et le système vestibulaire.En conséquence, une méthode de SLAM ("Simultaneous Localisation and Mapping") visuel robuste aux dynamiques de l'environnement est proposée en substitution de la perception réalisée par le cortex visuel humain.Cette méthode exploite les informations spatiales, sémantiques et d'interactions présentes dans la scène observée dans le but d'atteindre un niveau de robustesse similaire à l'humain.Une base de données contenant des images photo-réalistes dégradées de manière globale et locale a également été produite pour rendre notre méthode de SLAM moins sensible aux phénomènes de distorsions liées aux conditions d'acquisition.Les estimations visuelles et inertielles sont ensuite intégrées à un framework liant notre robot NAO et le modèle de perception utilisé en vue de déterminer le mouvement perçu selon l'humain et ainsi émettre un avis sur la qualité de l'immersion.Ce framework offre alors la possibilité de calibrer des scénarios pour le simulateur qui garantissent à la fois une restitution des sensations et l'intégrité physique de l'utilisateur.Enfin, dans l'intention d'optimiser l'immersion, une méthode d'apprentissage par renforcement pour l'optimisation de la restitution des sensations inertielles à travers le Motion Cueing Algorithm est proposée. Cette méthode nouvelle permet une meilleure retranscription des sensations inertielles par la plateforme robotique du simulateur.
Origine : Version validée par le jury (STAR)