Vision et filtrage particulaire pour le suivi tridimensionnel de mouvements humains: applications à la robotique
Résumé
A major challenge in Robotics is the one of the personal robot. An underlying goal is to enable the mobile robot to navigate autonomously in crowded places. While moving, the robot must detect and take into account the human presence in its neighborhood, i.e. in order to avoid them, to ease their moves or to secure them. However, for an active interaction, the robot must also be able to sense their posture, attitude or gestures. With this intention, we set up a visual human motion capture system from cameras embedded on the robot. A 3D rough model of the human body is proposed, integrating bio-mechanical and anthropomorphic considerations. The goal is then to match this model with the images by exploiting various 2D visual cues (edges, color, movement) together with a 3D sparse reconstruction of the scene. In order to estimate the posture and the configuration of the 3D model, well-known particle filter techniques are applied. Evolutions are proposed to tackle the problem more efficiently and to satisfy the real-time constraints of our applicative context. We use a gradual approach by studying two different contexts. First, we focus on a ubiquist robotics context, which proposes two fixed ambiance cameras with different and complementary view points. Second, a mobile robotics context is set up, with stereo cameras embedded on the robot.This work has been done in the Robotics Action Perception (RAP) group at LAAS-CNRS.
Un défi majeur de la Robotique aujourd'hui est sans doute celui du robot personnel. Un objectif sous-jacent est de permettre à un robot mobile de naviguer de manière autonome dans un environnement de grandes dimensions en présence de public. Lors de son évolution, le robot doit pouvoir détecter et prendre en compte la présence d'humains dans son voisinage, par exemple pour les éviter, leur céder le passage, faciliter ou sécuriser leurs déplacements. Cependant, pour une interaction active, le robot doit également être capable de percevoir et d'interpréter leurs postures, leurs démarches ou leurs gestes. Dans ce but, nous souhaitons mettre en place un système de suivi visuel des mouvements humains à partir des caméras embarquées sur le robot. Une représentation 3D fruste de l'enveloppe corporelle est proposée à partir de considérations biomécaniques et anthropomorphes. La démarche consiste alors à recaler ce modèle dans les images obtenues en exploitant plusieurs indices visuels 2D (contours, couleur, mouvements) complétés par une reconstruction 3D éparse de la scène. Pour estimer les paramètres de situation et de configuration du modèle 3D, nous exploitons les techniques de filtrage particulaire, bien connues en suivi visuel. Des évolutions de l'algorithme générique de filtrage sont cependant envisagées afin de répondre plus efficacement au problème posé et de satisfaire des contraintes temporelles cohérentes avec le contexte applicatif. Afin d'aborder les problèmes de manière graduelle, deux contextes sont étudiés. Le premier, de type robotique ubitquiste, repose sur l'utilisation de caméras d'ambiance fixes proposant des points de vue différents et complémentaires de la scène à étudier. Le second, de type robotique mobile, exploite des caméras stéréoscopiques embarquées sur le robot.Ce travail a été effectué au sein du groupe Robotique Action Perception (RAP) du LAAS-CNRS.
Loading...