Automatic tracking of 3D objects from appearance in video sequences
Suivi automatique d'objets 3D basé sur l'apparence dans des séquences d'images
Résumé
This thesis is concerned with the computer vision. More precisely, we are interested in the video real time tracking of 3D objects in video sequences, using only object appearances. An algorithm, developed earlier, allows to track textured planar patterns. It constitutes the core of our approach. We propose to adapt this 2D tracking method to the estimation of the 3D objects movement. For that, the 3D object is represented by a collection of reference images. For each one of these views, the 2D solution, quoted previously, allows to track fronto parallel movements (movement of the object in a plane parallel to the image plane). The aspect of the pattern representing the tracked object is not really modified by this motion. The delicate point, solved during this thesis, is the detection and the management of appearance changes of the tracked pattern due to relative rotations (between camera and object) in roll and pitch. In practice, the suggested approach allowed us the development of an experimental system dedicated to the tracking of human faces and the automatic navigation of a robotic arm, with a camera on its effector, around a 3D object.
Ce travail de thèse s'inscrit dans le domaine de la vision artificielle. Plus précisément, nous nous sommes intéressés au suivi temps réel vidéo d'objets 3D mobiles dans des séquences d'images. A l'orgine de ces travaux, se trouve un algorithme, développé au LASMEA, dédié au suivi de motifs planaires texturés. Nous nous sommes proposés d'adapter cette méthode de suivi 2D à l'estimation du mouvement apparent d'objets 3D. Pour cela, l'objet 3D est modélisé à l'aide d'une collection d'images de référence. Pour chacune de ces vues, la solution 2D citée précédemment permet de suivre les mouvements fronto parallèles (déplacements de l'objet parallèlement au plan image) qui ne modifient pas de façon majeure l'aspect apparent dans l'image. Le point délicat, solutionné dans le cadre de cette thèse, est la détection et la gestion du changement d'aspect du motif suivi dû à des rotations relatives (caméra/objet) en site et azimut. Sur le plan pratique, l'approche proposée a permis le développement d'un système expérimental de suivi d'un visage et la navigation automatique d'un bras robotique, muni d'une caméra embarquée, autour d'un objet 3D.
Loading...