Robot pose estimation and servoing using omnidirectional vision
Estimation de pose et asservissement de robot par vision omnidirectionnelle
Résumé
This work is about omnidirectional vision, monocular and stereoscopic. Position and orientation estimation of a robot using this kind of artificial vision relies on the same theoretical framework as visual servoing. This technique consists in the control of a robot motion using visual information brought by one or several cameras. This motion is virtual when dealing with pose estimation. Using the wide field of view of omnidirectional vision has generally a good impact on the robot behavior but visual informations, and particularly their representation, influence deeply this behavior. A bad choice can lead the servoing or pose estimation to fail. This thesis aims to study and compare various visual features and their representations in omnidirectional vision. Even if a projection model involving a sphere has been designed for central omnidirectional cameras, a point, a line or a plane are always represented in the image plane. Some works have expressed pose estimation or visual servoing from spherical features but without showing, practically, which surface is the best : image plane or sphere. This is a motivation for this work. This work also proposes to use pixel intensities of an omnidirectional image as a visual feature for the servoing of a robot, allowing, hence, to withdraw image processing for the detection of points, lines, and so on. Experimental validation shows a great positioning precision. This is the base of the use of photometric neighborhoods included in a region for the precise plane tracking or neighboring a line for the precise tracking of vertical straight lines. This last contribution is one of the most important of this thesis because it allows to reconstruct a vertical line thanks to the photometric fitting of their projections neighborhoods in omnidirectional stereovision images. Furthermore, it can be extended to motion estimation and to every geometrical feature.
Ce travail s'inscrit dans le cadre d'un programme de recherche sur la vision omnidirectionnelle, monoculaire et stéréoscopique. L'estimation de position et d'orientation de robot par ce type de vision artificielle repose sur le même formalisme de base que l'asservissement visuel. Cette technique consiste à commander le mouvement d'un robot en utilisant l'information visuelle apportée par une ou plusieurs caméras. Ce mouvement est virtuel dans le cas d'une estimation de pose. Utiliser le large champ de vue apporté par la vision omnidirectionnelle a généralement une bonne influence sur le comportement du robot mais les informations visuelles, et en particulier leur représentation, ont un impact important sur ce comportement. Un choix inadéquat de représentation d'information peut engendrer l'échec de l'asservissement ou du calcul de pose. Cette thèse vise à étudier et comparer différentes primitives visuelles et leurs représentations en vision omnidirectionnelle. Même si un modèle de projection stéréographique impliquant une sphère a été défini pour les caméras omnidirectionnelles centrales, un point, une droite ou un plan est presque toujours représenté dans le plan image. Quelques travaux ont certes formulé l'estimation de pose ou l'asservissement visuel à partir de primitives définies sur la sphère mais sans montrer, en pratique, quel est le meilleur lieu de définition : le plan image ou la sphère. C'est une des motivations de cette étude. Ce travail propose aussi d'utiliser les intensités des pixels d'une image omnidirectionnelle comme primitive visuelle pour l'asservissement de robot, permettant ainsi de s'affranchir du traitement d'image nécessaire à la détection de points, de droites, etc. La validation expérimentale montre une très grande précision de positionnement. Cette constatation a servi de base à l'utilisation de voisinage photométrique inclus dans une région pour le suivi de plan ou avoisinant un segment pour le suivi de droites verticales. Ce dernier point est une des contributions les plus importantes de cette thèse car cela permet de reconstruire une droite verticale par ajustement photométrique des voisinages de ses projections dans les images de stéréovision omnidirectionnelle. Ceci peut, de plus, être étendu à l'estimation de mouvement et à toute primitive géométrique.
Loading...