Non-Calibrated multiple views : Applications and Methodologies
Vues Multiples non-calibrées : Applications et Méthodologies
Résumé
The search for patterns of interest contained in multiple view sequences of the same scene remains one of the major problems in the computer vision community at present. Despite the great advances developed in the last 40 years, computer vision has not yet answered adequately how to infer and detect patterns of interest in scenes in which one or more objects are viewed from multiple points-of-view. To overcome this drawback, this thesis proposes new algorithms and prototypes capable of characterizing, inferring, and detecting patterns of interest in uncalibrated multiple view sequences, i.e. without a priori knowledge about the position of the object(s) in regard to the camera(s). The work is focused on three main themes divided into six papers that constitute the body of the thesis. (1) The point-to-point correspondence analysis by means of explicit and implicit markers on objects. (2) The point-to-point correspondence estimation through multiple geometric relations independent of the object(s). (3) The dynamic flow prediction generated by camera's motion around the object. The main purpose of this thesis is to support the decision making by means of the dynamic and/or geometric analysis of the object(s) movement or the camera(s) movement as these move. Thanks to this analysis, it is possible to increase the information about the scene and the object(s) through an inferential process specific in each case. As a result, it is possible for instance to assist the inspection process performed by a human operator, to determine the product quality automatically, or to execute a specific action in a robotic actuator. Although these issues have different purposes, these resolve the same set of steps concerning to: (1) Determining corresponding points in multiple images. (2) Determining the geometric and/or dynamic relation between the previously estimated correspondences. (3) Inferring new relations at those points whose correspondence is not known in order to characterize the movement. The major changes come in how the correspondence is estimated, in the calculation of the dynamics and geometry between corresponding points, and finally in how we use the inference of motion to identify a new correspondence or to characterize the motion of the points. Among the major results, the development of a new uncalibrated inspection methodology with multiple views applied to the quality analysis in automotive wheel rims, the development of a functional prototype applied to the wine bottleneck inspection, a geometric point-to-point correspondence methodology able to solve the correspondence problem in two and three views for any point of interest, and finally the human intention recognition for grasping tasks through the movement analysis of the eyes, and the hand. As future work, it remains to study the dynamic correspondence by means of invariant features, to use geometric methods in radiologic image sequences, and use intention recognition models in order to evaluate the object-quality.
La recherche de modèles d'intérêt contenus dans des s'séquences de vues multiples d'une scène reste l'un des principaux problèmes de la vision par ordinateur actuellement. En dépit des grands progrès observés au cours des 40 dernières années, la vision par ordinateur ne parvient pas encore à répondre adéquatement quant à la manière d'inférer et de détecter des modèles d'intérêt dans des scènes pour lesquelles un ou plusieurs objet(s) sont vus depuis différents points de vue. Afin de surmonter ce problème, cette thèse propose de nouveaux algorithmes et prototypes capables de caractériser, d'inférer et de détecter des modèles d'intérêt en séquences avec des vues multiples de manière non calibrée, c'est-'a-dire sans connaissance à priori de la position du/des objet(s) par rapport ła (aux) caméra(s). Le travail réalisé s'articule autour de trois axes, divis'es en six articles qui constituent le corps de la thèse. (1) L'analyse de correspondances point par point à travers de marqueurs explicites et implicites sur les objets. (2) L'estimation de correspondances point par point 'a travers de multiples relations géométriques indépendantes du/des objet(s) qui composent la scène. (3) La prédiction du flux dynamique du déplacement généré par le mouvement de la caméra autour de l'objet. L'objectif principal de cette thèse est d'appuyer la prise de décision 'a travers d'une analyse dynamique et/ou géométrique du mouvement du/des objet(s) ou de la (des) caméra(s) pendant que ceux-ci se déplacent. Grâce à cette analyse, il est possible d'accroitre l'information sur la scène et l'(les) objet(s) 'a travers d'un processus inférentiel spécifique pour chaque cas. Il ressort des thématiques exposées qu'il est possible, par exemple, d'assister le processus d'inspection réalisé par un opérateur humain, de déterminer la qualité d'un produit de manière autonome, ou d'exécuter une action spécifique dans un acteur robotique. Bien que ces thématiques présentent des approches différentes, celles-ci ont le même ensemble de pas en ce qui concerne: (1) la détermination de la relation de correspondance de points ou de régions sur plusieurs images, (2) la détermination de la relation géométrique et/ou dynamique existante entre les correspondances estimées précédemment, (3) l'inférence de nouvelles relations sur les points dont la correspondance est inconnue en vue de caractériser le mouvement. Les variations les plus fortes correspondent 'a la manière dont la correspondance est estimée; au calcul de la dynamique et la géométrie entre les points correspondants; et enfin 'a la manière dont nous inférons une action particulière suite 'a un mouvement spécifique. Parmi les principaux résultats, on trouve le développement d'une méthodologie d'inspection non calibrée 'a vues multiples appliquée 'a l'analyse de la qualité des jantes de véhicules, le développement d'un prototype fonctionnel appliqué à l'inspection des cols de bouteilles de vin, une méthodologie de correspondance point par point géométrique capable de résoudre le problème de correspondance en deux et trois vues pour tout point d'intérêt, et enfin la reconnaissance de l'intention humaine pour les tâches de 'grasping' 'a travers de l'analyse du mouvement des yeux et de la main. 'A l'avenir, il restera encore 'a analyser les correspondances dynamiques 'a travers de caractéristiques invariantes, employer des méthodes d'analyse géométriques en séquences d'images radiologiques, et utiliser des modèles de détection d'intentions pour évaluer la qualité des objets.
Domaines
Automatique / Robotique
Loading...