Two views camera motion in the presence of planar degeneracy
Estimation du mouvement de caméra à partir de deux vues en présence de dégénérescence planaire
Résumé
The number of unmanned vehicles is increasing and their field of application is widening. Although they are not all autonomous yet, each generation is more autonomous than the previous one. For vehicles, autonomy comes notably from the capacity to navigate on its own. To navigate one must be able to locate oneself. To that end several technologies are available and among them, vision based localization appears to be interesting for military application as it gives the opportunity to avoid an external infrastructure and active sensors, which are easier to detect. The process of estimating the motion of a camera between two images is called visual odometry. Even though it has already been well studied, it is still compromised in some situations, notably depending on the presence of planar structures in the scene or 3D. Planar scenes call for a homographic model and 3D scenes for the epipolar geometry. Unfortunately the models are not interchangeable, which is problematic in environments whose flatness or structure is not guaranteed. For this reason, a method called the Parallax Beam has been developed. It bridges to two models depending on the flatness of the scene, with the advantage of never wasting computational effort, which is important on embedded hardware, where resources are limited. The method has proved itself capable of correctly handling 3D scenes when tested over the available datasets. To prove its capacity to handle strong planar degeneracy, the design of test cases with a dominant planar structure has been necessary. The design is motivated by the absence of datasets containing enough planar structures with an adequate ground truth usually due to the orientation of the camera, which is different from our application. It led to creation of synthetic images features recreating the motion of the wheeled vehicle moving in scenes made solely of planar elements. The Parallax Beam has finally been tested in challenging planar degenerated scenes, with successful results. The method has also been tested on the field and compared to a high precision GPS on the test vehicle of the University of Haute-Alsace. Finally the method developed is capable of estimating the camera motion in planar and non planar scenes in an efficient manner suited for small platforms with limited hardware.
Le nombre de véhicules sans-pilote et leurs champs d’applications sont aujourd’hui en pleine croissance. Bien que ces véhicules ne soient pas encore tous autonomes, chaque nouvelle génération tend à le devenir d’avantage. Cette nouvelle autonomie provient de leur capacité à naviguer dans leur environnement de façon autonome. Un des points majeurs de la navigation est la capacité à se positionner. Cette capacité peut découler d’un certain nombre de technologies, néanmoins dans un contexte militaire se localiser à l’aide d’une caméra présente plusieurs intérêts : une indépendance à une infrastructure extérieure et une furtivité grâce à la nature passive du capteur. Le processus permettant d’estimer sa trajectoire et par extension sa position à partir d’un flux d’images est appelé odométrie visuelle. Malgré la maturité de cette branche de la vision par ordinateur, les algorithmes existants sont parfois en difficulté, notamment dans des environnements alternants entre un contenu riche en 3D et du contenu plan. Les premiers faisant appel à un modèle épipolaire et les derniers à un modèle homographique. Malheureusement, les deux modèles ne sont pas interchangeables, ce qui conduit à des difficultés lors de l’estimation du mouvement de la caméra. Dans le but de joindre les forces des deux modèles, les travaux de thèse ont conduit à développer une méthode appelée « Parallax Beam ». Cette méthode permet de choisir le modèle le plus adapté à la scène vue par la caméra et surtout d’estimer le modèle épipolaire à partir du modèle homographique lorsque celui-ci est inadapté. Aucun effort de calcul n’est alors perdu, ce qui est intéressant dans un contexte de système embarqué. La méthode proposée se montre capable d’estimer le mouvement de la caméra dans des environnements riches en 3D présents dans des bases de données publiques. L’évaluation sur des environnements plans a demandé la création de données synthétiques capables de reproduire des données d’entrées similaires à celles utilisées sur le système réel, tout en correspondant une scène plane vue depuis un véhicule en mouvement. Cette création a été motivée après une analyse des bases de données existantes concluant sur l’absence de données adéquates. L’évaluation du Parallax Beam sur les données synthétiques a permis de mettre en avant ses capacités. Finalement la méthode a également été comparée à une position obtenue par le GPS de haute précision qui équipe le véhicule ARTEMIPS de l’UHA, ainsi que sur les plateformes terrestres de l’ISL où l’alternance entre environnements 3D et plans est plus marquée du fait de l’orientation de la caméra. La méthode du Parallax Beam étant alors la seule capable d’estimer fidèlement la position du véhicule.
Origine : Version validée par le jury (STAR)