Volumetric 3D reconstruction from omnidirectionnal vision on massively paralel architecture

Reconstruction 3D volumétrique par vision omnidirectionnelle sur architecture massivement parallèle

Romain Rossi (1, 2)

1 Pôle Instrumentation, Informatique et Systèmes
2 IRSEEM - Institut de Recherche en Systèmes Electroniques Embarqués

3D reconstruction of an unknown scene is a classical computer vision problem. Usual solutions, which use a pair of cameras in stereoscopic configuration and an algorithm relying on image disparities, don't allow to create a densely sampled 3D model. Moreover, processing this model in real-time is a complex task which often needs an implementation on dedicated hardware (FPGA or DSP), very powerful but hard to use.In this thesis, we propose a volumetric reconstruction method aiming to produce a high-resolution 3D model of the scene surrounding a mobile robot. A pair of catadioptric cameras allows panoramic acquisition of the whole scene. The reconstruction algorithm, adapted for the massively-parallel architecture of a very powerful and inexpensive Graphical Processing Unit (GPU) tries to limit data-dependencies to improve performances.This reconstruction method also benefit from additional pictures, taken as the robot moves in the scene, to incrementally improve the 3D model.The final results are qualitatively equivalent to the ones obtained with classical methods, but our approach allows a 3D resolution far better (500x500x200 voxels) with a very short running time (about 5 seconds for each reconstruction). The real-time objective (2 reconstructions per second) can even be reached for a lower-resolution (150x150x150 voxels). Experimental results on a real image validate the proposed approach.

La reconstruction 3D d'une scène inconnue est un problème courant en vision par ordinateur. Les solutions classiques utilisant une paire de caméras en configuration stéréoscopique et un algorithme exploitant les disparités sur l'image ne permettent pas le calcul d'un modèle 3D dense régulièrement échantillonné. De plus, la réalisation de cette tâche en temps-réel est complexe et nécessite bien souvent une implémentation sur circuits spécialisés (FPGA ou DSP) puissants mais difficiles à mettre en oeuvre.Dans ces travaux, nous proposons une méthode volumétrique ayant pour objectif une reconstruction en temps-réel d'un modèle 3D haute-résolution de l'environnement d'un robot mobile. Une paire de caméras catadioptriques permet l'acquisition panoramique de la scène. L'algorithme de reconstruction, adapté pour l'architecture massivement parallèle d'un processeur graphique (GPU), très puissant et peu coûteux, limite au maximum les dépendances de données menant à une séquentialisation du code et pénalisant les performances.La méthode de reconstruction proposée ici permet en plus d'exploiter de nouvelles images obtenues au fur et à mesure du déplacement du robot dans la scène, améliorant ainsi incrémentalement le modèle volumétrique avec de nouvelles données.Les résultats obtenus sont qualitativement proche de ceux obtenus par les méthodes classiques sur des scènes simples, mais notre approche permet une résolution du modèle 3D bien supérieure à l'état de l'art (500x500x200 voxels) tout en conservant une bonne rapidité d'exécution (environ 5 secondes par reconstruction). La cadence temps-réel (2 reconstructions par seconde) peut même être atteinte pour une résolution de modèle plus faible (150x150x150 voxels). Une expérimentation sur une scène réelle permet de valider l'approche développée avec une mise en situation réaliste.

Mots clés: Computer Vision; Catadioptric cameras; Voxel Coloring; CUDA; GPGPU

Mots clés: Caméra catadioptrique; Vision par ordinateur

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]; Electronique; Robotique [cs.RO]

Romain Rossi. Reconstruction 3D volumétrique par vision omnidirectionnelle sur architecture massivement parallèle. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université de Rouen, 2011. Français. ⟨NNT : ⟩. ⟨tel-01112447⟩