Learning-based representations and methods for 3D shape analysis, manipulation and reconstruction
Représentations et méthodes basées sur l’apprentissage pour l’analyse, la manipulation et la reconstruction de formes en 3D
Résumé
Efficiently processing and analysing 3D data is a crucial challenge in modern applications as 3D shapes are becoming more and more widespread with the proliferation of acquisition devices and modeling tools. While successes of 2D deep learning have become commonplace and surround our daily life, applications that involve 3D data are lagging behind. Due to the more complex non-uniform structure of 3D shapes, successful methods from 2D deep learning cannot be easily extended and there is a strong demand for novel approaches that can both exploit and enable learning using geometric structure. Moreover, being able to handle the various existing representations of 3D shapes such as point clouds and meshes, as well as the artefacts produced from 3D acquisition devices increases the difficulty of the task. In this thesis, we propose systematic approaches that fully exploit geometric information of 3D data in deep learning architectures. We contribute to point cloud denoising, shape interpolation and shape reconstruction methods. We observe that deep learning architectures facilitate learning the underlying surface structure on point clouds that can then be used for denoising as well as shape interpolation. Encoding local patch-based learned priors, as well as complementary geometric information such as edge lengths, leads to powerful pipelines that generate realistic shapes. The key common thread throughout our contributions is facilitating seamless conversion between different representations of shapes. In particular, while using deep learning on triangle meshes is highly challenging due to their combinatorial nature we introduce methods inspired from geometry processing that enable the creation and manipulation of triangle faces. Our methods are robust and generalize well to unseen data despite limited training sets. Our work, therefore, paves the way towards more general, robust and universally useful manipulation of 3D data.
Traiter et analyser efficacement les données 3D est un défi crucial dans les applications modernes, car les formes 3D sont de plus en plus répandues avec la prolifération des dispositifs d'acquisition et des outils de modélisation. Alors que les succès de l'apprentissage profond en 2D sont devenus monnaie courante et entourent notre vie quotidienne, les applications qui impliquent des données 3D sont à la traîne. En raison de la structure non uniforme plus complexe des formes 3D, les méthodes d'apprentissage profond en 2D ne peuvent pas être facilement étendues et il existe une forte demande pour de nouvelles approches qui peuvent à la fois exploiter et permettre l'apprentissage en utilisant la structure géométrique. De plus, être capable de gérer les différentes représentations existantes des formes 3D telles que les nuages de points et les maillages, ainsi que les artefacts produits par les dispositifs d'acquisition 3D augmente la difficulté de la tâche. Dans cette thèse, nous proposons des approches systématiques qui exploitent pleinement les informations géométriques des données 3D dans des architectures d'apprentissage profond. Nous contribuons aux méthodes de débruitage de nuages de points, d'interpolation de formes et de reconstruction de formes. Nous observons que les architectures d'apprentissage profond facilitent l'apprentissage de la structure de surface sous-jacente des nuages de points, qui peut ensuite être utilisée pour le débruitage et l'interpolation de formes. L'encodage de prieurs appris basés sur des patchs locaux, ainsi que d'informations géométriques complémentaires telles que la longueur des arrêtes, permet de créer des pipelines puissants qui génèrent des formes réalistes. Le principal fil conducteur de nos contributions est de faciliter la conversion entre différentes représentations de formes. En particulier, alors que l'utilisation de l'apprentissage profond sur des mailles triangulaires est complexe en raison de leur nature combinatoire, nous introduisons des méthodes inspirées du traitement de la géométrie qui permettent la création et la manipulation de faces de triangles. Nos méthodes sont robustes et se généralisent bien aux données inconnues malgré des jeux d'entraînement limités. Notre travail ouvre donc la voie à une manipulation plus générale, robuste et universellement utile des données 3D.
Origine : Version validée par le jury (STAR)