Robust representations for supervised and unsupervised 3D shape matching
Représentations robustes pour la mise en correspondence de formes 3D via apprentissage supervisé et non-supervisé
Résumé
3D data analysis is a fundamental problem in modern science, and recent advances such as deep learning opened the door to new algorithms and possibilities for this field. Nevertheless, 3D shape analysis presents difficult problems due to its particular structure. Indeed, deep neural networks and more specifically convolutional neural networks are originally tailored to tackle grid-like structures like images. Consequently, the challenge is to adapt deep learning to more complex structures like 3D point cloud or meshes.In this thesis, we particularly focus on 3D shape matching, whose objective is to study and compute maps between shapes, typically represented as meshes. Correspondence between a pair of shapes can be used to transfer information such as texture, or segmentation, from one shape to the other. To tackle this hard non-linear problem, we adopt a functional point of view allowing for a more simple and efficient representation for maps between shapes. Since deep neural networks have been designed to produce feature functions on point clouds or meshes, e.g. for segmentation, we propose to use these network features to match functional spaces using the so-called functional map framework, which we build upon to implement new algorithms for shape matching.In particular, we tackle several key problems which lie at the intersection between shape matching and deep learning. Firstly, the well-known problem of overfitting, which is a very recurrent problem especially for 3D data which is not as widespread as images. Secondly, we propose a new way to incorporate orientation information into the functional map pipeline using tangent vector field analysis, which we use to solve some symmetry issues, difficult to address because of the intrinsic nature of functional maps. Lastly, we propose a global solution that learns shapes features for efficient and robust shape matching, in an unsupervised way.Our work proposes efficient methods to explore the space of maps between shapes by exploiting the particular structure of 3D surfaces to build robust regularizers for deep learning correspondence networks.
L'analyse de données 3D est un problème fondamental de la science moderne, et les avancées récentes telles que l'apprentissage profond ont ouvert la voie à de nouvelles possibilités dans ce domaine. Cependant, l'analyse de formes 3D présente des problèmes complexes en raison de la structure particulière des données mises en jeu.Dans cette thèse, nous nous concentrons principalement sur la mise en correspondance de formes 3D dont le but est d'étudier et de calculer des applications entre formes, habituellement représentées par des maillages. Cette correspondance entre deux formes peut être utilisée pour transférer de l'information (segmentation, texture) de l'une à l'autre. Afin d'aborder ce problème complexe et non linéaire, nous adoptons un point de vue fonctionnel qui permet une représentation plus simple et efficace pour ces applications entre formes.Certains réseaux de neurones profonds on été conçus pour produire des signaux descriptifs sur des nuages de points ou des maillages, pour la segmentation par exemple, ainsi nous proposons d'utiliser ces signaux pour produire des correspondances précises dans le cadre de la méthode des "applications fonctionnelles", sur laquelle nous nous basons pour implémenter de nouveaux algorithmes de correspondance.Nous abordons notamment plusieurs problèmes-clé à l'intersection entre la mise en correspondance de formes et l'apprentissage profond. Tout d'abord, l'écueil du surapprentissage, très récurrent particulièrement dans les jeux de données 3D qui ne sont pas aussi variés que pour les images.Ensuite, nous proposons d'incorporer l'information d'orientation de formes dans le cadre des applications fonctionnelles en utilisant l'analyse de champs de vecteurs tangents, que nous utilisons pour résoudre des défauts de symétrie.Enfin, nous proposons une solution globale pour apprendre sur des formes 3D pour une mise en correspondance robuste et non supervisée.Notre travail propose des méthodes efficaces pour explorer l'espace des applications entre les formes 3D en exploitant la structure particulière des surfaces pour construire des régularisateurs pour les réseaux d'apprentissage profond visant à établir des correspondances.
Origine : Version validée par le jury (STAR)