3D and 4D Human body surface comparison and deformation: From geometric invariants to Riemannian shape analysis
Comparaison et déformations de formes humaine 3D et 4D: Des invariants géometriques à l'analyse Riemannienne de formes
Résumé
In the broad field of computer vision, Three-Dimensional (3D) Human shape and body understanding has always been a hot topic. This thesis focuses on the 3D human body and its motion, with new objectives and problems arising from the growing availability of human body data. As articulated objects, human bodies are naturally complicated, as they evolve in identity and pose. Moreover, the human body shape space is built by filtering out preserving transformations, namely rigid motions, and reparametrizations. Under these challenges, our thesis proposes a 2-fold approach for the human body.
In the first part of the thesis, we focus on 3D human shape sequence retrieval. We leave the shape space and propose to compare pose and motion in descriptor spaces. We start by describing the human pose, using the intuition that a human pose is nearly characterized by its convex hull. This hypothesis allows us to introduce three transformation-invariant surface descriptors. Using these invariants reduces the comparison of 3D+time surface representations to the comparison of polygonal curves. Experimental results are promising, but slight modifications are needed to work on noisy data. We improve our motion comparison results in a second time by seeing the human body surfaces as varifolds in a Hilbert space, with an inner product derived from a positive definite kernel. The sequences of 3D shapes are represented by matrices derived from the Gram matrix of the motion, reducing the problem of comparison of two 3D sequences of humans to a comparison of matrices.
In the second part of the thesis, we focus on building a framework for generating human body deformations. We equip our shape space with a family of elastic Riemannian metrics that not only are invariant under rigid motions and reparametrizations but also allow us to quantify variations between human bodies under pose and shape changes. We start by working on registered shapes and use a low-dimensional approach to compute the interpolation between human bodies (geodesic path), and statistical tools (eg. mean of human shape). The main limitation is that human shapes need to be pre-registered to a template. To tackle this issue, we extend the previous Riemannian framework to human body scans. We do so by using the varifold metric as a parameterization regularizer. Moreover, we represent human bodies with a low dimensional latent space representation, which is equipped with the pullback of the Riemannian metrics, simplifying the encountered optimization problems. The registration and interpolation problems are solved jointly, allowing the framework to operate directly on unregistered shapes. Experimental results show significant improvements with respect to previous solutions in terms of shape registration, interpolation, and extrapolation. We demonstrate the utility of the proposed frameworks in pose and shape retrieval of the human body, motion transfer, and random generation of body shape and pose.
Parmi les nombreuses thématiques de la vision par ordinateur, l'étude du corps humain, plus précisément l'analyse de sa forme en trois dimensions, a toujours été un sujet de grand intérêt pour ses nombreuses applications. La thèse se concentre sur le corps humain en trois dimensions (3D), ainsi que sur son mouvement, avec les nouveaux défis scientifiques posés par la disponibilité grandissante de ce type de données. Les corps humains sont naturellement compliqués en tant que corps articulés, évoluant à la fois en identité et en changement de pose. De plus, l'espace de formes des corps humains se construit en filtrant les transformations que sont les mouvements rigides et les re-paramétrisations.La thèse propose une approche en deux temps pour la compréhension du corps humain, tout en s'attaquant aux challenges énoncés. Dans un premier temps, nous nous concentrons sur la recherche des séquences de corps humains 3D dans une base de données. Nous proposons de quitter l'espace de formes en comparant les poses et les mouvements dans des espaces de descripteurs. Nous commençons par la description de la pose du corps humain, en supposant que la pose du corps humain est caractérisée par son enveloppe convexe. Cette hypothèse nous permet de construire trois descripteurs invariants par transformations géométriques. Nous réduisons la comparaison de séquences 3D+t à une comparaison de courbes polygonales. Les résultats expérimentaux sont satisfaisants, mais un (léger) travail supplémentaire est nécessaire pour l'utilisation sur données bruitées. Nous améliorons nos résultats sur le mouvement dans une seconde approche où l'on représente les surfaces de corps humains par des varifolds dans un espace de Hilbert, en utilisant un produit scalaire qui découle d'un noyau défini positif. Les séquences de formes 3D sont représentées par des matrices dérivées de la matrice de Gram du mouvement, ce qui réduit la comparaison de séquences de corps humains 3D à une comparaison de matrices. Dans un second temps, nous nous concentrons sur la construction d'un cadre général pour la génération des déformations humaines. Nous équipons l'espace de formes d'une famille de métriques Riemanniennes élastiques qui sont invariants par mouvements rigides et re-paramétrisations, qui ont de plus aussi l'avantage de distinguer les évolutions en pose et en identité. Nous nous restreignons d'abord aux corps humains alignés, et nous proposons une approche de dimension réduite pour l'interpolation (chemin géodésique) entre corps humains, ainsi que pour des outils statistiques (moyenne de corps humains). La limitation de cette approche réside dans la nécessité de pré-aligner les corps humains avec un modèle donné. Pour résoudre ce problème, nous améliorons l'approche en l'étendant aux scans bruts de corps humains. Pour y parvenir, nous utilisons la métrique varifold comme une quantité régularisant l'espace des paramétrisations. De plus, nous représentons directement les corps humains dans un espace latent de petite dimension, équipé des images réciproques des familles de métriques Riemanniennes. Cela permet de simplifier la résolution des problèmes d'optimisation pour le calcul de géodésiques. L'alignement et l'interpolation de formes sont résolus conjointement, ce qui permet de travailler directement avec des formes non alignées. Les résultats expérimentaux démontrent une amélioration significative par rapport aux solutions existantes pour l'alignement, l'interpolation et l'extrapolation de formes. Nous démontrons finalement l'utilité de ces approches pour la recherche de pose et d'identités, le transfert de mouvement et la génération aléatoire d'identité et de pose de corps humains.
Origine : Fichiers produits par l'(les) auteur(s)
