3D Dynamic Facial Sequences Analysis for Face Recognition and Emotion Detection
Analyse de séquences faciales 3D pour la reconnaissance d’identité et la détection des émotions
Résumé
In this thesis, we have investigated the problems of identity recognition and emotion
detection from facial 3D shapes animations (called 4D faces). In particular, we have
studied the role of facial (shapes) dynamics in revealing the human identity and
their exhibited spontaneous emotion. To this end, we have adopted a comprehensive
geometric framework for the purpose of analyzing 3D faces and their dynamics across
time. That is, a sequence of 3D faces is first split to an indexed collection of short-term
sub-sequences that are represented as matrix (subspace) which define a special matrix
manifold called, Grassmann manifold (set of k-dimensional linear subspaces). The geometry
of the underlying space is used to effectively compare the 3D sub-sequences,
compute statistical summaries (e.g. sample mean, etc.) and quantify densely the divergence
between subspaces. Two different representations have been proposed to address
the problems of face recognition and emotion detection. They are respectively (1) a
dictionary (of subspaces) representation associated to Dictionary Learning and Sparse
Coding techniques and (2) a time-parameterized curve (trajectory) representation on
the underlying space associated with the Structured-Output SVM classifier for early
emotion detection. Experimental evaluations conducted on publicly available BU-4DFE,
BU4D-Spontaneous and Cam3D Kinect datasets illustrate the effectiveness of these representations
and the algorithmic solutions for identity recognition and emotion detection
proposed in this thesis.
L’étude menée dans le cadre de cette thèse vise l’étude du rôle de la dynamique de formes faciales 3D à révéler l’identité des personnes et leurs états émotionnels. Pour se faire, nous avons proposé un cadre géométrique pour l’étude des formes faciales 3D et leurs dynamiques dans le temps. Une séquence 3D est d’abord divisée en courtes sous-séquences, puis chacune des sous-séquences obtenues est représentée dans une variété de Grassmann (ensemble des sous-espaces linéaires de dimension fixe). Nous avons exploité la géométrie de ces variétés pour comparer des sous-séquences 3D, calculer des statistiques (telles que des moyennes) et quantifier la divergence entre des éléments d’une même variété Grassmannienne. Nous avons aussi proposé deux représentations possibles pour les deux applications cibles – (1) la première est basée sur les dictionnaires (de sous-espaces) associée à des techniques de Dictionary Learning Sparse Coding pour la reconnaissance d’identité et (2) le représentation par des trajectoires paramétrées par le temps sur les Grassmanniennes couplée avec une variante de l’algorithme de classification SVM, permettant un apprentissage avec des données partielles, pour la détection précoce des émotions spontanée. Les expérimentations réalisées sur les bases publiques BU-4DFE, Cam3D et BP4D-Spontaneous montrent à la fois l’intérêt du cadre géométrique proposé (en terme de temps de calcul et de robustesse au bruit et aux données manquantes) et les représentations adoptées (dictionnaires pour la reconnaissance d’identité et trajectoires pour la détection précoce des émotions spontanées).
Origine : Fichiers produits par l'(les) auteur(s)
Loading...