3D Facial Expressions Recognition Using Shape Analysis and Machine Learning
Reconnaissance d'Expressions Faciale 3D Basée sur l'Analyse de Forme et l'Apprentissage Automatique
Résumé
Facial expression recognition is a challenging task, which has received growing interest within the research community, impacting important applications in fields related to human computer interaction (HCI). Toward building human-like emotionally intelligent HCI devices, scientists are trying to include human emotional state in such systems. The recent development of 3D acquisition sensors has made 3D data more available, and this kind of data comes to alleviate the problems inherent in 2D data such as illumination, pose and scale variations as well as low resolution. Several 3D facial databases are publicly available for the researchers in the field of face and facial expression recognition to validate and evaluate their approaches. This thesis deals with 3D facial expression recognition (FER) problem and proposes an approach based on shape analysis to handle both 3D static and 3D dynamic FER tasks. Our approach includes the following steps: first, a curve-based representation of the 3D face model is proposed to describe facial features. Then, once these curves are extracted, their shape information is quantified using a Riemannian framework. We end up with similarity scores between different facial local shapes constituting feature vectors associated with each facial surface. Afterwards, these features are used as entry parameters to some machine learning and classification algorithms to recognize expressions. Exhaustive experiments are derived to validate our approach and recognition results of 98.81% for 3D FER and 93.83% for 4D FER are attained and are compared to the related work achievements.
La reconnaissance des expressions faciales est une tâche difficile, qui a reçu un intérêt croissant au sein de la communauté des chercheurs, et qui impacte les applications dans des domaines liés à l'interaction homme-machine (IHM). Dans le but de construire des systèmes IHM approchant le comportement humain et emotionnellement intelligents, les scientifiques essaient d'introduire la composante émotionnelle dans ce type de systèmes. Le développement récent des capteurs d'acquisition 3D a fait que les données 3D deviennent de plus en plus disponibles, et ce type de données vient pour remédier à des problèmes inhérents aux données 2D tels que les variations d'éclairage, de pose et d'échelle et de faible résolution. Plusieurs bases de données 3D du visage sont publiquement disponibles pour les chercheurs dans le domaine de la reconnaissance d'expression faciale leur permettant ainsi de valider et d'évaluer leurs approches. Cette thèse traite le problème la reconnaissance d'expressions faciale et propose une approche basée sur l'analyse de forme pour la reconnaissance d'expressions dans des cadres de données 3D statiques et 3D dynamiques. Tout d'abord, une représentation du modèle 3D du visage basée sur les courbes est proposée pour décrire les traits du visage. Puis, utilisant ces courbes, l'information de forme qui leur est liée est quantifiée en utilisant un cadre de travail basé sur la géométrie Riemannienne. Nous obtenons ainsi des scores de similarité entre les différentes formes locales du visage. Nous constituons, alors, l'ensemble des descripteurs d'expressions associées à chaque surface faciale. Enfin, ces descripteurs sont utilisés pour la classification l'expressions moyennant des algorithmes d'apprentissage automatique. Des expérimentations exhaustives sont alors entreprises pour valider notre approche. Des résultats de taux de reconnaissance d'expressions de l'ordre de 98.81% pour l'approche 3D statique, et de l'ordre de 93.83% pour l'approche 3D dynamique sont alors atteints, et sont comparés par rapport aux résultats des travaux de l'état de l'art.
Loading...