Facial features segmentation, analysis and recognition of facial expressions by the Transferable Belief Model.
Segmentation des Traits du Visage, Analyse et Reconnaissance des Expressions Faciales par les Modèles de Croyance Transférable.
Résumé
The aim of this work is the analysis and the classification of facial expressions.
Experiments in psychology show that human is able to recognize the emotions based on the visualization of the temporal evolution of some characteristic fiducial points.
Thus we firstly propose an automatic system for the extraction of the permanent facial features (eyes, eyebrows and lips).
In this work we are interested in the problem of the segmentation of the eyes and the eyebrows.
The segmentation of lips contours is based on a previous work developed in the laboratory.
The proposed algorithm for eyes and eyebrows contours segmentation consists of three steps : firstly, the definition of parametric mo dels to fit as accurate as possible the contour of each feature ; then, a whole set of characteristic points is detected to initialize the selected mo dels in the face ; finally, the initial models are finally fitted by taking into account the luminance gradient information.
The segmentation of the eyes, eyebrows and lips contours leads to what we call skeletons of expressions.
To measure the characteristic features deformation, five characteristic distances are defined on these skeletons.
Based on the state of these distances a whole set of logical rules is defined for each one of the considered expression : Smile, Surprise, Disgust, Anger, Fear, Sadness and Neutral.
These rules are compatible with the standard MPEG-4 which provides a description of the deformations undergone by each facial feature during the production of the six universal facial expressions.
However the human behavior is not binary, a pure expression is rarely produced.
To be able to model the doubt between several expressions and to model the unknown expressions, the Transferable Belief Models are used as a fusion process for the facial expressions classification.
The classification system takes into account the evolution of the facial features deformation in the course of the time.
Towards an audio-visual system for emotional expressions classification, a preliminary study on vocal expressions is also proposed.
Experiments in psychology show that human is able to recognize the emotions based on the visualization of the temporal evolution of some characteristic fiducial points.
Thus we firstly propose an automatic system for the extraction of the permanent facial features (eyes, eyebrows and lips).
In this work we are interested in the problem of the segmentation of the eyes and the eyebrows.
The segmentation of lips contours is based on a previous work developed in the laboratory.
The proposed algorithm for eyes and eyebrows contours segmentation consists of three steps : firstly, the definition of parametric mo dels to fit as accurate as possible the contour of each feature ; then, a whole set of characteristic points is detected to initialize the selected mo dels in the face ; finally, the initial models are finally fitted by taking into account the luminance gradient information.
The segmentation of the eyes, eyebrows and lips contours leads to what we call skeletons of expressions.
To measure the characteristic features deformation, five characteristic distances are defined on these skeletons.
Based on the state of these distances a whole set of logical rules is defined for each one of the considered expression : Smile, Surprise, Disgust, Anger, Fear, Sadness and Neutral.
These rules are compatible with the standard MPEG-4 which provides a description of the deformations undergone by each facial feature during the production of the six universal facial expressions.
However the human behavior is not binary, a pure expression is rarely produced.
To be able to model the doubt between several expressions and to model the unknown expressions, the Transferable Belief Models are used as a fusion process for the facial expressions classification.
The classification system takes into account the evolution of the facial features deformation in the course of the time.
Towards an audio-visual system for emotional expressions classification, a preliminary study on vocal expressions is also proposed.
L'objectif de ce travail est l'analyse et la classification d'expressions faciales.
Des expériences en psychologie ont permis de mettre en évidence le fait que l'être humain est capable de reconnaître les émotions sur un visage à partir de la visualisation de l'évolution temporelle de certains points caractéristiques de celui-ci.
Nous avons donc tout d'abord proposé un système d'extraction automatique des contours des traits permanents du visage (yeux, sourcils et lèvres).
Dans ce travail nous nous intéressons au problème de la segmentation des yeux et des sourcils.
La segmentation des contours des lèvres est basée sur un travail précédent développé au sein du laboratoire.
L'algorithme proposé pour l'extraction des contours des yeux et des sourcils est constitué de trois étapes : d'abord la définition de modèles paramétriques pour modéliser au mieux le contour de chaque trait ; ensuite, les modèles choisis sont initialisés sur les images à segmenter grâce à l'extraction d'un ensemble de points caractéristiques ; enfin, les modèles initiaux sont ajustés finement en tenant compte d'information de gradient de luminance.
La segmentation des contours des yeux, des sourcils et des lèvres conduit a ce que nous appelons des squelettes d'expressions.
Pour mesurer la déformation des traits caractéristiques, cinq distances caractéristiques sont définies sur ces squelettes.
Basé sur l'état de ces distances un ensemble de règles logiques est défini pour chacune des expressions considérées : Sourire, Surprise, Dégout, Colère, Peur, Tristesse, Neutre.
Ces règles sont compatibles avec la norme MPEG-4 qui fournit une description des transformations subies par chacun des traits du visage lors de la production des six expressions faciales universelles.
Cependant le comportement humain n'étant pas binaire, une expression pure est rarement produite.
Pour pouvoir modéliser le doute entre plusieurs expressions et le cas des expressions inconnues, les Modèles de Croyance Transférables sont utilisés comme pro cessus de fusion pour la classification des expressions faciales.
Le système de reconnaissance développé tient compte de l'évolution au cours du temps des déformations des traits du visage.
Dans la perspective d'un système audio-visuel de reconnaissance d'expressions émotionelles, une étude préliminaire sur des expressionse vocales a aussi été menée.
Des expériences en psychologie ont permis de mettre en évidence le fait que l'être humain est capable de reconnaître les émotions sur un visage à partir de la visualisation de l'évolution temporelle de certains points caractéristiques de celui-ci.
Nous avons donc tout d'abord proposé un système d'extraction automatique des contours des traits permanents du visage (yeux, sourcils et lèvres).
Dans ce travail nous nous intéressons au problème de la segmentation des yeux et des sourcils.
La segmentation des contours des lèvres est basée sur un travail précédent développé au sein du laboratoire.
L'algorithme proposé pour l'extraction des contours des yeux et des sourcils est constitué de trois étapes : d'abord la définition de modèles paramétriques pour modéliser au mieux le contour de chaque trait ; ensuite, les modèles choisis sont initialisés sur les images à segmenter grâce à l'extraction d'un ensemble de points caractéristiques ; enfin, les modèles initiaux sont ajustés finement en tenant compte d'information de gradient de luminance.
La segmentation des contours des yeux, des sourcils et des lèvres conduit a ce que nous appelons des squelettes d'expressions.
Pour mesurer la déformation des traits caractéristiques, cinq distances caractéristiques sont définies sur ces squelettes.
Basé sur l'état de ces distances un ensemble de règles logiques est défini pour chacune des expressions considérées : Sourire, Surprise, Dégout, Colère, Peur, Tristesse, Neutre.
Ces règles sont compatibles avec la norme MPEG-4 qui fournit une description des transformations subies par chacun des traits du visage lors de la production des six expressions faciales universelles.
Cependant le comportement humain n'étant pas binaire, une expression pure est rarement produite.
Pour pouvoir modéliser le doute entre plusieurs expressions et le cas des expressions inconnues, les Modèles de Croyance Transférables sont utilisés comme pro cessus de fusion pour la classification des expressions faciales.
Le système de reconnaissance développé tient compte de l'évolution au cours du temps des déformations des traits du visage.
Dans la perspective d'un système audio-visuel de reconnaissance d'expressions émotionelles, une étude préliminaire sur des expressionse vocales a aussi été menée.
Loading...