Representation of spontaneous multimodal emotional behaviors : perception, annotation and synthesis
Représentation de comportements emotionnels multimodaux spontanés : perception, annotation et synthèse
Résumé
The goal of this thesis is to represent spontaneous emotions and the associated multimodal signs in order to contribute to the design of the future interactive affective computing systems. Current prototypes remain limited to the detection and the synthesis of a few primary emotions and are grounded on acted data collected in-lab. In order to model the sophisticated relations between spontaneous emotions and their expressions in different modalities, an exploratory approach was defined. We collected and annotated a TV corpus of interviews. The collected data displayed emotions which are more complex than the six basic emotions (anger, fear, joy, sadness, surprise, disgust). Indeed, one observes superpositions, masking and conflicts between positive and negative emotions. We report several experiments which enabled the identification and definition of several levels of representation of emotions and their associated expressions which are relevant for spontaneous complex emotions. As future directions, the tools designed during this thesis (coding schemes, computation of metrics, annotation protocols) will be used for the design of models enabling the management of multimodal expressions of spontaneous emotions in future affective computing systems.
L'objectif de cette thèse est de représenter les émotions spontanées et les signes multimodaux associés pour contribuer à la conception des futurs systèmes affectifs interactifs. Les prototypes actuels sont généralement limités à la détection et à la génération de quelques émotions simples et se fondent sur des données audio ou vidéo jouées par des acteurs et récoltées en laboratoire. Afin de pouvoir modéliser les relations complexes entre les émotions spontanées et leurs expressions dans différentes modalités, une approche exploratoire est nécessaire. L'approche exploratoire que nous avons choisie dans cette thèse pour l'étude de ces émotions spontanées consiste à collecter et annoter un corpus vidéo d'interviews télévisées. Ce type de corpus comporte des émotions plus complexes que les 6 émotions de base (colère, peur, joie, tristesse, surprise, dégoût). On observe en effet dans les comportements émotionnels spontanés des superpositions, des masquages, des conflits entre émotions positives et négatives. Nous rapportons plusieurs expérimentations ayant permis la définition de plusieurs niveaux de représentation des émotions et des paramètres comportementaux multimodaux apportant des informations pertinentes pour la perception de ces émotions complexes spontanées. En perspective, les outils développés durant cette thèse (schémas d'annotation, programmes de mesures, protocoles d'annotation) pourront être utilisés ultérieurement pour concevoir des modèles utilisables par des systèmes interactifs affectifs capables de détecter/synthétiser des expressions multimodales d'émotions spontanées.
Loading...