Personalizing facial expressions by exploring emotional mental prototypes

Personnaliser les expressions faciales en explorant les prototypes mentaux émotionnels

Sen Yan (1)

1 CentraleSupélec [campus de Rennes]

Facial expressions are an essential form of nonverbal communication. Nowfacial expression manipulation (FEM) techniques have flooded our daily lives. However,in the application context, there are several requirements that need to be addressed. Diversity: facial expression prototypes should be multiple and different between different users. Flexibility: facial expressions should be personalized, i.e., the system can find the facial expression prototype that can meet the need of the users. Exhaustiveness: most FEM technologies can only deal with the six basic emotions, whereas there are more than 4000 emotion labels. Expertise-free: the FEM system should be controllable by anyone withoutthe need for expert knowledge (e.g., psychol-ogists). Efficiency: the system with interactionshould consider user fatigue. In this thesis, to fulfill all the requirements,we proposed an interdisciplinary approach by combining generative adversarial networks with the psychophysical reverse correlation process. Moreover, we created an interactive microbial genetic algorithm to optimize the entire system.

Les expressions faciales sont une forme essentielle de communication non verbale. Aujourd’hui, les techniques de manipulation des expressions faciales (FEM) ont envahi notre quotidien. Cependant, dans le contexte de l’application, plusieurs exigences doivent être satisfaites. Diversité : les prototypes d’expression faciale doivent être multiples et différents selon les utilisateurs. Flexibilité : les expressions faciales doivent être personnalisées, c’est-à-dire que le système peut trouver le prototype d’expression faciale qui répond aux besoins des utilisateurs. Exhaustivité : la plupart des technologies FEM ne peuvent traiter que les six émotions de base, alors qu’il existe plus de 4000 émotions dans le monde réel. Absence d’expertise : le système FEM doit pouvoir être contrôlé par n’importe qui sans nécessiter de connaissances spécialisées (par exemple, des psychologues). Efficacité : le système avec interaction doit tenir compte de la fatigue de l’utilisateur. Dans cette thèse, pour répondre à toutes les exigences, nous avons proposé une approche interdisciplinaire en combinant les réseaux adversaires génératifs avec le processus de corrélation renversée psychophysique. De plus, nous avons créé un algorithme génétique microbien interactif pour optimiser l’ensemble du système.

Mots clés: Facial expression manipulation; Generative adversarial networks; Reverse correlation; Interactive computation; Genetic algorithm

Mots clés: Manipulation d’expressions faciales; Réseaux adversaires génératifs; Corrélation renversée; Calcul interactif; Algorithme génétique

Domaines: Traitement du signal et de l'image [eess.SP]; Vision par ordinateur et reconnaissance de formes [cs.CV]

Sen Yan. Personalizing facial expressions by exploring emotional mental prototypes. Signal and Image Processing. CentraleSupélec, 2023. English. ⟨NNT : 2023CSUP0002⟩. ⟨tel-04242292v2⟩