Agent virtuel signeur - Aide à la communication des personnes sourdes

Alexis Héloir (1)

1 VALORIA - Laboratoire de Recherche en Informatique et ses Applications de Vannes et Lorient

We present in this Phd report our investigation dedicated toward the design and animation of autonomous and realistic signing agents. The highlight is focused on expressive quality of gestures. We show how expressive quality of gesture may convey meaningful information in the context of iconicity. We then propose a discourse model that is able to handle both illustrative and non illustrative intends involved in sign language production. Tanks to motion analysis performed on a gesture sequence that is captured on a professional deaf sign language instructor, we highlight key expressive parameters. We then propose motion generation methods that suits our gesture specification model. this motion generation method rely on several gesture generation methods that are able to handle the variability induced by the requested expressive quality of the gesture.

Les travaux présentés dans cette thèse sont dédiés à la conception et l'animation d'entités virtuelles autonomes et réalistes, capables de générer des gestes de la Langue des Signes. L'accent est mis sur la qualité expressive des gestes. Nous montrons que les aspects expressifs du geste, en plus de conférer au mouvement un aspect réaliste, participent à la construction du sens dans le cadre de la visée iconisatrice de la langue des signes. Nous proposons un modèle du discours prenant en compte les visées illustrative et non illustrative de la langue des signes ainsi que ses principales structures de grande iconicité. Ce modèle appelle une spécification des gestes capable de gérer les différentes modes expressifs. Une phase d'analyse nous permet ensuite d'identifier certains paramètres d'expressivité. Cette analyse s'applique sur une séquence de gestes en langue des signes française réalisée par un locuteur sourd selon différentes qualités expressives. Enfin, nous proposons une méthode de génération de mouvement compatible avec le modèle de description des gestes. Cette méthode de génération met en oeuvre différentes méthodes de génération de mouvement dont un modèle de contrôle sensorimoteur capable de s'adapter aux variabilités spatiales et temporelles induites par les paramètres d'expressivité.

Mots clés: Avatar; animation; langue des signes; analyse/synthèse

Domaines: Interface homme-machine [cs.HC]

Alexis Héloir. Agent virtuel signeur - Aide à la communication des personnes sourdes. Interface homme-machine [cs.HC]. Université de Bretagne Sud; Université Européenne de Bretagne, 2008. Français. ⟨NNT : ⟩. ⟨tel-00516280⟩