Acquisition et modélisation de données articulatoires dans un contexte multimodal

Michael Aron 1
1 MAGRIT - Visual Augmentation of Complex Environments
INRIA Lorraine, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : La connaissance des positions et des mouvements des articulateurs (lèvres, palais, langue...) du conduit vocal lors de la phonation est un enjeu crucial pour l'étude de la parole. Puisqu'il n'existe pas encore de système permettant l'acquisition de ces positions et de ces mouvements, ce travail de thèse s'intéresse à la fusion de plusieurs modalités d'imagerie et de capteurs de localisation pour l'acquisition des positions des articulateurs dans l'espace et dans le temps. Nous décrivons un ensemble de protocoles et de méthodes pour obtenir et fusionner automatiquement un important volume de données échographiques (imageant en 2D la dynamique de la langue), stéréoscopiques (imageant en 3D la dynamique des lèvres), de capteurs électromagnétiques (capturant des points 3D de la langue et du visage), et d'Imagerie par Résonance Magnétique (IRM) pour acquérir en 3D l'ensemble des articulateurs en position statique. Nos contributions concernent plus particulièrement la synchronisation temporelle, le recalage spatial des données et l'extraction automatique des formes à partir des données (suivi de la langue dans les images échographiques). Nous évaluons la précision sur chaque donnée extraite, ainsi que sur l'ensemble des données fusionnées. Nous les validons enfin sur un modèle articulatoire existant. Ces travaux permettent l'obtention de données bien fondées pour la mise en place et l'étude de modèles articulatoires pour des applications en parole.
Type de document :
Thèse
Interface homme-machine [cs.HC]. Université Henri Poincaré - Nancy I, 2009. Français
Liste complète des métadonnées

Littérature citée [109 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-00432124
Contributeur : Michael Aron <>
Soumis le : mercredi 18 novembre 2009 - 15:07:05
Dernière modification le : lundi 16 avril 2018 - 10:41:59
Document(s) archivé(s) le : samedi 26 novembre 2016 - 15:52:13

Fichier

Identifiants

  • HAL Id : tel-00432124, version 2

Collections

Citation

Michael Aron. Acquisition et modélisation de données articulatoires dans un contexte multimodal. Interface homme-machine [cs.HC]. Université Henri Poincaré - Nancy I, 2009. Français. 〈tel-00432124v2〉

Partager

Métriques

Consultations de la notice

386

Téléchargements de fichiers

2221