Vers une adaptation autonome des modèles acoustiques multilingues pour le traitement automatique de la parole

Résumé : Les technologies de reconnaissance automatique de la parole sont désormais intégrées dans de nombreux systèmes. La performance des systèmes de reconnaissance vocale pour les locuteurs non natifs continue cependant à souffrir de taux d'erreur élevés, en raison de la différence entre la parole non native et les modèles entraînés. La réalisation d'enregistrements en grande quantité de parole non native est généralement une tâche très difficile et peu réaliste pour représenter toutes les origines des locuteurs. Ce travail de thèse porte sur l'amélioration des modèles acoustiques multilingues pour la transcription phonétique de la parole de type « réunion multilingue ». Traiter ce type de parole constitue plusieurs défis : 1) il peut exister de la conversation entre des locuteurs natifs et non natifs ; 2) il y a non seulement de la parole non native d'une langue, mais de plusieurs langues parlées par des locuteurs venant de différentes origines ; 3) il est difficile de collecter suffisamment de données pour amorcer les systèmes de transcription. Pour répondre à ces défis, nous proposons un processus d'adaptation de modèles acoustiques multilingues que nous appelons « adaptation autonome ». Dans l'adaptation autonome, nous étudions plusieurs approches pour adapter les modèles acoustiques multilingues de manière non supervisée (les langues parlées et les origines des locuteurs ne sont pas connues à l'avance) et qui n'utilise aucune donnée supplémentaire lors du processus d'adaptation. Les approches étudiées sont décomposées selon deux modules. Le premier module qui s'appelle « l'observateur de langues » consiste à récupérer les caractéristiques linguistiques (les langues parlées et les origines des locuteurs) des segments à décoder. Le deuxième module consiste à adapter le modèle acoustique multilingue en fonction des connaissances fournies par l'observateur de langue. Pour évaluer l'utilité de l'adaptation autonome d'un modèle acoustique multilingue, nous utilisons les données de test, qui sont extraites de réunions multilingues, contenant de la parole native et non native de trois langues : l'anglais (EN), le français (FR) et le vietnamien (VN). Selon les résultats d'expérimentation, l'adaptation autonome donne des résultats prometteurs pour les paroles non natives mais dégradent très légèrement les performances sur de la parole native. Afin d'améliorer la performance globale des systèmes de transcription pour toutes les paroles natives et non natives, nous étudions plusieurs approches de détection de parole non native et proposons de cascader un tel détecteur avec notre processus d'adaptation autonome. Les résultats obtenus ainsi, sont les meilleurs parmi toutes les expériences réalisées sur notre corpus de réunions multilingues.
Type de document :
Thèse
Autre [cs.OH]. Université de Grenoble, 2011. Français. 〈NNT : 2011GRENM017〉
Liste complète des métadonnées

Littérature citée [62 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-00685204
Contributeur : Abes Star <>
Soumis le : mercredi 4 avril 2012 - 14:55:33
Dernière modification le : jeudi 11 octobre 2018 - 08:48:01
Document(s) archivé(s) le : jeudi 5 juillet 2012 - 02:32:56

Fichier

20337_SAM_2011_archivage_1_.pd...
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-00685204, version 1

Citation

Sethserey Sam. Vers une adaptation autonome des modèles acoustiques multilingues pour le traitement automatique de la parole. Autre [cs.OH]. Université de Grenoble, 2011. Français. 〈NNT : 2011GRENM017〉. 〈tel-00685204〉

Partager

Métriques

Consultations de la notice

717

Téléchargements de fichiers

425