Quelques contributions en reconnaissance automatique de la parole robuste
Résumé
La reconnaissance automatique de la parole est un domaine de recherche très actif depuis de nombreuses années. Bien que les performances des systèmes de transcription automatique aient considérablement progressé depuis tout ce temps, les erreurs commises par ces systèmes ne sont toujours pas acceptables du point de vue des utilisateurs, probablement du fait du référentiel humain qui reste largement inégalé, en particulier en ce qui concerne la robustesse des transcriptions aux conditions d'utilisation dégradées. J'étudie dans ce mémoire l'état de l'art du domaine pour la période allant de 1995 à 2010, en me concentrant sur les aspects liés à la robustesse des modèles acoustiques avec un seul microphone. J'y décris également mes principales contributions, en les classant selon les différents étages composant un système de reconnaissance automatique: paramétrisation, modèle acoustique et algorithme de décodage. Dans le domaine de la paramétrisation, mes deux contributions principales concernent une étude du domaine de l'analyse computationnelle de scènes auditives, ainsi qu'une nouvelle approche de débruitage de la parole s'appuyant sur une modélisation bayésienne des espaces bruités et non-bruités et de leur inter-dépendances. Mes travaux sur les modèles acoustiques ont débuté pendant ma thèse de doctorat, qui concernait l'étude des modèles multi-bandes, dans lesquels le spectre du signal de parole est décomposé en bandes de fréquences indépendantes. Dans ce cadre, j'ai notamment proposé un algorithme d'apprentissage discriminant global et la conception de nouvelles unités phonétiques adaptées à l'information phonétique présente dans les bandes. Une autre contribution importante est l'amélioration de l'adaptation jacobienne, qui est une approximation linéaire de la méthode PMC (Parallel Model Combination) dans le domaine cepstral. J'ai notamment proposé une approche permettant de choisir le compromis précision / complexité souhaité, et étendu l'approche au bruit convolutif. Une partie conséquente de mes travaux a ensuite concerné la reconnaissance avec données manquantes, qui, par ses aspects de marginalisation, peut être interprétée comme une modification de l'algorithme de reconnaissance. Cette modification exploite une nouvelle source d'information concernant la localisation spectro-temporelle du bruit afin de concentrer le décodage sur les observations acoustiques les moins corrompues. J'ai ainsi travaillé sur l'adaptation de cette approche au domaine cepstral, notamment en proposant un nouveau formalisme de calcul des masques minimisant directement le taux d'erreur de reconnaissance. Une autre contribution concerne le développement de modèles bayésiens originaux qui discrétisent l'espace de recherche pour estimer les masques, ou encore d'une nouvelle méthode minimisant la largeur de l'intervalle de marginalisation. Cette première partie du mémoire est guidée par une analyse des progrès réalisés en fonction d'un critère, celui de l'information prise en compte par les différentes méthodes proposées. Ce critère est en effet très important, car il a une grande influence sur les évaluations expérimentales et sur les capacités de généralisation des approches. De plus, alors que d'innombrables modèles théoriques d'apprentissage ont été proposés et testés depuis vingt ans, toutes ces approches exploitent quasiment exclusivement l'information acoustique et lexicale. Je soupçonne les limites des paradigmes actuels d'être en bien plus grande partie dus au déficit d'information et de connaissance qu'aux capacités des modèles eux-mêmes. J'ai donc commencé à m'intéresser depuis 2004 aux autres sources d'information qui pourraient servir en reconnaissance de la parole, notamment au contexte et plus particulièrement aux connaissances syntaxiques et sémantiques. Ce mémoire développe ces aspects essentiellement dans une deuxième partie consacrée à la reconnaissance des actes de dialogue, à la segmentation en phrases, à la sémantique lexicale par le biais de la détection automatique du thème, et enfin à l'analyse syntaxique des transcriptions automatiques de l'oral. Mon ambition est tout d'abord d'étudier et d'adapter les approches en linguistique computationnelle permettant d'extraire ces indices du flux de parole afin de prendre en compte les spécificités des transcriptions automatiques, puis d'exploiter en retour ces nouvelles informations afin d'améliorer le système de transcription automatique.