Stratégie de fusion pour des signaux écrits et sonores : Application à la reconnaissance d'expressions mathématiques

Sofiane Medjkoune 1
1 irccyn-ivc
IRCCyN - Institut de Recherche en Communications et en Cybernétique de Nantes
Résumé : L’être humain dans sa quête de mise en œuvre d’un dialogue le plus naturel possible avec sa machine s’inspire continuellement de la machine la plus perfectionnée connue à ce jour : l’être humain lui-même. Une caractéristique forte du dialogue entre humains est le recours à la multi-modalité. Le travail rapporté dans ce manuscrit porte sur l’étude, la conception et la validation d’un système de reconnaissance des expressions mathématiques, classe particulière de structures bidimensionnelles. Ce système est développé dans un cadre bimodal où l’on considère de façon complémentaire l’écriture manuscrite et la parole. La complémentarité qui existe entre ces deux modalités a été vérifiée et exploitée à profit dans notre système, d’abord dans un cadre simplifié qui est celui de la reconnaissance des symboles mathématiques isolés, puis dans un cadre plus général et plus réaliste, celui des expressions mathématiques complètes. La mise en place de ce système bimodal et sa validation requérant la disponibilité de données bimodales, nous avons collecté, complètement annoté et mis à disposition une base, nommée HAMEX, contenant 4350 expressions bimodales couvrant différents domaines. Nous montrons comment utiliser la transcription automatique de la dictée d’une expression pour guider le système de reconnaissance du signal manuscrit pour obtenir des résultats supérieurs au système monomodal. Les performances de ce système s’avèrent être meilleures que celles d’un système mono-modal basé uniquement sur le signal manuscrit seul.
Liste complète des métadonnées

Littérature citée [29 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/tel-01135694
Contributeur : Harold Mouchère <>
Soumis le : mercredi 25 mars 2015 - 16:51:43
Dernière modification le : mercredi 29 novembre 2017 - 10:10:24
Document(s) archivé(s) le : jeudi 2 juillet 2015 - 07:34:46

Identifiants

  • HAL Id : tel-01135694, version 1

Collections

Citation

Sofiane Medjkoune. Stratégie de fusion pour des signaux écrits et sonores : Application à la reconnaissance d'expressions mathématiques. Traitement du signal et de l'image. Université de Nantes, 2013. Français. 〈NNT : ED 503-206〉. 〈tel-01135694〉

Partager

Métriques

Consultations de la notice

314

Téléchargements de fichiers

92