Segmentation et identification audiovisuelle de personnes dans des journaux télévisés

Résumé : Cette thèse traite de l’identification des locuteurs et des visages dans les journaux télévisés. L’identification est effectuée à partir des noms affichés à l’écran dans les cartouches qui servent couramment à annoncer les locuteurs. Puisque ces cartouches apparaissent parcimonieusement dans la vidéo, obtenir de bonnes performances d’identification demande une bonne qualité du regroupement audiovisuel des personnes. Par regroupement, on entend ici la tâche de détecteret regrouper tous les instants où une personne parle ou apparaît. Cependant les variabilités intra-personnes gênent ce regroupement. Dans la modalité audio, ces variabilités sont causées par la parole superposée et les bruits de fond. Dans la modalité vidéo, elles correspondent essentiellement à des variations de la pose des visages dans les scènes de plateaux avec, en plus, des variations de luminosité (notamment dans le cas des reportages). Dans cette thèse, nous proposons une modélisation du contexte de la vidéo est proposée afin d’optimiser le regroupement pour une meilleure identification. Dans un premier temps, un modèle basé sur les CRF est proposé afin d’effectuer le regroupement audiovisuel des personnes de manière jointe. Dans un second temps, un système d’identification est mis en place, basé sur la combinaison d’un CRF de nommage à l’échelle des classes, et du CRF développé précédemment pour le regroupement. En particulier, des informations de contexte extraites de l’arrière plan des images et des noms extraits des cartouches sont intégrées dans le CRF de regroupement. Ces éléments permettent d’améliorer le regroupement et d’obtenir des gains significatifs en identification dans les scènes de plateaux.
Type de document :
Thèse
Vision par ordinateur et reconnaissance de formes [cs.CV]. Université du Maine, 2015. Français. 〈NNT : 2015LEMA1021〉
Liste complète des métadonnées

Littérature citée [91 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01336572
Contributeur : Abes Star <>
Soumis le : mercredi 6 juillet 2016 - 14:33:07
Dernière modification le : vendredi 7 juillet 2017 - 13:15:05
Document(s) archivé(s) le : vendredi 7 octobre 2016 - 10:32:47

Fichier

2015LEMA1021.pdf
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-01336572, version 1

Collections

Citation

Paul Gay. Segmentation et identification audiovisuelle de personnes dans des journaux télévisés. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université du Maine, 2015. Français. 〈NNT : 2015LEMA1021〉. 〈tel-01336572〉

Partager

Métriques

Consultations de la notice

208

Téléchargements de fichiers

112