Semantic structuring of video collections fromspeech : segmentation and hyperlinking

Structuration sémantique des collections vidéos à partir du discours : segmentation et création d'hyperliens

Anca-Roxana Şimon (1, 2)

1 IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires
2 LinkMedia - Creating and exploiting explicit links between multimedia fragments

New challenges emerged in the past years as the audiovisual landscape significantly transformed with the emergence of Internet-based TV. The decision of what to watch and in what order no longer belongs to the TV station but the user. New solutions must be offered to users in order to facilitate precise and quick access to the desired information contained in the ever increasing amounts of audiovisual content: for example, to identify a specific event, a TV show fragment containing a certain public person or addressing a particular topic, or to browse sequentially across all segments of videos addressing this topic. These new and varied features imply the development of innovative methods for structuring and exploiting the audiovisual content, which represent the focus of this thesis. We offer automatic topic structuring techniques of audiovisual data to reveal the internal organization of each program. We also study the implications of the structure produced on various tasks such as creating hyperlinks between videos (to allow navigation between TV show fragments that are thematically related) or creating automatic summaries. All the work is carried out on automatic transcripts of the speech pronounced in TV shows, to achieve generic solutions, not dedicated to a particular kind of show.

Au cours des dernières années, de nouveaux challenges ont émergé avec la transformation très significative du paysage audiovisuel due à l'émergence de la télévision sur Internet. La décision de ce qui est regardé et dans quel ordre n'appartient en effet plus à la chaîne TV concernée mais à l'utilisateur. De nouveaux moyens facilitant l'accès précis et rapide à l'information souhaitée au sein des quantités toujours croissantes de contenus audiovisuels doivent donc être proposés aux utilisateurs : par exemple, pour repérer un événement spécifique, un fragment d'émission contenant une certaine personnalité ou abordant un sujet particulier, voire pour naviguer successivement entre tous les segments de vidéos abordant ce sujet. Ces fonctionnalités nouvelles et variées impliquent le développement de méthodes novatrices de structuration et d'exploitation des contenus audiovisuels, sujet abordé dans cette thèse. Nous proposons d'une part des techniques automatiques de structuration thématique des données audiovisuelles permettant de révéler l'organisation interne de chaque programme. Nous étudions également les implications de la structure produite sur diverses tâches telles que la création d'hyperliens entre vidéos (afin de permettre une navigation entre fragments d'émissions thématiquement proches) ou la création de résumés automatiques. L'ensemble des travaux menés est effectué sur les transcriptions automatiques de la parole prononcée dans les émissions, afin d'obtenir des solutions génériques, non dédiées à un type de programme particulier.

Mots clés: Topic segmentation; TV shows; Hyperlinking

Mots clés: Segmentation thématique; Journaux télévisés; Hyperliens entre vidéos

Domaines: Théorie et langage formel [cs.FL]

Anca-Roxana Şimon. Semantic structuring of video collections fromspeech : segmentation and hyperlinking. Formal Languages and Automata Theory [cs.FL]. Université de Rennes, 2015. English. ⟨NNT : 2015REN1S076⟩. ⟨tel-01253678v2⟩