Automatic Structuring of Television Streams

Délinéarisation automatique de flux de télévision

Gaël Manson (1, 2)

1 FT R&D - France Télécom Recherche & Développement
2 TEXMEX - Multimedia content-based indexing

TV streams are structured : they consist of consecutive television programs (news , movies, magazines, etc.) and of inter-programs (commercial, trailer, sponsoring, etc.). As soon as they are broadcasted on the air, the TV streams lose unfortunately all information on their structure. The main problem of this thesis is to automatically recover, from the received linear audio/visual signals and using the possible available metadata provided by TV channels, the original structure of the TV streams, with the exact start and the exact end of each broadcasted program. This thesis presents a full system for automatic TV stream structuring that has been rigorously evaluated on four weeks of real TV streams, on two different TV channels. The system makes use of the repetition property of the inter-programs. A first segmentation step based on repeated video sequence detection is performed. Resulting segments (the occurrences of repeated sequences and the rest of the stream) are then classified in program segments or in inter-program segments. The proposed classification solution is based on Inductive Logic Programming. It makes use of neighboring relations between segments. Finally, detected program segments are labelled using metadata and those that belong to the same TV program are reunified. When metadata are not available, program segments of the same TV program can only be reunified based on visual and structure similarities.

Les flux de télévision sont structurés : ils sont en effet composés de programmes successifs (journaux, films, magazines, etc.) et entrecoupés par des inter-programmes (publicités, bandes annonces, parrainages, etc.). Dès que les flux sont diffusés sur les ondes, ils perdent malheureusement toute information de structure. La problématique de la délinéarisation automatique est de retrouver la structure des flux TV, avec en particulier le début précis et la fin précise de chaque programme, à partir des signaux audiovisuels reçus et des métadonnées éventuellement fournies par les chaînes TV. Cette thèse présente un système complet de délinéarisation automatique rigoureusement évalué sur quatre semaines de flux TV réels, pour deux chaînes de télévision différentes. Les travaux se basent sur la propriété de répétition des inter-programmes. Cette propriété est exploitée à travers la détection de toutes les répétitions d'un flux grâce à une technique de clustering des images clés du flux. Ces répétitions servent à la création de segments qui sont ensuite classés en segments de programme ou en segments d'inter-programme suivant les caractéristiques des répétitions et les relations entre les segments. Pour cela, le système utilise la programmation logique inductive. Une fois les segments classés, les segments de programme appartenant à un même programme sont étiquetés et réunifiés grâce aux métadonnées éventuelles. En l'absence de métadonnées, les segments de programme d'un même programme peuvent être seulement réunifiés grâce à des similarités visuelles.

Mots clés: Wire broadcasting; television programs; video recordings; automatic indexing; audiovisual repetitions; machine learning; logic programming

Mots clés: télévision; émissions; télédiffusion; vidéos; indexation automatique; répétations audiovisuelles; apprentissage automatique; programmation logique

Domaines: Interface homme-machine [cs.HC]

Gaël Manson. Délinéarisation automatique de flux de télévision. Interface homme-machine [cs.HC]. Université Rennes 1, 2010. Français. ⟨NNT : ⟩. ⟨tel-00512675v2⟩