Video documents comparison using Similarity Matrix
Comparaison des documents audiovisuels
par Matrice de Similarité
Résumé
The work of this thesis relates to the comparison of video documents. The field of digital video is in full expansion. Videos are now present in large quantity even for personal use. The video comparison is a basic analysis operation in complement of classification, extraction and structuring of videos.
Traditional approaches of comparison are primarily based on the low-level features of the videos to be compared, considered as multidimensional vectors. Other approaches are based on the similarity of frames without taking into account neither the temporal composition of the video nor the audio
layer. The main disadvantage of these methods is that they reduce the comparison role to a simple operator robust to noise effects. Such operators are generally used in order to identify the various specimens of a same document.
The originality of our approach lies in the introduction of the of style similarity notion, taking as a starting point the human criteria into the comparison. These criteria are more flexible, and do not impose a strict similarity of all the studied features at the same time.
We define an algorithm of extraction of the similarities between the series of values produced by
the analysis of the audiovisual low-level features. The algorithm is inspired by the dynamic programming
and the time series comparison methods.
We propose a representation of the data resulting from these processings in the form of a matrix
pattern suitable for the visual and immediate comparison of two videos. This matrix is then used to
propose a generic similarity measure. The measure is applicable independently to videos of comparable
or heterogeneous contents.
We developed several applications to demonstrate the behavior of the comparison method and the
similarity measure. The experiments concern primarily: - the identification of the structure in a
collection/sub-collection of documents, - the description of stylistics elements in a movie, and - the
analysis of the grid of programs from a TV stream.
Traditional approaches of comparison are primarily based on the low-level features of the videos to be compared, considered as multidimensional vectors. Other approaches are based on the similarity of frames without taking into account neither the temporal composition of the video nor the audio
layer. The main disadvantage of these methods is that they reduce the comparison role to a simple operator robust to noise effects. Such operators are generally used in order to identify the various specimens of a same document.
The originality of our approach lies in the introduction of the of style similarity notion, taking as a starting point the human criteria into the comparison. These criteria are more flexible, and do not impose a strict similarity of all the studied features at the same time.
We define an algorithm of extraction of the similarities between the series of values produced by
the analysis of the audiovisual low-level features. The algorithm is inspired by the dynamic programming
and the time series comparison methods.
We propose a representation of the data resulting from these processings in the form of a matrix
pattern suitable for the visual and immediate comparison of two videos. This matrix is then used to
propose a generic similarity measure. The measure is applicable independently to videos of comparable
or heterogeneous contents.
We developed several applications to demonstrate the behavior of the comparison method and the
similarity measure. The experiments concern primarily: - the identification of the structure in a
collection/sub-collection of documents, - the description of stylistics elements in a movie, and - the
analysis of the grid of programs from a TV stream.
Les travaux de cette thèse concernent la comparaison des documents vidéo. Dans le domaine en pleine expansion de la vidéo numérique, les documents disponibles sont maintenant présents en quantité importante même dans les foyers. Opération de base de tout type d'analyse de contenus, en complément de la classification, de l'extraction et de la structuration, la comparaison dans le domaine de l'audiovisuel est d'une utilité qui n'est pas à démontrer.
Des approches classiques de comparaison se basent essentiellement sur l'ensemble des caractéristiques
bas niveaux des documents à comparer, en les considérant comme des vecteurs multidimensionnels. D'autres approches se basent sur la similarité des images composant la vidéo sans tenir compte de la composition temporelle du document ni de la bande
son. Le défaut que l'on peut reprocher à ces méthodes est qu'elles restreignent la comparaison à un simple opérateur binaire robuste au bruit. De tels opérateurs sont généralement utilisés afin d'identifier les différents exemplaires d'un même document. L'originalité de notre démarche réside dans le fait que nous introduisons la notion de la similarité de style
en s'inspirant des critères humains dans la comparaison des documents vidéo. Ces critères
sont plus souples, et n'imposent pas une similarité stricte de toutes les caractéristiques étudiées
à la fois.
En nous inspirant de la programmation dynamique et de la comparaison des séries chronologiques, nous définissons un algorithme d'extraction des similarités entre les séries de valeurs produites par l'analyse de caractéristiques audiovisuelles de bas-niveau. Ensuite, un second traitement générique approxime le résultat de l'algorithme de la longueur de la Plus
Longue Sous-Séquence Commune (PLSC) plus rapidement que ce dernier. Nous proposons une représentation des données issues de ces traitements sous la forme d'un schéma matriciel propre à la comparaison visuelle et immédiate de deux contenus. Cette matrice peut être également utilisée pour définir une mesure de similarité générique, applicable à des documents de même genre ou de genres hétérogènes.
Plusieurs applications ont été mises en place pour démontrer le comportement de la méthode de comparaison et de la mesure de similarité, ainsi que leur pertinence. Les expérimentations concernent essentiellement : - l'identification d'une structure organisationnelle en collection / sous-collection d'une base de documents, - la mise en évidence d'éléments
stylistiques dans un film de cinéma, - la mise en évidence de la grille de programmes d'un
flux de télévision.
Des approches classiques de comparaison se basent essentiellement sur l'ensemble des caractéristiques
bas niveaux des documents à comparer, en les considérant comme des vecteurs multidimensionnels. D'autres approches se basent sur la similarité des images composant la vidéo sans tenir compte de la composition temporelle du document ni de la bande
son. Le défaut que l'on peut reprocher à ces méthodes est qu'elles restreignent la comparaison à un simple opérateur binaire robuste au bruit. De tels opérateurs sont généralement utilisés afin d'identifier les différents exemplaires d'un même document. L'originalité de notre démarche réside dans le fait que nous introduisons la notion de la similarité de style
en s'inspirant des critères humains dans la comparaison des documents vidéo. Ces critères
sont plus souples, et n'imposent pas une similarité stricte de toutes les caractéristiques étudiées
à la fois.
En nous inspirant de la programmation dynamique et de la comparaison des séries chronologiques, nous définissons un algorithme d'extraction des similarités entre les séries de valeurs produites par l'analyse de caractéristiques audiovisuelles de bas-niveau. Ensuite, un second traitement générique approxime le résultat de l'algorithme de la longueur de la Plus
Longue Sous-Séquence Commune (PLSC) plus rapidement que ce dernier. Nous proposons une représentation des données issues de ces traitements sous la forme d'un schéma matriciel propre à la comparaison visuelle et immédiate de deux contenus. Cette matrice peut être également utilisée pour définir une mesure de similarité générique, applicable à des documents de même genre ou de genres hétérogènes.
Plusieurs applications ont été mises en place pour démontrer le comportement de la méthode de comparaison et de la mesure de similarité, ainsi que leur pertinence. Les expérimentations concernent essentiellement : - l'identification d'une structure organisationnelle en collection / sous-collection d'une base de documents, - la mise en évidence d'éléments
stylistiques dans un film de cinéma, - la mise en évidence de la grille de programmes d'un
flux de télévision.
Loading...