METHODS OF VIDEO SUMMARIZATION FROM LOW LEVEL INFORMATION, CAMERA MOTION OR VISUAL ATTENTION
METHODES DE RESUME DE VIDEO A PARTIR D'INFORMATIONS BAS NIVEAU, DU MOUVEMENT DE CAMERA OU DE L'ATTENTION VISUELLE
Résumé
The growing volume of video leads to the need of new tools for indexing. One of the possible tools is video summary which provides a fast overview to the user. The objective of this thesis is to extract from visual information, a summary containing the “message” of video. We chose to study three new methods of video summary using different types of visual features.
The first method of summary rests on low level features (color, orientation and motion). The combination of these features which is based on a fuzzy inference system allows a hierarchical summary to be built. We show the interest of such a summary in an application of query by example.
The second method of summary is built from camera motion. This higher level feature is thought by the filmmaker and so induces information on the content. A method of camera motion classification based on Transferable Belief Model is achieved. The method of summary is elaborated according to rules about the magnitude and the chain of the identified motions.
The third method of summary is developed from visual attention. To know the places where the glance is directed during the video playback is higher level information and relevant to create the summary. A spatio-temporal attention model is proposed, and then used to detect the change of content in time in order to build the summary.
The first method of summary rests on low level features (color, orientation and motion). The combination of these features which is based on a fuzzy inference system allows a hierarchical summary to be built. We show the interest of such a summary in an application of query by example.
The second method of summary is built from camera motion. This higher level feature is thought by the filmmaker and so induces information on the content. A method of camera motion classification based on Transferable Belief Model is achieved. The method of summary is elaborated according to rules about the magnitude and the chain of the identified motions.
The third method of summary is developed from visual attention. To know the places where the glance is directed during the video playback is higher level information and relevant to create the summary. A spatio-temporal attention model is proposed, and then used to detect the change of content in time in order to build the summary.
Le volume grandissant de vidéos a suscité le besoin de nouveaux outils d'aide à l'indexation. Un des outils possibles est le résumé de vidéo qui permet de fournir un aperçu rapide à l'usager. L'objectif de cette thèse est d'extraire, à partir d'informations visuelles, un résumé de vidéo contenant le « message » de la vidéo. Nous avons choisi d'étudier trois nouvelles méthodes de résumé de vidéo utilisant différentes informations visuelles.
La première méthode de résumé repose sur des caractéristiques de bas niveau (couleur, orientation et mouvement). La combinaison de ces index qui s'appuie sur un système d'inférence floue a permis de construire un résumé hiérarchique. Nous avons montré l'intérêt d'un tel résumé dans une application de la recherche par l'exemple.
La deuxième méthode de résumé est construite à partir du mouvement de caméra. Cette caractéristique de plus haut niveau sémantique est réfléchie par le réalisateur et induit une information sur le contenu. Une méthode de classification des mouvements basée sur le Modèle des Croyances Transférables est élaborée. La méthode de résumé est alors établie selon des règles sur l'amplitude et l'enchaînement des mouvements de caméra identifiés.
La troisième méthode de résumé est développée à partir de l'attention visuelle. Connaître les endroits où le regard se porte lors du visionnage de la vidéo est une information de plus haut niveau sémantique et pertinente pour créer le résumé. Un modèle spatio-temporel d'attention visuelle est proposé, puis utilisé pour détecter le changement de contenu au cours du temps afin de construire le résumé.
La première méthode de résumé repose sur des caractéristiques de bas niveau (couleur, orientation et mouvement). La combinaison de ces index qui s'appuie sur un système d'inférence floue a permis de construire un résumé hiérarchique. Nous avons montré l'intérêt d'un tel résumé dans une application de la recherche par l'exemple.
La deuxième méthode de résumé est construite à partir du mouvement de caméra. Cette caractéristique de plus haut niveau sémantique est réfléchie par le réalisateur et induit une information sur le contenu. Une méthode de classification des mouvements basée sur le Modèle des Croyances Transférables est élaborée. La méthode de résumé est alors établie selon des règles sur l'amplitude et l'enchaînement des mouvements de caméra identifiés.
La troisième méthode de résumé est développée à partir de l'attention visuelle. Connaître les endroits où le regard se porte lors du visionnage de la vidéo est une information de plus haut niveau sémantique et pertinente pour créer le résumé. Un modèle spatio-temporel d'attention visuelle est proposé, puis utilisé pour détecter le changement de contenu au cours du temps afin de construire le résumé.
Loading...