Indexation de vidéos et de maillages 3D dans le contexte MPEG-7
Résumé
This thesis tackles the issue of indexing and content-based representation of multimedia data, within the MPEG-7 international standard framework.
Addressing the issue of motion-based video characterization, we first propose new similarity measures for parametric motion descriptors, based upon a family of distance functions between the associated motion fields. The issues of computational complexity optimization, spatio-temporal alignment and weighting of translational and homogeneous motion components are addressed and a mathematical procedure is proposed, implemented and objectively evaluated upon categorized synthetic and natural motion databases specifically created by the author and adopted by the MPEG-7 group for evaluating motion descriptors.
We then deal with the issue of shape-based 3D mesh model indexation and propose two different shape descriptors. Considering the geometrical and topological invariance requirements that a 3D shape descriptor should naturally satisfy, we have first defined the 3D shape spectrum, that we have proposed and promoted within the MPEG-7 standard. The 3D shape spectrum uniquely exploits the local geometrical structure of the surface, provides a very compact representation, but suffers from a high sensitivity to changes of the mesh topology. In order to overcome such a limitation, a novel shape descriptor is then proposed. Based upon the 3D Hough transform, the optimized 3D Hough descriptor is intrinsically topologically invariant. Applying a spatial alignment procedure guarantees a geometrical invariant behavior to the 3D Hough descriptor, which is then optimized in terms of compactness of representation by defining a partition of the unit sphere, invariant to changes of canonical coordinate system.
Finally, we propose a MPEG-7 compliant indexing system, integrating annotation, navigation, visualization and similarity retrieval tools and supporting several applications, such as video archiving, cliquable video and French sign language indexing and recognition. The system demonstrates for the first time the effectiveness of MPEG-7 generic description schemes within the framework of the above-mentioned applications.
Addressing the issue of motion-based video characterization, we first propose new similarity measures for parametric motion descriptors, based upon a family of distance functions between the associated motion fields. The issues of computational complexity optimization, spatio-temporal alignment and weighting of translational and homogeneous motion components are addressed and a mathematical procedure is proposed, implemented and objectively evaluated upon categorized synthetic and natural motion databases specifically created by the author and adopted by the MPEG-7 group for evaluating motion descriptors.
We then deal with the issue of shape-based 3D mesh model indexation and propose two different shape descriptors. Considering the geometrical and topological invariance requirements that a 3D shape descriptor should naturally satisfy, we have first defined the 3D shape spectrum, that we have proposed and promoted within the MPEG-7 standard. The 3D shape spectrum uniquely exploits the local geometrical structure of the surface, provides a very compact representation, but suffers from a high sensitivity to changes of the mesh topology. In order to overcome such a limitation, a novel shape descriptor is then proposed. Based upon the 3D Hough transform, the optimized 3D Hough descriptor is intrinsically topologically invariant. Applying a spatial alignment procedure guarantees a geometrical invariant behavior to the 3D Hough descriptor, which is then optimized in terms of compactness of representation by defining a partition of the unit sphere, invariant to changes of canonical coordinate system.
Finally, we propose a MPEG-7 compliant indexing system, integrating annotation, navigation, visualization and similarity retrieval tools and supporting several applications, such as video archiving, cliquable video and French sign language indexing and recognition. The system demonstrates for the first time the effectiveness of MPEG-7 generic description schemes within the framework of the above-mentioned applications.
Cette thèse relève de l'indexation et de la représentation par le contenu des données multimédias, dans le contexte spécifique de la normalisationinternationale de l'image et notamment dans le cadre du processus de standardisation MPEG-7.
Nous proposons tout d'abord de nouvelles mesures de similarité pour les descriptions de mouvement par modèles paramétriques 2D, fondées sur une famille de fonctions distance entre les champs de vitesses. Les problèmes d'optimisation en temps de calcul, d'alignement spatio-temporel et de pondération des composantes translationnelle et homogène de mouvement sont analysés et une solution mathématique proposée, mise en oeuvre et évaluée objectivement sur les bases de test naturelle et synthétique avec vérité terrain, que nous avons constituées et qui ont été retenues pour l'évaluation des descripteurs de mouvement MPEG-7.
Deux descripteurs de forme pour indexer des modèles 3D maillés sont ensuite proposés. Partant des propriétés d'invariance géométrique et topologique que doit satisfaire naturellement un descripteur de forme d'objet 3D maillé, nous avons tout d'abord défini le spectre de forme 3D, que nous avons proposé et promu dans le standard MPEG-7. Celui-ci exploite uniquement la structure géométrique locale d'une surface 3D, fournit une représentation très compacte, mais présente une grande sensibilité aux descriptions topologiques des maillages. En considérant la transformée de Hough 3D d'un maillage, nous avons ensuite construit le descripteur de Hough 3D optimisé, intrinsèquement invariant aux changements de connexité, rendu indépendant aux transformations géométriques et optimisé en terme de compacité de représentation, via une partition invariante aux changements de repère canonique de la sphère unité.
Enfin, nous proposons une plate-forme d'indexation compatible MPEG-7, intégrant des outils d'annotation, de navigation, de visualisation et de requêtes par similarité, et supportant des applications comme l'archivage vidéo, la vidéo cliquable ou l'indexation MPEG-7 de la langue des signes française. L'ensemble logiciel ainsi réalisé démontre pour la première fois en grandeur réelle, pour les applications d'indexation multimédia considérées, le caractère effectivement opérationnel des schémas de description génériques, normalisés MPEG7.
Nous proposons tout d'abord de nouvelles mesures de similarité pour les descriptions de mouvement par modèles paramétriques 2D, fondées sur une famille de fonctions distance entre les champs de vitesses. Les problèmes d'optimisation en temps de calcul, d'alignement spatio-temporel et de pondération des composantes translationnelle et homogène de mouvement sont analysés et une solution mathématique proposée, mise en oeuvre et évaluée objectivement sur les bases de test naturelle et synthétique avec vérité terrain, que nous avons constituées et qui ont été retenues pour l'évaluation des descripteurs de mouvement MPEG-7.
Deux descripteurs de forme pour indexer des modèles 3D maillés sont ensuite proposés. Partant des propriétés d'invariance géométrique et topologique que doit satisfaire naturellement un descripteur de forme d'objet 3D maillé, nous avons tout d'abord défini le spectre de forme 3D, que nous avons proposé et promu dans le standard MPEG-7. Celui-ci exploite uniquement la structure géométrique locale d'une surface 3D, fournit une représentation très compacte, mais présente une grande sensibilité aux descriptions topologiques des maillages. En considérant la transformée de Hough 3D d'un maillage, nous avons ensuite construit le descripteur de Hough 3D optimisé, intrinsèquement invariant aux changements de connexité, rendu indépendant aux transformations géométriques et optimisé en terme de compacité de représentation, via une partition invariante aux changements de repère canonique de la sphère unité.
Enfin, nous proposons une plate-forme d'indexation compatible MPEG-7, intégrant des outils d'annotation, de navigation, de visualisation et de requêtes par similarité, et supportant des applications comme l'archivage vidéo, la vidéo cliquable ou l'indexation MPEG-7 de la langue des signes française. L'ensemble logiciel ainsi réalisé démontre pour la première fois en grandeur réelle, pour les applications d'indexation multimédia considérées, le caractère effectivement opérationnel des schémas de description génériques, normalisés MPEG7.