Belief Functions and Multimodality Indexing
Application in Person Identification in Photo Album
Fonctions de Croyance et Indexation Multimodale
Application à l'Identification de Personnes dans des Albums
Résumé
This thesis presents an information fusion strategy for digital photograph semi-automatic indexing using people's identities. The final goal of this work is to help users to recognize the identities of people in photo. Our fusion process is named -FUSINDEX-. It has been integrated in a webbased management application which allows user to share photos with a community and add textual and vocal comments to a selected photo. Fusindex combines the information issued from multiple modalities such
as image, text, speech, social context, date and geographic position. We used several indexing engines. Each one of these engines analysis a single modality: the image itself, textual comments and vocal comments. But in this paper we focalize essentially on engines which analyze the
image. The algorithms of Fusindex are based on the evidence theory of Dempster-Shafer in order to manage, as well as possible the imprecision and the uncertainty of the results obtained by the indexing engines.
as image, text, speech, social context, date and geographic position. We used several indexing engines. Each one of these engines analysis a single modality: the image itself, textual comments and vocal comments. But in this paper we focalize essentially on engines which analyze the
image. The algorithms of Fusindex are based on the evidence theory of Dempster-Shafer in order to manage, as well as possible the imprecision and the uncertainty of the results obtained by the indexing engines.
Cette thèse se situe dans la cadre de l'organisation semi-automatique d'albums photo et s'intègre dans un cadre applicatif particulier d'un prototype de service développé par la division recherche et développement de France Telecom. Dans ce cadre applicatif, les photos peuvent être partagées entre plusieurs personnes et peuvent êtres commentées vocalement et/ou textuellement par ces déférents utilisateurs. Le processus d'indexation développé dans cette thèse ne se limite pas seulement à l'indexation d'une collection d'images mais traite également leurs commentaires associés ce qui rend ces contenus multimédia. D'autres informations peuvent également être associées aux photos comme les dates et les lieux d'acquisition de l'image (qui sont connus avec une grande précision grâce notamment au développement de moyens de géo-localisation des appareils multimédia) et peuvent êtres exploitées pour l'organisation de la base. Ainsi, le travail envisagé dans le cadre de cette thèse se focalise sur des documents multimédias avec déférentes modalités : image, texte, son et données. L'un des objectifs à atteindre concerne la fusion des informations issues de ces déférentes modalités dans le but d'identifier les personnages figurant dans les images qui permettent ainsi d'indexer les documents. Chacun des documents de la collection est représenté par ses contenus relatifs aux déférents médias mais est aussi considéré dans son contexte. Pour analyser chaque contenu d'un document, nous utilisons des outils d'indexation qui leur sont spécifiques. Le contexte d'une image est exploité à partir de descripteurs déjà calculés sur des documents de la base en exploitant les dates et lieux d'acquisition des images associées. La contribution essentielle de ce travail concerne donc l'indexation de documents multimédia par leur contenu et leur contexte.
Loading...