Multimodal indexing and fusion for content based information retrieval. Application to medical image databases.

Indexation et fusion multimodale pour la recherche d'information par le contenu. Application aux bases de données d'images médicales.

Gwénolé Quellec (1)

1 LaTIM - Laboratoire de Traitement de l'Information Medicale

In this Ph.D. thesis, we study methods for information retrieval in databases made up of multimedia documents. Our objective is to select in a database documents similar to a query document. The aimed application is computer aided diagnosis in a medical framework: the database is made up of several images together with clinical contextual information about the patient. We first try to characterize each image in the patient file individually. We have thus proposed two original indexing methods derived from the wavelet transform of images: 1) a global method, modeling the distribution of wavelet coefficients in the image, 2) a local method, based on the extraction of lesions. Once images are characterized, we try to fuse all the information in the file to retrieve the closest patient files. In addition to the heterogeneity of the data, with have to cope with missing information in patient files. We propose three new approaches, derived from data mining and information fusion theory. The first approach is based on decision trees, the second one on Bayesian networks and the third one on the Dezert-Smarandache theory (DSmT). The results obtained on two multimodal medical databases are satisfying and superior to existing methods. Thus, the mean precision at five reaches 81.78% on a retinal image database and 92.90% on a mammography database.

Dans cette thèse, nous étudions des méthodes pour la recherche d'information dans des bases de données constituées de documents multimédia. Notre objectif est de sélectionner dans la base des documents similaires à un document proposé en requête. L'application visée est l'aide au diagnostic dans un cadre médical : la base est constituée de dossiers patients contenant plusieurs images et des informations cliniques contextuelles à propos du patient. Dans un premier temps, nous cherchons à caractériser individuellement chaque image du dossier patient. Nous avons ainsi proposé deux méthodes originales d'indexation à partir de la transformée en ondelettes des images : 1) une méthode globale, modélisant la distribution des coefficients d'ondelette dans l'image, 2) une méthode locale, basée sur l'extraction de lésions. Une fois les images caractérisées, nous cherchons à fusionner l'ensemble des informations du dossier pour sélectionner les dossiers patients les plus proches. Outre le problème de l'hétérogénéité des données, nous devons résoudre le problème de l'incomplétude des dossiers patients. Nous proposons trois nouvelles approches, inspirées de la fouille de données et de la fusion d'information. La première est basée sur les arbres de décision, la deuxième sur les réseaux bayésiens et la troisième sur la théorie de Dezert-Smarandache (DSmT). Les résultats que nous obtenons pour deux bases de données médicales multimodales sont très satisfaisants et supérieurs aux méthodes classiques. Ainsi, la précision moyenne pour une fenêtre de cinq cas atteint 81,78% pour une base d'images rétiniennes et 92,90% pour une base de mammographies.

Mots clés: Indexing; Content-based image retrieval; semantic and numerical fusion

Mots clés: Indexation; Recherche d'images par le contenu; fusion sémantique; numérique

Domaines: Traitement du signal et de l'image [eess.SP]

Gwénolé Quellec. Indexation et fusion multimodale pour la recherche d'information par le contenu. Application aux bases de données d'images médicales.. Traitement du signal et de l'image [eess.SP]. TELECOM Bretagne, 2008. Français. ⟨NNT : ⟩. ⟨tel-00326131⟩