Representation of an environment by a multi-sensor system: fusion and scene interpretation

Représentation d'un environnement par un système multi-capteurs : fusion et interprétation de scène

Bassem Alsahwa (1)

1 ITI - Département Image et Traitement Information

This thesis considers the context of the possibilistic knowledge representation and processing in order to develop a scene interpretation system observed by multiple sensors. The research is focusing on a possibilistic knowledge modeling of the imperfect information provided by the sensors. Indeed, this formalism allows introducing and explicitly manipulating, within the same framework, certain imperfections carried by the collected information and also some priori knowledge about the scene, sensors, and acquisition conditions expressed by experts or resulting from observations or ambiguous judgments. This work is divided into several stages: study of the state of the art and mastery of the possibility theory, hierarchical/semantic scene analysis, study of the application of possibility theory in different semantic levels (sub-pixel, pixel, region, object and scene), and finally the application of the proposed approach for scene interpretation. The final objective of this thesis is to develop a scene interpretation system based on a possibilistic approach. This approach performs a hierarchical scene analysis relying on two processes: ascending and descending processes. The ascending process allows accumulating evidences on the existence regions (or objects), while the descending process allows calling into question, by the expert, the informational content of the regions and objects identified in the ascending process. Indeed, this system sets up the possibilistic tools allowing to jointly exploiting multiple sources of knowledge (fusion) in order to improve the interpretation of the acquired data and, thus, enriching the representation of the observed scene. The two main performed applications are segmentation/classification (ascending process) and the unmixing (descending process). The performance of the proposed system is evaluated using several types of images (synthetic images, mammographic images, MRI images, SONAR images and satellite images). The obtained results are very encouraging and show the effectiveness of possibility theory as a framework for priori knowledge representation and as a reasoning tool to extract new knowledge from available knowledge. Moreover, the proposed approach has been very effective for integrating multiple knowledge sources.

Cette thèse s'inscrit dans le contexte de la représentation et du traitement possibiliste des connaissances en vue de concevoir un système d'interprétation de scène observée par de multiples capteurs. Les capteurs fournissant une ou des informations imparfaites, les recherches se sont focalisées sur une représentation possibiliste des connaissances. En effet, ce formalisme permet d'introduire et de manipuler explicitement au sein d'un même cadre, certaines imperfections portées par les informations collectées mais aussi certaines connaissances a priori sur la scène, les capteurs, les conditions d'acquisition exprimées de manière vague soit par des experts soit résultant d'observations ou de jugements ambigus. Ce travail est divisé en plusieurs étapes : état de l'art et maîtrise de la théorie des possibilités, analyse hiérarchique/sémantique de scène, étude de l'exploitation de la théorie des possibilités dans différents niveaux sémantiques (sous-pixelique, pixelique, objet et scène) et finalement, application de l'approche proposée à des fins d'interprétation de scène. L'objectif final de cette thèse est de développer un système d'interprétation de scène basé sur une démarche possibiliste. Cette approche permet d'effectuer une analyse hiérarchique de scène en se reposant sur deux processus : ascendant et descendant. Le processus ascendant permet d'accumuler l'évidence sur l'existence des régions (ou objets), tandis que le processus descendant permet de mettre en cause, par l'expert, le contenu informationnel des régions et objets identifiés dans le processus ascendant. En effet, ce système met en place les outils possibilistes nécessaires à l'exploitation conjointe de plusieurs sources de connaissances (fusion) afin d'améliorer l'interprétation des données acquises en vue d'une représentation plus riche de la scène observée : les deux principales applications visées sont donc la segmentation / classification (processus ascendant) et le démixage (processus descendant). Les performances du système d'interprétation proposé sont évaluées en utilisant plusieurs types d'images (images de synthèse, images mammographiques, images du type IRM, images SONAR, et Images satellitaires). Les résultats obtenus sont très encourageants et montrent l'efficacité de la théorie des possibilités comme un cadre de représentation des connaissances a priori et comme outil de raisonnement permettant d'extraire de nouvelles connaissances à partir des connaissances disponibles. De plus, l'approche proposée s'est montré très efficace pour l'intégration de plusieurs sources des connaissances.

Mots clés: Scene interpretation; Possibility theory; Refining of possibility distribution; Similarity measure; Knowledge fusion

Mots clés: Interprétation de scène; Théorie de possibilités; Raffinement de distribution de possibilités; Mesure de similarité; Fusion de connaissances

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Bassem Alsahwa. Représentation d'un environnement par un système multi-capteurs : fusion et interprétation de scène. Vision par ordinateur et reconnaissance de formes [cs.CV]. Télécom Bretagne; Université de Rennes 1, 2014. Français. ⟨NNT : ⟩. ⟨tel-01206283⟩