Contributions to the Information Fusion : application to Obstacle Recognition in Visible and Infrared Images

Contributions à la fusion des informations : application à la reconnaissance des obstacles dans les images visible et infrarouge

Anca Ioana Discant Apatean (1)

1 LITIS - Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes

To continue and improve the detection task which is in progress at INSA laboratory, we focused on the fusion of the information provided by visible and infrared cameras from the view point of an Obstacle Recognition module, this discriminating between vehicles, pedestrians, cyclists and background obstacles. Bimodal systems have been proposed to fuse the information at different levels:of features, SVM's kernels, or SVM’s matching-scores. These were weighted according to the relative importance of the modality sensors to ensure the adaptation (fixed or dynamic) of the system to the environmental conditions. To evaluate the pertinence of the features, different features selection methods were tested by a KNN classifier, which was later replaced by a SVM. An operation of modelsearch, performed by 10 folds cross-validation, provides the optimized kernel for the SVM. The results have proven that all bimodal VIS-IR systems are better than their corresponding monomodal ones.

Afin de poursuivre et d'améliorer la tâche de détection qui est en cours à l'INSA, nous nous sommes concentrés sur la fusion des informations visibles et infrarouges du point de vue de reconnaissance des obstacles, ainsi distinguer entre les véhicules, les piétons, les cyclistes et les obstacles de fond. Les systèmes bimodaux ont été proposées pour fusionner l'information à différents niveaux: des caractéristiques, des noyaux SVM, ou de scores SVM. Ils ont été pondérés selon l'importance relative des capteurs modalité pour assurer l'adaptation (fixe ou dynamique) du système aux conditions environnementales. Pour évaluer la pertinence des caractéristiques, différentes méthodes de sélection ont été testés par un PPV, qui fut plus tard remplacée par un SVM. Une opération de recherche de modèle, réalisée par 10 fois validation croisée, fournit le noyau optimisé pour SVM. Les résultats ont prouvé que tous les systèmes bimodaux VIS-IR sont meilleurs que leurs correspondants monomodaux.

Mots clés: Fusion; Features extraction; Features selection; Kernels; Matching-scores; Hyper-parameter optimization

Mots clés: Fusion; Extraction des caractéristiques; Sélection des caractéristiques; Noyau; Scores; Optimisation des hyper-paramèters

Domaines: Autre [cs.OH]

Anca Ioana Discant Apatean. Contributions to the Information Fusion : application to Obstacle Recognition in Visible and Infrared Images. Other [cs.OH]. INSA de Rouen; Universitatea tehnică (Cluj-Napoca, Roumanie), 2010. English. ⟨NNT : 2010ISAM0032⟩. ⟨tel-00621202⟩