Application of optimal transport and non-local methods to hyperspectral and multispectral image fusion
Application du transport optimal et des méthodes non locales dans la fusion d'images hyperspectrales et multispectrales
Résumé
The world we live in is constantly under observation. Many areas such as offshore zones, deserts, agricultural land and cities are monitored. This monitoring is done throughout remote sensing satellites or cameras mounted on aircrafts. However, because of many technological and financial constraints, the development of imaging sensors with high accuracy is limited. Therefore, solutions such as multi-sensor data fusion overcome the different limitations an produce images with high quality. This thesis is about hyperspectral and multispectral image fusion. A hyperspectral image (HS) has a high spectral resolution and a low spatial resolution, whereas a multispectral image (MS) has a high spatial resolution and a low spectral resolution. The goal is the combination of the relevant information contained in each image into one final high resolution one. In this dissertation various methods for dealing with hyperspectral and multispectral image fusion are presented. The first part of the thesis uses tools from the optimal transport theory namely the regularized Wasserstein distances. The fusion problem is thus modeled as the minimization of the sum of two regularized Wasserstein distances. In the second part of this thesis, the hyperspectral and the multispectral fusion problem is presented differently. The latter is modeled as the minimization of four energy terms including a non-local term. Experiments were conducted on multiple datasets and the fusion was assessed visually and quantitatively for both fusion techniques. The performance of both models compares favorably with the state-of-the-art methods.
Le monde dans lequel nous vivons est observé par de nombreux satellites. En effet, grâce aux missions satellitaires, certaines zones de la Terre, à savoir les champs d’agriculture, le désert ainsi que les zones urbaines peuvent être surveillées efficacement. La surveillance de ces zones est faite grâce aux caméras embarquées à bord des satellites destinés aux missions d’observation de la Terre. En revanche, à cause des contraintes techniques et financières, le développement des capteurs d’imagerie haute résolution est assez limité. Ainsi, les méthodes consistant à fusionner des données multi-sources, permettent de contourner les limitations et produisent des images haute résolution. La problématique traitée dans la présente thèse est celle de la fusion d’images hyperspectrales et multispectrales. Une image hyperspectrale (HS) possède une haute résolution spectrale et une faible résolution spatiale, alors qu’une image multispectrale (MS) a une haute résolution spatiale et une faible résolution spectrale. Le but est donc de fusionner l’information pertinente contenue dans chacune des images afin de produire une image haute résolution. Le travail de thèse est composé en deux principales parties. Dans la première partie de la thèse, des outils de la théorie du transport optimal sont utilisés à savoir les distances de Wasserstein régularisées. Dans la deuxième partie de la thèse, le problème de fusion d'images hyperspectrales et multispectrales est présenté différemment. Ce dernier est modélisé comme la minimisation de quatre termes d'énergie dont un terme non local. Les expérimentations ont porté sur différents types d'images, et les résultats ont été évalués qualitativement et quantitativement. Les performances des deux modèles de fusion se comparent favorablement aux méthodes de fusion de l'état de l'art.
Origine : Version validée par le jury (STAR)
Loading...