Spectral variability in hyperspectral unmixing : Multiscale, tensor, and neural network-based approaches
Variabilité spectrale en démélange de données hyperspectrales : Stratégies multi-échelles, tensorielles et basées sur des réseaux neuronaux
Résumé
The spectral signatures of the materials contained in hyperspectral images, also called endmembers (EMs), can be significantly affected by variations in atmospheric, illumination or environmental conditions typically occurring within an image. Traditional spectral unmixing (SU) algorithms neglect the spectral variability of the endmembers, what propagates significant mismodeling errors throughout the whole unmixing process and compromises the quality of the estimated abundances. Therefore, significant effort have been recently dedicated to mitigate the effects of spectral variability in SU. However, many challenges still remain in how to best explore a priori information about the problem in order to improve the quality, the robustness and the efficiency of SU algorithms that account for spectral variability. In this thesis, new strategies are developed to address spectral variability in SU. First, an (over)-segmentation-based multiscale regularization strategy is proposed to explore spatial information about the abundance maps more effectively. New algorithms are then proposed for both semi-supervised and blind SU, leading to improved abundance reconstruction performance at a small computational complexity. Afterwards, three new models are proposed to represent spectral variability of the EMs in SU, using parametric, tensor, and neural network-based representations for EM spectra at each image pixel. The parametric model introduces pixel-dependent scaling factors over a reference EM matrix to model arbitrary spectral variability, while the tensor-based representation allows one to exploit the high-dimensional nature of the data by means of its underlying low-rank structure. Generative neural networks (such as variational autoencoders or generative adversarial networks) finally allow one to model the low-dimensional manifold of the spectral signatures of the materials more effectively. The proposed models are used to devise three new blind SU algorithms, and to perform data augmentation in library-based SU. Finally, we provide a brief overview of work which extends the proposed strategies to new problems in SU and in hyperspectral image analysis. This includes the use of the multiscale abundance regularization in nonlinear SU, modeling spectral variability and accounting for sudden changes when performing SU and change detection of multitemporal hyperspectral images, and also accounting for spectral variability and changes in the multimodal (i.e., hyperspectral and multispectral) image fusion problem.
Les signatures spectrales des composants constitutifs présents dans les images hyperspectrales peuvent être significativement affectées par les variations des conditions atmosphériques, d'illumination ou d'environnement se produisant typiquement dans une image. Les algorithmes traditionnels de démélange spectral (Spectral Unmixing - SU) négligent la variabilité spectrale des composants constitutifs, ce qui propage des erreurs importantes tout au long du processus de démélange et compromet la qualité des abondances estimées. Par conséquent, des efforts importants ont été récemment consacrés à atténuer les effets de la variabilité spectrale dans les procédures de démélange. Cependant, de nombreux défis restent à relever pour savoir comment exploiter au mieux les informations a priori sur le problème afin d'améliorer à la fois la qualité et la robustesse des algorithmes de SU qui tiennent compte de la variabilité spectrale des composants. Dans cette thèse, de nouvelles stratégies sont développées pour aborder cette variabilité spectrale. Premièrement, une stratégie de régularisation multi-échelles basée sur la (sur)-segmentation des images est proposée pour explorer plus efficacement les informations spatiales sur les abondances. De nouveaux algorithmes sont ensuite proposés pour le démélange spéctral semi-supervisé et non-supervisé, ce qui se traduit par une amélioration des performances de reconstruction des abondances avec une complexité de calcul réduite. Ensuite, trois nouveaux modèles sont proposés pour représenter la variabilité spectrale des composants constitutifs, en utilisant des représentations paramétriques, tensorielles et basées sur des réseaux neuronaux pour les spectres de ces composants en chaque pixel de l'image. Le modèle paramétrique introduit des facteurs multiplicatifs dépendant des pixels dans une matrice des composants de référence pour modéliser une variabilité spectrale arbitraire, tandis que la représentation basée sur un tenseur permet d'exploiter la grande dimension des données en exploitant sa structure de rang faible sous-jacente. Les réseaux de neurones génératifs (tels que les variational autoencoders ou les generative adversarial networks) permettent enfin de modéliser la variété de faible dimension des signatures spectrales des matériaux, directement à partir des données observées. Les modèles proposés sont utilisés dans la conception de quatre nouveaux algorithmes de démélange non-supervisés et semi-supervisés. Enfin, nous donnons un bref aperçu des travaux qui étendent les stratégies proposées dans la thèse à de nouveaux problèmes en démélange et en dans l'analyse d'images hyperspectrales. Cela comprend l'utilisation de la régularisation d'abondance multi-échelles en démélange spectral non-linéaire, la modélisation de la variabilité spectrale, la prise en compte des changements soudains lors du démélange et la détection des changements dans les images hyperspectrales multitemporelles, ainsi que la prise en compte de la variabilité spectrale et des changements dans le problème de fusion d'images hyperspectrales et multispectrales.
Origine : Version validée par le jury (STAR)