Apprentissage semi-supervisé pour la compréhension des données d'observation de la Terre à large-échelle
Semi-supervised learning for large-scale Earth observation data understanding
Abstract
Earth observation (EO) plays a major role in the way we understand our planet and its dynamics. While plenty of data are available, they cannot be processed by humans only, so artificial intelligence has emerged as a solution to achieve automatic analysis of EO imagery. Still, most data are not exploited because they are unlabeled. Hence, algorithms beyond supervised learning are needed to get a complete insight. This thesis investigates deep semi-supervised learning (SSL) for classification and segmentation, in order to achieve EO data understanding at a large-scale. First, we explore the potential of unlabeled data, and propose tools for analyzing data representativeness for multi-location datasets. Then, we explore two ways of approaching the SSL problem. By discriminative modelling, first we develop multi-task networks and auxiliary tasks to tackle semi-supervised semantic segmentation; second, we explore consistency regularization methods (e.g. FixMatch) to perform scene classification in EO data. Moving to generative modelling, we show the potential of joint energy-based models for semi-supervised classification and many other EO applications. Through extensive experiments, we show that SSL allows to train algorithms with better performances and generalization capacities for land use and land cover mapping. Finally, our contributions also include the release of MiniFrance, the first dataset and open benchmark designed to assess and help design SSL in remote sensing, and part of the IEEE GRSS Data Fusion Contest 2022.
L'observation de la Terre (OT) joue un rôle important dans la compréhension de notre planète. Aujourd'hui, les données sont facilement accessibles, mais leur volume est tel qu'elles ne peuvent être traitées par des humains. Ainsi, l'intelligence artificielle émerge comme une solution pour le traitement automatique des images d'OT. Cependant, la plupart des données restent sous- exploitées par manque d'annotation sémantique. Par conséquent, l'apprentissage supervisé ne suffit plus pour exploiter pleinement l'information. Cette thèse étudie des méthodes semi-supervisées (SSL) pour la classification et la segmentation, afin de parvenir à une compréhension des données d'OT à grande échelle. D'abord, nous étudions le potentiel des données non-annotées et proposons des outils pour l'analyse de représentativité pour des bases de données regroupant plusieurs villes. Ensuite, nous explorons deux manières d'aborder le SSL : d'un point de vue discriminatif, nous développons des réseaux de neurones multi-tâches et des tâches auxiliaires pour traiter la segmentation sémantique semi-supervisée. Ensuite, nous étudions des méthodes de régularisation par consistance pour effectuer la classification des scènes OT. En ce qui concerne les approches génératives, nous montrons le potentiel d'un modèle conjoint d'énergie (JEM) pour la classification semi-supervisée et pour d'autres applications en OT. Nos expériences montrent que les algorithmes de SSL obtiennent de meilleures performances et offrent des capacités de généralisation pour la cartographie de l'occupation et l'utilisation des sols. Nos contributions portent également sur l'élaboration de MiniFrance, le premier jeu de données ouvert conçu pour évaluer et aider à concevoir des méthodes SSL en télédétection. MiniFrance fait en outre partie de l'IEEE GRSS Data Fusion Contest 2022.
Origin : Version validated by the jury (STAR)