Graph-based Algorithms in Computer Vision, Machine Learning, and Signal Processing
Algorithmes basés sur les graphes pour la vision par ordinateur, l'apprentissage automatique et le traitement du signal
Résumé
Graph representation learning and its applications have gained significant attention in recent years. Notably, Graph Neural Networks (GNNs) and Graph Signal Processing (GSP) have been extensively studied. GNNs extend the concepts of convolutional neural networks to non-Euclidean data modeled as graphs. Similarly, GSP extends the concepts of classical digital signal processing to signals supported on graphs. GNNs and GSP have numerous applications such as semi-supervised learning, point cloud semantic segmentation, prediction of individual relations in social networks, modeling proteins for drug discovery, image, and video processing.
In this thesis, we propose novel approaches in video and image processing, GNNs, and recovery of time-varying graph signals. Our main motivation is to use the geometrical information that we can capture from the data to avoid data hungry methods, i.e., learning with minimal supervision. All our contributions rely heavily on the developments of GSP and spectral graph theory. In particular, the sampling and reconstruction theory of graph signals play a central role in this thesis. The main contributions of this thesis are summarized as follows: 1) we propose new algorithms for moving object segmentation using concepts of GSP and GNNs, 2) we propose a new algorithm for weakly-supervised semantic segmentation using hypergraph neural networks, 3) we propose and analyze GNNs using concepts from GSP and spectral graph theory, and 4) we introduce a novel algorithm based on the extension of a Sobolev smoothness function for the reconstruction of time-varying graph signals from discrete samples.
L'apprentissage de la représentation graphique et ses applications ont fait l'objet d'une attention particulière ces dernières années. Les réseaux neuronaux graphiques (GNN) et le traitement des signaux graphiques (GSP) ont notamment fait l'objet d'études approfondies. Les réseaux neuronaux graphiques étendent les concepts des réseaux neuronaux convolutionnels aux données non euclidiennes modélisées sous forme de graphes. De même, le GSP étend les concepts du traitement classique des signaux numériques aux signaux supportés par les graphes. Les GNN et GSP ont de nombreuses applications telles que l'apprentissage semi-supervisé, la segmentation sémantique des nuages de points, la prédiction des relations individuelles dans les réseaux sociaux, la modélisation des protéines pour la découverte de médicaments, le traitement des images et des vidéos.
Dans cette thèse, nous proposons de nouvelles approches pour le traitement des images et des vidéos, les GNN et la récupération de signaux graphiques variables dans le temps. Notre principale motivation est d'utiliser les informations géométriques que nous pouvons capturer à partir des données pour éviter les méthodes gourmandes en données, c'est-à-dire l'apprentissage avec une supervision minimale. Toutes nos contributions s'appuient fortement sur les développements de la GSP et de la théorie des graphes spectraux. En particulier, la théorie de l'échantillonnage et de la reconstruction des signaux de graphe joue un rôle central dans cette thèse. Les principales contributions de cette thèse sont résumées comme suit : 1) nous proposons de nouveaux algorithmes pour la segmentation d'objets en mouvement en utilisant les concepts de GSP et de GNN, 2) nous proposons un nouvel algorithme pour la segmentation sémantique faiblement supervisée en utilisant des réseaux de neurones hypergraphiques, 3) nous proposons et analysons les GNN en utilisant les concepts de GSP et de la théorie des graphes spectraux, et 4) nous introduisons un nouvel algorithme basé sur l'extension d'une fonction de lissage de Sobolev pour la reconstruction de signaux de graphes variant dans le temps à partir d'échantillons discrets.
Origine : Fichiers produits par l'(les) auteur(s)