Graph Representation Learning : from Kernel to Neural Networks
Apprentissage de la Représentation des Graphes : des Noyaux aux Réseaux Neuronaux
Résumé
Graphs are ubiquitous as most real-world data can be naturally represented in the form of graphs. Capturing information from graph-structured data, i.e. graph mining or graph representation learning, has thus long become and remains an important topic. In this dissertation, we present a series of research contributions on subjects of machine learning on graphs using kernel methods and the emerging graph neural networks (GNNs).In the first part, we present a novel framework for constructing a valid optimal assignment graph kernel that computes the similarity between two graphs by computing a correspondence of their node embeddings residing in the same space. Using a clustering algorithm, we construct a hierarchy of the vertices in this space, through which the proposed kernel can find an optimal matching of the vertices that maximises the overall similarity of all the pairs. This framework is not limited to graphs. It can be used to compare any objects that are set of vectors. Moreover, the kernel feature map is a more expressive node embedding than the original embedding methods. We demonstrate the efficiency of the proposed kernel empirically on graph classification, link prediction and text categorisation tasks.The second part of this dissertation is devoted to the GNNs, particularly the Message-Passing Neural Networks (MPNNs), a dominating class of GNNs. As an emerging model, the MPNN soon became a leading tool for graph representation learning, mainly due to its power of projecting attributed graphs into high-level embeddings, making it versatile to different types of graphs and different application areas.We first demonstrate the power of MPNNs by an application in the field of temporal networks. We tackle the evolution prediction of dynamic graphs by proposing a sequential framework. Precisely, we use MPNNs to encode the sequence of evolving graphs into a sequence of embeddings in a latent space correlated by time. A recurrent architecture then generates the prediction of embedding at the next timestep. Finally, a generative model is employed to re-construct the graph instance corresponding to that prediction of embedding in the latent space. GNNs significantly improve the performance against traditional models such as random graph models on predicting the topology of evolving graphs.The following two works move closer to the fundamentals of MPNNs by addressing their limitations in terms of computational cost and robustness against structural noise. We notice that the MPNN can be divided into two disjoint steps: one is related to the graph structure, namely the aggregation step, and the other only concerns node features, namely the update step. Through extensive experiments, we found that the update step seems to play a less important role in model performance, as it can be substantially simplified by sparsifying, or in some cases, even omitting the whole, as long as the non-linear activation stays.This finding indicates that the MPNN might be vulnerable to graph-structural noise. Indeed, if the main contribution to model performance comes from the aggregation step, then the impact of structural noise would also be amplified. This work proposes a theoretical model based on random matrix theory to analyse the interaction between graph structure information and node feature information, precisely when graph structure is heavily perturbed. The main result is that graph structural noise will heavily overshadow node feature information. When a graph is structurally perturbed enough, node feature information will have no contribution to model performance, even itself might be informative. This theoretical finding inspires us to robustify MPNNs against graph structural noise with a node feature kernel. Empirical evaluations show the effectiveness of our proposed kernel as it improves the model performance significantly when the graph structure is heavily perturbed.
Les graphes sont omniprésents: la plupart des données du monde réel peuvent être naturellement représentées sous forme de graphes. La capture d'informations à partir de données structurées en graphes est donc devenue et reste un sujet important. Dans cette thèse, nous présentons une série de contributions de recherche sur les sujets de l'apprentissage automatique sur les graphes en utilisant des méthodes à noyau et les réseaux neuronaux de graphes (GNNs).Dans la première partie, nous présentons un nouveau modèle pour construire un noyau de graphe d'affectation optimale qui calcule la similarité entre deux graphes en calculant une correspondance de leurs plongements de nœuds résidant dans le même espace. En utilisant un algorithme de clustering, nous construisons une hiérarchie des sommets dans cet espace, à travers laquelle le noyau proposé peut trouver une correspondance optimale des sommets qui maximise la similarité globale. Ce modèle n'est pas limité aux graphes. Il peut être utilisé pour comparer tout objet qui est un ensemble de vecteurs. De plus, la carte de caractéristiques du noyau est un plongement de nœuds plus expressif que les approches de plongement originales. Nous démontrons l'efficacité du noyau proposé de manière empirique sur des tâches de classification de graphes, de prédiction de liens et de catégorisation de textes.La deuxième partie de cette thèse est consacrée aux GNN, en particulier aux réseaux de neurones de passage de messages (MPNN), une classe dominante de GNN. En tant que modèle émergent, le MPNN est rapidement devenu un des premiers outils pour l'apprentissage de la représentation de graphes.Nous démontrons d'abord la puissance des MPNNs par une application dans le domaine des réseaux temporels. Nous nous attaquons à la prédiction de l'évolution de graphes dynamiques en proposant un modèle séquentiel. Précisément, nous utilisons les MPNNs pour encoder la séquence de graphes en évolution en une séquence de plongements dans un espace latent. Une architecture récurrente génère ensuite la prédiction du plongement au prochain pas. Enfin, un modèle génératif est utilisé pour reconstruire l'instance de graphe correspondant à cette prédiction de plongement dans l'espace latent. Les GNNs améliorent considérablement les performances par rapport aux modèles traditionnels, tels que les modèles de graphes aléatoires, pour la prédiction de la topologie des graphes évolutifs.Les deux travaux suivants se rapprochent des principes fondamentaux des MPNNs en abordant leurs limites en termes de coût de calcul et de robustesse au bruit structurel. Nous remarquons que le MPNN peut être divisé en deux étapes disjointes : l'étape d'agrégation et l'étape de mise à jour. Grâce à des expériences extensives, nous avons constaté que l'étape de mise à jour semble jouer un rôle moins important en terme de performance du modèle, car elle peut être considérablement simplifiée en sparsifiant, ou dans certains cas, même en omettant l'ensemble.Ensuit, on propose un modèle théorique basé sur la théorie des matrices aléatoires pour analyser l'interaction entre l'information sur la structure du graphe et l'information sur les caractéristiques des nœuds, précisément lorsque la structure du graphe est fortement perturbée. Le résultat principal est que le bruit structurel du graphe éclipse fortement l'information sur les caractéristiques des nœuds. Lorsqu'un graphe est structurellement suffisamment perturbé, l'information sur les caractéristiques des nœuds ne contribuera pas à la performance du modèle, même si elle peut être informative. Cette découverte théorique nous inspire à renforcer les MPNNs contre le bruit structurel du graphe avec un noyau de caractéristiques de nœuds. Les évaluations empiriques montrent l'efficacité du noyau que nous proposons, car il améliore de manière significative les performances du modèle lorsque la structure du graphe est fortement perturbée.
Origine : Version validée par le jury (STAR)