Extensions and Applications of Graph Neural Networks
Extensions et applications des réseaux de neurones de graphes
Résumé
Graphs are used everywhere to represent interactions between entities, whether physical such as atoms, molecules or people, or more abstract such as cities, friendships, ideas, etc. Amongst all the methods of machine learning that can be used, the recent advances in deep learning have made graph neural networks the de facto standard for graph representation learning. This thesis can be divided in two parts. First, we review the theoretical underpinnings of the most powerful graph neural networks. Second, we explore the challenges faced by the existing models when training on real world graph data. The powerfulness of a graph neural network is defined in terms of its expressiveness, i.e., its ability to distinguish non isomorphic graphs; or, in an equivalent manner, its ability to approximate permutation invariant and equivariant functions. We distinguish two broad families of the most powerful models. We summarise the mathematical properties as well as the advantages and disadvantages of these models in practical situations. Apart from the choice of the architecture, the quality of the graph data plays a crucial role in the ability to learn useful representations. Several challenges are faced by graph neural networks given the intrinsic nature of graph data. In contrast to typical machine learning methods that deal with tabular data, graph neural networks need to consider not only the features of the nodes but also the interconnectedness between them. Due to the connections between nodes, training neural networks on graphs can be done in two settings: in transductive learning, the model can have access to the test features in the training phase; in the inductive setting, the test data remains unseen. We study the differences in terms of performance between inductive and transductive learning for the node classification task. Additionally, the features that are fed to a model can be noisy or even missing. In this thesis we evaluate these challenges on real world datasets, and we propose a novel architecture to perform missing data imputation on graphs. Finally, while graphs can be the natural way to describe interactions, other types of data can benefit from being converted into graphs. In this thesis, we perform preliminary work on how to extract the most important parts of skin lesion images that could be used to create graphs and learn hidden relations in the data.
Les graphes sont utilisés partout pour représenter les interactions, qu'elles soient physiques comme entre les atomes, les molécules ou les humains, ou plus abstraites comme les villes, les amitiés, les idées, etc. Parmi toutes les méthodes d'apprentissage automatique qui peuvent être utilisées, les dernières avancées en apprentissage profond font des réseaux de neurones de graphes la référence de l'apprentissage de représentation des graphes. Cette thèse se divise en deux parties. Dans un premier temps, nous faisons un état de l'art des fondations mathématiques des réseaux de neurones de graphes les plus puissants. Dans un second temps, nous explorons les défis auxquels sont confrontés ces modèles quand ils sont entraînés sur des jeux de données réels. La puissance d'un réseau de neurones est définie par rapport à son expressivité, c'est-à-dire sa capacité à distinguer deux graphes non isomorphes ; ou, de manière équivalente, sa capacité à approximer les fonctions qui sont invariantes ou équivariantes par rapport aux permutations. Nous discernons deux grandes familles de modèles expressifs. Nous présentons leurs propriétés mathématiques ainsi que les avantages et les inconvénients de ces modèles lors d'applications pratiques. En parallèle du choix de l'architecture, la qualité de la donnée joue un rôle crucial dans la capacité d'un modèle à apprendre des représentations utiles. Les réseaux de neurones de graphes sont confrontés à des problèmes spécifiques aux graphes. À l'inverse des modèles développés pour les données tabulaires, les réseaux de neurones de graphes doivent prendre en compte aussi bien les attributs des nœuds que leur interdépendance. À cause de ces liens, l'apprentissage d'un réseau de neurones sur des graphes peut se faire de deux manières : en apprentissage transductif, où le modèle a accès aux attributs des données de test pendant l'entraînement ; en apprentissage inductif, où les données de test restent cachées. Nous étudions les différences en termes de performance entre l'apprentissage transductif et inductif pour la classification de nœuds. De plus, les attributs des nœuds peuvent être bruités ou manquants. Dans cette thèse, nous évaluons ces défis sur des jeux de données réels, et nous proposons une nouvelle architecture de réseau de neurones de graphes pour imputer les attributs manquants des nœuds d'un graphe. Enfin, si les graphes sont le moyen privilégié de décrire les interactions, d'autres types de données peuvent aussi bénéficier d'une conversion sous forme de graphes. Dans cette thèse, nous effectuons un travail préliminaire sur l'extraction des parties les plus importantes d'images de lésions de la peau. Ces patches pourraient être utilisés pour créer des graphes et découvrir des relations latentes dans la donnée.
Origine : Version validée par le jury (STAR)