Generative neural networks to solve the pre-image problem
Réseaux de neurones génératifs pour la résolution du problème de pré-image
Résumé
Whether in pattern recognition or machine learning, it is a common practice to define a feature space in which data representations are obtained by applying a nonlinear or implicit transformation.However, this transformation often lacks interpretability due to limited access to the feature space.Consequently, it may be highly desirable to represent elements of the feature space in the observation space.Nevertheless, obtaining the inverse transformation is a difficult task, which involves solving the pre-image problem.This task becomes even more difficult when dealing with structured data such as graphs, which are complex and discrete by nature.In this thesis, we propose several approaches to solve the pre-image problem through the application of deep generative models.To this end, we begin by introducing the essential concepts that constitute our contributions.These concepts include the pre-image problem and machine learning methods, in particular kernels, deep learning models, as well as the various generative approaches based on neural networks.Based on this analysis, we propose the use of deep generative models called "Normalizing Flows" (NFs), which is particularly well-suited to our problem.This choice is motivated by the property of exact invertibility offered by NFs.Next, we introduce a first approach which aims at solving the pre-image problem encountered when using kernels for nonlinear embeddings.This method is based on aligning the feature space implicitly generated by the kernel with the latent space generated by a NF.As this model is invertible by nature, the pre-image problem associated with the kernel can be considered solved by transposing it to the space generated by the NF.Our next contribution aims at proposing a general framework that allows the definition of machine learning methods free of the pre-image problem.To this end, we propose to adapt the learning of an NF, in an unsupervised way, which, starting from a complex data distribution, allows the generation of a representation space in which the data follow a predefined distribution.Combined with the notions of principal component analysis, we define two denoising methods operating in the generated space.In addition, the invertibility of each transformation allows new data to be generated from points of interest in latent space, thus solving the pre-image problem.Thus, based on this framework insensitive to the pre-image problem, we introduce two specifications dealing with two different tasks.For each of these prediction tasks, namely classification and regression, we propose a learning method allowing the definition of a predictive model including the inverse transformation used to compute the pre-image of any point in the generated feature space.A chapter introduces the application of these approaches to vector and image data.Finally, we look at their application to structured graph data.These complex and discrete data are present in many fields, allowing the representation of relationships between entities.For example, graphs are used in bioinformatics to represent molecules composed of bonds between atoms.We propose to extend our supervised approaches to this type of data by using graph NF.This allows the generation of a continuous graph representation space in which operations and machine learning methods can be applied, while also allowing the computation of graphs pre-images thanks to the invertibility of our model.
Que ce soit en reconnaissance des formes ou en apprentissage machine, il est courant de définir un espace de caractéristiques dans lequel les représentations des données sont obtenues en appliquant une transformation non-linéaire ou implicite.Cependant, cette transformation manque souvent d'interprétabilité en raison de l'accès limité à l'espace de caractéristiques.Par conséquent, il peut être fortement souhaitable de représenter, dans l'espace des observations, des éléments de l'espace de caractéristiques.Néanmoins, l'obtention de la transformation inverse est une tâche difficile qui implique la résolution du problème de pré-image.Cette tâche devient d'autant plus difficile lorsqu'il s'agit de données structurées telles que les graphes, qui sont complexes et discrets par nature.Dans cette thèse, nous proposons plusieurs approches cherchant à résoudre le problème de pré-image grâce à l'application de modèle génératif profond.Pour ce faire, nous commençons par introduire les concepts essentiels qui constituent nos contributions.Ces concepts comprennent le problème de pré-image et les méthodes d'apprentissage machine, en particulier les noyaux, les modèles d'apprentissage profond, ainsi que les différentes approches génératives basées sur les réseaux de neurones.À partir de cette analyse, nous proposons l'utilisation de modèle génératif profond appelé Normalizing Flows (NF), qui se révèle particulièrement adapté à notre problématique.Ce choix est motivé par la propriété d'inversibilité exacte offerte par les NF.De cela, nous introduisons une première approche qui a pour objectif de résoudre le problème de pré-image rencontré lors de l'utilisation de noyau.Cette méthode repose sur l'alignement de l'espace de caractéristiques implicitement généré par le noyau avec l'espace latent généré par un NF.Ce modèle étant inversible par nature, le problème de pré-image associé au noyau peut être considéré résolu par sa transposition vers l'espace généré par le NF.Notre contribution suivante vise à proposer un formalisme général permettant la définition de méthodes d'apprentissage machine exemptes du problème de pré-image.Pour ce faire, nous proposons d'adapter l'apprentissage d'un NF, de manière non supervisée, qui, à partir d'une distribution de données complexe, permet la génération d'un espace de représentation dans lequel les données suivent une distribution prédéfinie.Combiné aux notions de projection par analyse en composantes principales, nous définissons deux méthodes de débruitage travaillant dans l'espace généré.De plus, l'inversibilité de chaque transformation permet la génération de nouvelles données à partir de points d'intérêt de l'espace latent, ce qui permet de résoudre le problème de pré-image.Ainsi, basé sur ce formalisme insensible au problème de pré-image, nous présentons deux spécifications traitant deux tâches différentes.Pour chacune de ces tâches de prédiction, à savoir classification et régression, nous proposons une méthode d’apprentissage supervisée permettant la définition d'un modèle prédictif incluant la fonction de calcul de la pré-image de tout point de l’espace de caractéristiques généré.Un chapitre présente l'application de ses approches sur des données vectorielles et d'images.Enfin, nous nous intéressons à leurs applications sur des données structurées de type graphe.Ces données complexes et discrètes sont présentes dans de nombreux domaines permettant la modélisation de relation entre entités.Par exemple, les graphes sont utilisés en bio-informatique pour représenter des molécules composées de liaisons entre atomes.Ainsi, nous proposons d'étendre nos approches supervisées à ce type de données par l'utilisation de NF de graphe.Ceci permettant la génération d'un espace de représentation continu de graphe dans lequel des opérations et méthodes d'apprentissage machine peuvent être appliquées tout en permettant le calcul de graphe pré-image grâce à l'inversibilité de notre modèle.
Domaines
Réseau de neurones [cs.NE]
Origine : Version validée par le jury (STAR)