On the Links between Probabilistic Graphical Models and Submodular Optimisation

K. S. Sesh Kumar 1, 2
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Résumé : Un modèle graphique probabiliste représente les relations d’indépendances conditionnelles parmi des variables aléatoires, qui sont liées à la factorisation de la densité. De plus, l’entropie d’une distribution sur un ensemble de variables aléatoires discrètes est toujours bornée par l’entropie de la distribution factorisée correspondante. Cette propriété est due à la sous-modularité de l’entropie. Par ailleurs, les fonctions sous-modulaires sont une généralisation des fonctions de rang des matroides ; ainsi, les fonctions linéaires sur les polytopes associés peuvent être minimisées exactement par un algorithme glouton. Dans ce manuscrit, nous exploitons ces liens entre les structures des modèles graphiques et les fonctions sous-modulaires. Nous utilisons des algorithmes gloutons pour optimiser des fonctions linéaires sur des polytopes liés aux matroides graphiques et hypergraphiques pour apprendre la structure de modèles graphiques, tandis que nous utilisons des algorithmes d’inférence sur les graphes pour optimiser des fonctions sous-modulaires. La première contribution de cette thèse consiste à approcher par maximum de vraisemblance une distribution de probabilité par une distribution factorisable et de complexité algorithmique contrôlée. Comme cette complexité est exponentielle dans la largeur arborescente du graphe, notre but est d’apprendre un graphe décomposable avec une largeur arborescente bornée, ce qui est connu pour être NP-difficile. Nous posons ce problème comme un problème d’optimisation combinatoire et nous proposons une relaxation convexe basée sur les matroides graphiques et hypergraphiques. Ceci donne lieu à une solution approchée avec une bonne performance pratique. Pour la seconde contribution principale, nous utilisons le fait que l’entropie d’une distribution est toujours bornée par l’entropie de sa distribution factorisée associée, comme conséquence principale de la sous-modularité, permettant une généralisation à toutes les fonctions sous-modulaires de bornes basées sur les concepts de modèles graphiques. Un algorithme est développé pour maximiser les fonctions sous-modulaires, un autre problème NP-difficile, en maximisant ces bornes en utilisant des algorithmes d’inférence vibrationnels sur les graphes. La troisième contribution principale de la thèse cherche à minimiser les fonctions sous-modulaires qui peuvent s’écrire comme la somme de fonctions sous-modulaires "simples’’, et est divisée en deux parties : la première propose une rappel sur les algorithmes permettant de minimiser de telles fonctions en utilisant des oracles de minimisation précis pour les fonctions simples. Nous nous focalisons principalement sur les fonctions de coupes dans les graphes où ces oracles correspondent à des algorithmes d’inférence dans les modèles graphiques. La deuxième partie propose des algorithmes ces sommes de fonctions simples en utilisant la structure des polytopes associés.
Type de document :
Thèse
Machine Learning [cs.LG]. ENS Paris - Ecole Normale Supérieure de Paris; INRIA - Sierra Project-Team, 2016. English
Liste complète des métadonnées

https://tel.archives-ouvertes.fr/tel-01693285
Contributeur : Ks Seshkumar <>
Soumis le : vendredi 26 janvier 2018 - 09:56:33
Dernière modification le : samedi 27 janvier 2018 - 01:18:12

Fichier

karriPhDThesis.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01693285, version 1

Collections

Citation

K. S. Sesh Kumar. On the Links between Probabilistic Graphical Models and Submodular Optimisation. Machine Learning [cs.LG]. ENS Paris - Ecole Normale Supérieure de Paris; INRIA - Sierra Project-Team, 2016. English. 〈tel-01693285〉

Partager

Métriques

Consultations de la notice

36

Téléchargements de fichiers

16