Contribution au développement des méthodes avancées de la programmation DC et DCA pour certaines classes de problèmes d'optimisation non-convexes. Applications en apprentissage automatique

Hoai Minh Le (1)

1 LGIPM - Laboratoire de Génie Informatique, de Production et de Maintenance

This habilitation thesis is devoted to the development of advanced methods in DC (Difference of Convex functions) and DCA (DC Algorithm) programming for different classes of non-convex optimization problems and their applications in machine learning. The dissertation is divided into three parts containing twelve chapters. In the first part, we present three advanced DCA approaches for several classes of non-convex optimization problems. The first approach, Accelerated DCA (ADCA), aims to improve the convergence speed of DCA. The second approach, DCA-Like, allows to solve two classes of non-convex optimization problems without highlighting a DC decomposition of the objective function. The third approach, Stochastic DCA, is developed to deal with problems with big data. The second part of the thesis concerns a difficult and extremely important topic - sparse optimization. We present two major approaches for sparse optimization: DC approximation and nonconvex exact reformulation. Several important theoretical results and efficient DCA based method are presented. We then deploy our two proposed approaches to solve three machine learning applications. The third part concerns the development of DCA methods for a fundamental subject of learning and data mining: clustering. Five clustering problems are considered: MSSC (Minimum of Sum of Squares Clustering), MSSC with weighted variables, block clustering, Gaussian mixture model, clustering of large-scale time-series.

Ce mémoire d’HDR est consacré au développement des méthodes avancées en programmtion DC (Difference of Convex functions) et DCA (DC Algorithm) pour différentes classes des problèmes d'optimisation non convexes et leurs applications à nombreuses thématiques de l'apprentissage automatique. Le mémoire est divisé en trois parties contenant de douze chapitres. Dans la première partie, nous présentons trois approches avancées de DCA pour plusieurs classes de problèmes d'optimisation non convexe. La première approche, nommée Accelerated DCA (ADCA), est pour but d’améliorer la vitesse de convergence de DCA. La deuxième approche, appelée DCA-Like, permet de résoudre deux classes des problèmes d'optimisation non convexes sans mettre en évidence une décomposition DC. La troisième approche, DCA Stochastique, est développée pour faire face aux problèmes avec big data. La deuxième partie du mémoire concerne une thématique difficile et extrêmement importante - l'optimisation parcimonieuse. Nous présentons deux approches majeures pour l’optimisation parcimonieuse : l'approximation DC et la reformulation via la pénalité exacte. Nous avons prouvé plusieurs résultats théoriques importants et dévelopé quatre méthodes DCA pour résoudre les problèmes résultants. Nous déployons ensuite nos deux approches proposées à la résolution de trois problèmes d'apprentissage automatique. La troisième partie concerne le développement des méthodes DCA pour un sujet fondamental de l'apprentissage et fouille de données : le clustering. Cinq problèmes en clustering sont considérés : le MSSC (Minimum of Sum of Squares Clustering), le MSSC avec pondération de variables, le clustering par blocs, le modèle de mélange gaussien, le clustering des séries temporelles.

Mots clés: Nonconex optimization; DC Programming; DCA; Advanced DCA; Machine Learning

Mots clés: Non-convexe optimisation; Programmation DC; DCA; DCA avancé; Apprentissage automatique

Domaines: Optimisation et contrôle [math.OC]; Apprentissage [cs.LG]

Hoai Minh Le. Contribution au développement des méthodes avancées de la programmation DC et DCA pour certaines classes de problèmes d'optimisation non-convexes. Applications en apprentissage automatique. Optimization and Control [math.OC]. Université de Lorraine, 2022. ⟨tel-03604317⟩