Stochastic Majoration-Minimization Algorithms
Algorithmes de majoration-minimisation stochastiques
Résumé
Many problems encountered in differentiable optimization are mathematically associated with cost functions whose minimization requires working in a particularly high-dimensional space. Certain numerical operations are therefore impossible to carry out and, because of the amount of memory required to implement them, the use of certain algorithms, even though they are reputed to be efficient, becomes unthinkable. Furthermore, by being solely the result of an observation and/or knowledge model, the cost function in itself cannot fully account for the physical phenomena to be described. Purely deterministic data processing is therefore insufficient, and the development of probabilistic methods becomes essential. In response to this twofold problem, the long-term aim of this thesis work is to build a stochastic algorithm for solving large-scale problems in the fields of image processing and statistical learning.Our starting point revolves around a particular class of method, based on the principle of Majorization-Minimization (MM), reputed for the robustness of the numerical schemes regardless of the convexity (or not) of the problem. Our contribution lies on two lines of analysis. The first part aims to design a new MM scheme, more specifically a quadratic scheme, to manipulate large-scale data, ideally enabling the intrinsic capabilities of modern computation tools. From a theoretical point of view, we establish the convergence properties associated with the proposed distributed quadratic MM algorithm under mild assumptions. Secondly, we propose a so-called stochastic extension of the latter by assuming that the access to certain information relating to the cost function, in particular the evaluation of its gradient, is prone to errors. We present an asymptotic analysis of the algorithm, by relying on theoretical tools relatively new in the probabilistic field. Obtaining deeper asymptotic guarantees supposes the demonstration of novel results that need to be studied in depth.In this context, the last part of this thesis goes beyond the MM framework and is dedicated to the development of a new methodology for the strengthening of convergence results of stochastic schemes in general and in a non-necessarily convex framework. More specifically, we draw on recent developments in Kurdyka-Lojasiewicz (KL) theory for deterministic optimization. The resulting objective is finally to propose a transposition of the latter into the stochastic domain for application to the largest possible number of algorithms.
De nombreux problèmes rencontrés en optimisation différentiable sont mathématiquement associés à des fonctions de coût dont la minimisation requiert de travailler sur un espace de dimension particulièrement élevée. Certaines opérations numériques sont alors impossibles à réaliser et ainsi, de par l'occupation mémoire que nécessite leur mise en œuvre, l'utilisation de certains algorithmes, pourtant réputés efficaces, devient inenvisageable. Par ailleurs, en étant uniquement le fruit d'un modèle d'observation et/ou de connaissance, la fonction de coût en elle-même peut ne pas rendre pleinement compte des phénomènes physiques à décrire. Un traitement purement déterministe des données est alors insuffisant et l'élaboration de méthodes probabilistes devient indispensable. En réponse à cette double problématique, le travail de thèse présenté a pour objectif de construire des approches d'optimisation pour la résolution de problèmes de grandes tailles posés aussi bien dans les domaines du traitement d'images ou de l'apprentissage statistique.Notre point de départ s'articule autour d'une classe de méthode particulière, fondée sur le principe de Majoration-Minimisation (MM), réputée pour la robustesse des schémas numériques qu'elle est susceptible d'engendrer indépendamment de la convexité (ou non) du problème. Les contributions de ce travail de thèse sont fondées sur deux axes d'analyse. Une première partie s'attache à concevoir un nouveau schéma MM, quadratique, pour manipuler des données à grande échelle, en permettant idéalement d'exploiter pleinement les capacités intrinsèques des outils de calculs modernes. D'un point de vue théorique, nous établissons les propriétés de convergence associées à ce nouvel algorithme MM quadratique distribué sous des hypothèses raisonnables. Dans un second temps, nous proposons une extension stochastique de ce dernier en supposant inexact l'accès à certaines informations relatives à la fonction de coût, en particulier l'évaluation de son gradient. Les méthodes d'analyse asymptotiques nécessitent alors la mise ne place d'outils théoriques originaux. En particulier, l'obtention de certaines garanties asymptotiques, dans le cas non convexe, suppose la mise en évidence de résultats inédits qu'il devient indispensable d'étudier en détails.Dans ce contexte, la dernière partie de ce travail de thèse se détache du cadre MM et est dédiée au développement d'une nouvelle méthodologie pour le raffinement de certains résultats de convergence autour des schémas stochastiques et toujours dans un cadre non nécessairement convexe. Nous nous appuyons plus spécifiquement sur les récents développements autour de la théorie de Kurdyka-Lojasiewicz (KL) pour l'optimisation déterministe. L'objectif en résultant est finalement de proposer une transposition de ces derniers dans le domaine stochastique à des fins d'application sur le plus grand nombre d'algorithmes possibles.
Origine : Version validée par le jury (STAR)