Contributions to Convergence Analysis of Noisy Optimization Algorithms

Contributions à l'Analyse de Convergence d'Algorithmes d'Optimisation Bruitée

Sandra Astete Morales Astete Morales (1)

1 LRI - Laboratoire de Recherche en Informatique

This thesis exposes contributions to the analysis of algorithms for noisy functions. It exposes convergence rates for linesearch algorithms as well as for random search algorithms. We prove in terms of Simple Regret and Cumulative Regret that a Hessian based algorithm can reach the same results as some optimal algorithms in the literature, when parameters are tuned correctly. On the other hand we analyse the convergence order of Evolution Strategies when solving noisy functions. We deduce log-log convergence. We also give a lower bound for the convergence rate of the Evolution Strategies. We extend the work on revaluation by applying it to a discrete settings. Finally we analyse the performance measure itself and prove that the use of an erroneus performance measure can lead to misleading results on the evaluation of different methods.

Cette thèse montre des contributions à l'analyse d'algorithmes pour l'optimisation de fonctions bruitées. Les taux de convergences (regret simple et regret cumulatif) sont analysés pour les algorithmes de recherche linéaire ainsi que pour les algorithmes de recherche aléatoires. Nous prouvons que les algorithmes basé sur la matrice hessienne peuvent atteindre le même résultat que certaines algorithmes optimaux, lorsque les paramètres sont bien choisis. De plus, nous analysons l'ordre de convergence des stratégies évolutionnistes pour des fonctions bruitées. Nous déduisons une convergence log-log. Nous prouvons aussi une borne basse pour le taux de convergence de stratégies évolutionnistes. Nous étendons le travail effectué sur les mécanismes de réévaluations en les appliquant au cas discret. Finalement, nous analysons la mesure de performance en elle-même et prouvons que l'utilisation d'une mauvaise mesure de performance peut mener à des résultats trompeurs lorsque différentes méthodes d'optimisation sont évaluées.

Mots clés: Convergence of Optimization Algorithms; Optimization; Noisy Optimization; Algorithm Analysis

Mots clés: Convergence des algorithmes d'optimisation; Optimisation; Analyse d'algorithme; Optimisation Bruitée

Domaines: Optimisation et contrôle [math.OC]

Sandra Astete Morales Astete Morales. Contributions to Convergence Analysis of Noisy Optimization Algorithms. Optimization and Control [math.OC]. Université Paris Saclay (COmUE), 2016. English. ⟨NNT : 2016SACLS327⟩. ⟨tel-01611508⟩