Per Instance Algorithm Configuration for Continuous Black Box Optimization

Configuration Automatisé d'algorithme par instance pour l'optimisation numérique boîte-noire

Nacim Belkhir (1)

1 TAU - TAckling the Underspecified

This PhD thesis focuses on the automated algorithm configuration that aims at finding the ‘best’ parameter setting for a given problem or a class of problem. The Algorithm Configuration problem thus amounts to a meta-optimization problem in the space of parameters, whose meta-objective is the performance measure of the given algorithm at hand with a given parameter configuration. However, in the continuous domain, such method can only be empirically assessed at the cost of running the algorithm on some problem instances. More recent approaches rely on a description of problems in some features space, and try to learn a mapping from this feature space onto the space of parameter configurations of the algorithm at hand. Along these lines, this PhD thesis focuses on the Per Instance Algorithm Configuration (PIAC) for solving continuous black box optimization problems, where only a limited budget of function evaluations is available. We first survey Evolutionary Algorithms for continuous optimization, with a focus on two algorithms that we have used as target algorithm for PIAC, DE and CMA-ES. Next, we review the state of the art of Algorithm Configuration approaches, and the different features that have been proposed in the literature to describe continuous black box optimization problems. We then introduce a general methodology to empirically study PIAC for the continuous domain, so that all the components of PIAC can be explored in real-world conditions. To this end, we also introduce a new continuous black box test bench, distinct from the famous BBOB benchmark, that is composed of a several multi-dimensional test functions with different problem properties, gathered from the literature. The methodology is finally applied to two EAs. First we use Differential Evolution as target algorithm, and explore all the components of PIAC, such that we empirically assess the best. Second, based on the results on DE, we empirically investigate PIAC with Covariance Matrix Adaptation Evolution Strategy (CMA-ES) as target algorithm. Both use cases empirically validate the proposed methodology on the new black box testbench for dimensions up to 100.

Cette thèse porte sur la configuration automatisée des algorithmes qui vise à trouver le meilleur paramétrage à un problème donné ou une catégorie de problèmes. Le problème de configuration de l'algorithme revient donc à un problème de méta-optimisation dans l'espace des paramètres, dont le méta-objectif est la mesure de performance de l'algorithme donné avec une configuration de paramètres donnée. Des approches plus récentes reposent sur une description des problèmes et ont pour but d’apprendre la relation entre l’espace des caractéristiques des problèmes et l’espace des configurations de l’algorithme à paramétrer. Cette thèse de doctorat porte sur le CAPI (Configuration d'Algorithme Par Instance) pour résoudre des problèmes d'optimisation de boîte noire continus, où seul un budget limité d'évaluations de fonctions est disponible. Nous étudions d'abord les algorithmes évolutionnaires pour l'optimisation continue, en mettant l'accent sur deux algorithmes que nous avons utilisés comme algorithme cible pour CAPI, DE et CMA-ES. Ensuite, nous passons en revue l'état de l'art des approches de configuration d'algorithme, et les différentes fonctionnalités qui ont été proposées dans la littérature pour décrire les problèmes d'optimisation de boîte noire continue. Nous introduisons ensuite une méthodologie générale pour étudier empiriquement le CAPI pour le domaine continu, de sorte que toutes les composantes du CAPI puissent être explorées dans des conditions réelles. À cette fin, nous introduisons également un nouveau banc d'essai de boîte noire continue, distinct du célèbre benchmark BBOB, qui est composé de plusieurs fonctions de test multidimensionnelles avec différentes propriétés problématiques, issues de la littérature. La méthodologie proposée est finalement appliquée à deux AEs. LA méthodologie est ainsi, validé empiriquement sur le nouveau banc d’essai d’optimisation boîte noire pour des dimensions allant jusqu’à 100.

Mots clés: evolutionary algorithms; fitness landscape analysis; algorithm configuration; algorithm selection; metaheuristics

Mots clés: algorithmes évolutionnaires; analyse du paysage de fitness; configuration d'algorithmes; selection d'algorithmes; métaheuristiques

Domaines: Optimisation et contrôle [math.OC]; Intelligence artificielle [cs.AI]; Machine Learning [stat.ML]; Apprentissage [cs.LG]; Mathématiques [math]

Nacim Belkhir. Per Instance Algorithm Configuration for Continuous Black Box Optimization. Optimization and Control [math.OC]. Paris Saclay, 2017. English. ⟨NNT : ⟩. ⟨tel-01669527v1⟩