Optimisation de fonctions coûteuses
Modèles gaussiens pour une utilisation efficace du budget d'évaluations : théorie et pratique industrielle
Résumé
This dissertation is driven by a question central to many industrial optimization problems : how to optimize a function when the budget for its evaluation is severely limited by either time or cost ? For example, when optimization relies on computer simulations, each taking several hours, the dimension and complexity of the optimization problem may seem irreconcilable with the evaluation budget (typically thirty parameters to be optimized with less than one hundred evaluations). This work is devoted to optimization algorithms dedicated to this context, which is out of range for most classical methods. The common principle of the methods discussed is to use Gaussian processes and Kriging to build a cheap proxy for the function to be optimized. This approximation is then used iteratively to choose the evaluation points. This choice is guided by a sampling criterion which combines local search, near promising evaluation results, and global search, in unexplored areas. Most of the criteria proposed over the years, such as the one underlying the classical EGO (for Efficient Global Optimization) algorithm, sample where the optimum is most likely to appear. By contrast, we propose an algorithm, named IAGO for Informational Approach to Global Optimization, which samples where the information gain on the optimizer location is deemed to be highest. The organisation of this dissertation is a direct consequence of the industrial concerns which drove this work. We hope it can be of use to the optimization community, but most of all to practitioners confronted with expensive-toevaluate functions. This is why we insist on the practical use of IAGO for the optimization of functions encountered in actual industrial problems. We also discuss how to handle constraints, noisy evaluation results, multi-objective problems, derivative evaluation results, or significant manufacturing uncertainties.
Cette thèse traite d'une question centrale dans de nombreux problèmes d'optimisation, en particulier
en ingénierie. Comment optimiser une fonction lorsque le nombre d'évaluations autorisé est très limité au regard de la dimension et de la complexité du problème ? Par exemple, lorsque le budget d'évaluations est limité par la durée des simulations numériques du système à optimiser, il n'est pas rare de devoir optimiser trente paramètres avec moins
de cent évaluations. Ce travail traite d'algorithmes d'optimisation spécifiques à ce contexte pour lequel la plupart des méthodes classiques sont inadaptées.
Le principe commun aux méthodes proposées est d'exploiter les propriétés des processus gaussiens et du krigeage pour construire une approximation peu coûteuse de la fonction à optimiser. Cette approximation est ensuite utilisée pour choisir itérativement les évaluations à réaliser. Ce choix est dicté par un critère d'échantillonnage qui combine recherche locale, à proximité des résultats prometteurs, et recherche globale, dans les zones non explorées. La plupart des critères proposés dans la littérature, tel celui de l'algorithme EGO (pour Efficient Global Optimization), cherchent à échantillonner la fonction là où l'apparition d'un optimum est jugée la plus probable. En comparaison, l'algorithme IAGO (pour Informational Approach to Global Optimization), principale contribution de nos travaux, cherche à maximiser la quantité d'information apportée, sur la position de l'optimum, par l'évaluation réalisée. Des problématiques industrielles ont guidé l'organisation de ce mémoire, qui se destine à la communauté de l'optimisation
tout comme aux praticiens confrontés à des fonctions à l'évaluation coûteuse. Aussi les applications industrielles y tiennent-elles une place importante tout comme la mise en place de l'algorithme IAGO. Nous détaillons non seulement le cas standard de l'optimisation d'une fonction réelle, mais aussi la prise en compte de contraintes, de
bruit sur les résultats des évaluations, de résultats d'évaluation du gradient, de problèmes multi-objectifs, ou encore d'incertitudes de fabrication significatives.
en ingénierie. Comment optimiser une fonction lorsque le nombre d'évaluations autorisé est très limité au regard de la dimension et de la complexité du problème ? Par exemple, lorsque le budget d'évaluations est limité par la durée des simulations numériques du système à optimiser, il n'est pas rare de devoir optimiser trente paramètres avec moins
de cent évaluations. Ce travail traite d'algorithmes d'optimisation spécifiques à ce contexte pour lequel la plupart des méthodes classiques sont inadaptées.
Le principe commun aux méthodes proposées est d'exploiter les propriétés des processus gaussiens et du krigeage pour construire une approximation peu coûteuse de la fonction à optimiser. Cette approximation est ensuite utilisée pour choisir itérativement les évaluations à réaliser. Ce choix est dicté par un critère d'échantillonnage qui combine recherche locale, à proximité des résultats prometteurs, et recherche globale, dans les zones non explorées. La plupart des critères proposés dans la littérature, tel celui de l'algorithme EGO (pour Efficient Global Optimization), cherchent à échantillonner la fonction là où l'apparition d'un optimum est jugée la plus probable. En comparaison, l'algorithme IAGO (pour Informational Approach to Global Optimization), principale contribution de nos travaux, cherche à maximiser la quantité d'information apportée, sur la position de l'optimum, par l'évaluation réalisée. Des problématiques industrielles ont guidé l'organisation de ce mémoire, qui se destine à la communauté de l'optimisation
tout comme aux praticiens confrontés à des fonctions à l'évaluation coûteuse. Aussi les applications industrielles y tiennent-elles une place importante tout comme la mise en place de l'algorithme IAGO. Nous détaillons non seulement le cas standard de l'optimisation d'une fonction réelle, mais aussi la prise en compte de contraintes, de
bruit sur les résultats des évaluations, de résultats d'évaluation du gradient, de problèmes multi-objectifs, ou encore d'incertitudes de fabrication significatives.
Loading...