Elements for Learning and Optimizing Expensive Functions

Éléments pour l'Apprentissage et l'Optimisation de Fonctions Chères

Philippe Rolet (1)

1 LRI - Laboratoire de Recherche en Informatique

This work focuses on learning and optimizing expensive functions, that is constructing algorithms learning to identify a concept, to approximate a function or to find an optimum based on examples of this concept (resp. points of the function). The motivating application is learning and optimizing simplified models in numerical engineering, for industrial challenges for which obtaining examples is expensive. It is then necessary to use as few examples as possible for learning (resp. optimizing). The first contribution was the conception and development of a new approach of active learning, based on reinforcement learning. Theoretical foundations for this approach were established. Furthermore, a learning algorithm based on this approach, BAAL, was implemented, and used to provide experimental validation. The approach, originally focused on machine learning, was also extended to optimization. The second contribution is focused on the potential and limits of both active learning and expensive optimization, from a theoretical point of view. Sample complexity bounds were derived: 1/ for batch active learning; 2/ for noisy optimization.

Ces travaux de doctorat sont centrés sur l'apprentissage artificiel et l'optimisation, c'est à dire la construction de programmes apprenant à identifier un concept, à approximer une fonction ou à trouver un optimum à partir d'exemples de ce concept (ou de points de la fonction). Le contexte applicatif est l'apprentissage et l'optimisation de modèles simplifiés en ingénierie numérique, pour des problèmes industriels pour lesquels les exemples sont coûteux à obtenir. Il est nécessaire d'en utiliser le moins possible pour l'apprentissage; c'est le principe de l'apprentissage actif et de l'optimisation de fonction chères. Mes efforts de recherche ont d'abord porté sur la conception et le développement d'une nouvelle approche de l'apprentissage Actif, fondée sur l'apprentissage par renforcement. Les fondements théoriques de l'approche ont été établis. Parallèlement, l'implémentation d'un logiciel fondé sur cette approche, BAAL, a permis une validation expérimentale (publications: CAP'09, ECML'09). Une extension de cette approche a été réalisée pour l'optimisation de fonction chères (publication: GECCO 2009). La deuxième partie de mon doctorat s'intéresse aux potentiels et aux limites de l'apprentissage actif et de l'optimisation chère d'un point de vue théorique. Une étude des bornes de complexités de l'apprentissage actif par "paquets" a été réalisée (publication: ECML 2010). Dans le domaine de l'optimisation bruitée, des résultats sur le nombre minimal d'exemples nécessaires pour trouver un optimum ont été obtenus (publications: LION 2010, EvoSTAR 2010).

Mots clés: estimation of distribution algorithms; noisy optimization; machine learning; active learning; Markov decision process

Mots clés: apprentissage; apprentissage actif; processus de décision Markovien; EDA; optimisation bruitée

Domaines: Informatique [cs]

Philippe Rolet. Elements for Learning and Optimizing Expensive Functions. Computer Science [cs]. Université Paris Sud - Paris XI, 2010. English. ⟨NNT : ⟩. ⟨tel-00551865⟩