Neural Architecture Search under Budget Constraints

Recherche d'architectures de réseaux de neurones sous contraintes de budget

Tom Veniat (1)

1 MLIA - Machine Learning and Information Access

The recent increase in computation power and the ever-growing amount of data available ignited the rise in popularity of deep learning. However, the expertise, the amount of data, and the computing power necessary to build such algorithms as well as the memory footprint and the inference latency of the resulting system are all obstacles preventing the widespread use of these methods. In this thesis, we propose several methods allowing to make a step towards a more efficient and automated procedure to build deep learning models. First, we focus on learning an efficient architecture for image processing problems. We propose a new model in which we can guide the architecture learning procedure by specifying a fixed budget and cost function. Then, we consider the problem of sequence classification, where a model can be even more efficient by dynamically adapting its size to the complexity of the signal to come. We show that both approaches result in significant budget savings. Finally, we tackle the efficiency problem through the lens of transfer learning. Arguing that a learning procedure can be made even more efficient if, instead of starting tabula rasa, it builds on knowledge acquired during previous experiences. We explore modular architectures in the continual learning scenario and present a new benchmark allowing a fine-grained evaluation of different kinds of transfer.

L'augmentation de la puissance de calcul et de la quantité de données disponible ont permis la montée en popularité de l'apprentissage profond. Cependant, l'expertise et les ressources nécessaires pour construire de tels algorithmes ainsi que l'empreinte mémoire et le temps d'inférence lors de l'utilisation sont autant d'obstacles à l'utilisation de ces méthodes. Dans cette thèse, nous proposons de construire des modèles d'apprentissage profond de manière plus efficace et automatisée. Tout d'abord, nous nous concentrons sur l'apprentissage d'une architecture efficace pour les problèmes de traitement d'images. Nous proposons un modèle dans lequel nous pouvons guider la procédure d'apprentissage d'architecture en spécifiant un budget et une fonction de coût fixes. Ensuite, nous considérons le problème de la classification de séquences, où un modèle peut être encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à venir. Enfin, nous abordons le problème de l'efficacité sous l'angle de l'apprentissage par transfert, une procédure d'apprentissage pouvant être rendue encore plus efficace si elle s'appuie sur des connaissances acquises lors d'expériences précédentes. Nous explorons les architectures modulaires dans le scénario de l'apprentissage continuel et présentons un nouveau benchmark permettant une évaluation fine des différents types de transfert.

Mots clés: Deep learning; Neural architecture search; Continual learning

Mots clés: Intelligence artificielle; Apprentissage automatique; Apprentissage profond; Recherche d'architecture; Apprentissage continuel; Réseaux de neurones embarqués

Domaines: Apprentissage [cs.LG]; Intelligence artificielle [cs.AI]; Traitement du signal et de l'image [eess.SP]

Tom Veniat. Neural Architecture Search under Budget Constraints. Machine Learning [cs.LG]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS443⟩. ⟨tel-03727609⟩