Optimizing Deep Learning : Navigating the Field of Neural Architecture Search from Theory to Practice
Optimiser l’apprentissage profond : Explorer la recherche d’architecture neuronale, de la théorie à la pratique
Résumé
In the realm of deep learning, the design and optimization of neural architectures are crucial for achieving high-performance models. This process, based on trial and error, has been done manually for decades and is both time and resource-consuming. This thesis delves into the domain of Neural Architecture Search (NAS), a promising technique that seeks to automate this process. The research explores the complexities inherent in NAS, highlighting the challenges of navigating the vast search space of potential architectures. It investigates methods based on Local Search and proposes two efficient algorithms built around it, namely LS-Weight and LS-PON. Each method offers a distinctive approach to integrate knowledge during the search to offer efficient and more frugal strategies to NAS. Furthermore, as deep learning models are often governed by multiple competing objectives such as accuracy, complexity, and computational efficiency, this research also delves into multi-objective optimization within NAS. This ensures that the resulting architectures are not only performant for the task they are designed for but also aligned with multiple criteria essential for real-world applications. For this purpose, this research offers an alternative
approach to multi-objective NAS that addresses certain issues found in strategies from the literature. On top of that, it also analyzes the complexity of moving from benchmarks to real data, offering a protocol that guides practitioners in their usage of NAS for their applications. Lastly, by recognizing the importance of domain applications, this work focuses on healthcare images to validate these contributions. It also presents a detailed survey on the use of NAS for healthcare, by analyzing more than 40 contributions in the literature and laying the ground for future works in the field.
Dans le domaine de l’apprentissage profond, la conception et l’optimisation des architectures neuronales sont essentielles pour obtenir des modèles performants. Ce processus, basé sur une démarche d’essais et d’erreurs, a été effectué manuellement pendant des décennies et consomme beaucoup de temps et de ressources. Cette thèse explore le domaine de la recherche d’architectures neuronales, ou Neural Architecture Search (NAS), une technique prometteuse visant à automatiser ce processus. Elle aborde les complexités inhérentes aux NAS, mettant en lumière les défis liés à l’exploration de l’immense espace de recherche des architectures. Cette thèse étudie des méthodes basées sur la recherche locale et propose deux algorithmes efficaces construits autour de celle-ci, à savoir LS-Weights et LS-PON. Chacune de ces méthodes offre une approche distincte pour intégrer des connaissances pendant la recherche, afin d’obtenir une stratégie plus efficace et économe en ressources pour les NAS. Par ailleurs, puisque les modèles d’apprentissage profond sont souvent régis par plusieurs objectifs, tels que la précision, la complexité, et l’efficacité de calcul, cette recherche s’intéresse aussi `a l’optimisation multi-objectifs au sein des NAS. Cela garantit que les architectures résultantes ne sont pas seulement performantes pour la tâche pour laquelle elles sont conçues, mais aussi alignées avec plusieurs critères essentiels pour des applications réelles. Pour cela, une méthode alternative aux NAS multi-objectifs est proposée, résolvant certains problèmes identifiés dans les approches existantes de la littérature. De plus, ce travail examine la complexité du passage des benchmarks aux données réelles, offrant un protocole qui guide les praticiens dans l’utilisation des NAS pour leurs applications. Enfin, reconnaissant l’importance des applications dans des domaines spécifiques, ce travail met l’accent sur des tâches d’imagerie médicale pour valider ces contributions. Il présente également une analyse approfondie de l’utilisation des NAS dans le secteur de la santé, étudiant plus de 40 contributions de la littérature afin d’établir une base pour des recherches futures dans ce domaine.
Origine : Fichiers produits par l'(les) auteur(s)