Energy efficient bayesian reasoning using novel memory technologies
Conception de systèmes efficaces en énergie dédiés à l'inférence bayésienne exploitant des nouvelles technologies mémoires
Résumé
Artificial Intelligence (AI) plays a key role in modern advancements, especially in data analysis and healthcare. Large models, such as ChatGPT and Dall-E, rely on cloud platforms, consolidating vast amounts of data. However, their high energy consumption poses challenges, particularly for devices with limited resources, which are seen as a decentralizing alternative. For context, training the Llama-2 model from Meta uses as much energy as 33 French households consume in a year. One solution might be to train the model externally and then run the inference on the device itself, even with performance challenges. Beyond energy concerns, AI's lack of transparency is a critique. In medical applications or autonomous driving, understanding AI decision-making is crucial.In this thesis, we will investigate Bayesian inference, a potential answer for energy efficient, clearer, and more transparent AI models.In the first chapter, we delve into the von Neumann architecture of current circuits, followed by a look at the advancements in new architectures inspired by the brain's function. The role of memristors and their potential for in-memory computing are emphasized. In the second and third chapters, we discuss a "Bayesian machine”, from its theoretical foundation to its design. This includes an explanation of its operation and its real-world application in gesture recognition, taking into account the architecture of this Bayesian machine. The machine relies on stochastic computing, a computing method that reduces energy consumption. This approach also helps minimize the size of multipliers used in Bayesian inference. We examine the practical applications of this approach by exploring the possibilities it offers for the gesture recognition task. Additionally, the efficiency of Bayesian inference in scenarios with limited data is evaluated and the machine's explainability is explored. The next chapter details the manufacturing and the testing process of the machine, we particularly describe the techniques used to program read and do the inference on this ASIC. Challenges and opportunities associated with measuring and characterizing these systems are also delved into, concluding with thoughts on energy efficiency improvements. The fourth chapter contrasts two computational architectures for machines: the previously discussed stochastic computing and the newly introduced logarithmic computing. They are compared both in terms of applications - from gesture recognition to a medical application of sleep cycle detection - and in energy efficiency. We then present the integration of the logarithmic chip into a system with a RISC-V core. Finally, a new multimode computing chip with enhanced memory capacity is currently under test for more complex applications. In conclusion, research, both from the software perspective with the varied applications of Bayesian inference, and the hardware side with the adoption of innovative memory technologies like memristors and energy harvesting systems, signifies a crucial step in the advancement of low-energy AI, specifically embedded AI.
L'intelligence artificielle (IA) est centrale aux avancées actuelles, dont l'analyse de données et la médecine. Des modèles comme ChatGPT et Dall-E exploitent le cloud, centralisant d'immenses volumes de données. Cependant, leur consommation énergétique est problématique, spécialement pour des appareils à ressources limitées, vus comme une alternative à la centralisation. Par exemple, l'entraînement du modèle Llama-2 de Meta consomme autant qu'annuellement 33 foyers français. Une solution serait d'entraîner le modèle hors de l'appareil, puis d'exécuter l'inférence sur celui-ci, malgré les contraintes de performance. Au-delà des défis énergétiques, l'IA est souvent pointée du doigt pour son manque de transparence. En médecine ou dans la conduite autonome, il est impératif de comprendre le raisonnement derrière chaque décision prise par l'IA.Dans cette thèse, nous nous concentrons sur l'inférence bayésienne, une solution possible pour des modèles IA plus économes en énergie, explicites et transparents.Dans le premier chapitre, nous explorons l'architecture Von-Neumann des circuits actuels puis nous abordons les nouvelles architectures inspirées du fonctionnement du cerveau, mettant l'accent sur les memristors et leur potentiel pour le calcul en mémoire. Dans le deuxième chapitre, nous présentons une « machine bayésienne », de sa théorie à sa conception. L'explication de son fonctionnement est abordé, jusqu'à une application réelle de reconnaissance de geste, en passant par l'architecture de cette machine bayésienne. Dans cette partie, nous nous penchons sur une méthode de calcul qui permet de diminuer la consommation énergétique : le calcul stochastique. Elle est présentée comme une solution réduisant également l'encombrement des multiplicateurs nécessaires à l'inférence bayésienne. Nous examinons les applications pratiques de cette approche en explorant les possibilités qu'elle offre pour une application spécifique : la reconnaissance des gestes. Ensuite, la performance de l'inférence bayésienne pour cette application est évaluée dans des contextes à faible volume de données, et le caractère explicable de la machine est étudié. Dans le troisième chapitre, les étapes du processus de fabrication et de test, de la puce ASIC fabriquée, sont ensuite détaillées, en mettant en lumière les étapes de programmation, lecture et inférence de cette machine. Nous explorons également les défis et les opportunités associés à la mesure et à la caractérisation de ces systèmes, avant de conclure avec une discussion sur les perspectives d'amélioration de l'efficacité énergétique. Le quatrième chapitre est consacré à une comparaison entre deux architectures de calcul pour une machine bayésienne, le calcul stochastique étudié précédemment et le calcul logarithmique nouvellement développé. Nous faisons la comparaison tant en termes d'application, sur la reconnaissance de geste et également sur une application plus médicale qu'est la reconnaissance des cycles du sommeil, qu'en termes énergétiques. Par la suite, une intégration de cette puce fabriquée dans un système composé d'un cœur RISC-V est présentée. Nous avons également fabriqué une nouvelle puce multimode de calcul avec une plus grande capacité mémoire pouvant réaliser des tâches plus complexes. En conclusion, la recherche, tant du côté software, avec les différentes applications possibles de l'inférence bayésienne, que du côté hardware, avec l'intégration des nouvelles technologies mémoires comme les memristors et l'intégration des systèmes de collecte d'énergie, est présentée comme une étape importante dans l'innovation de l'intelligence artificielle à faible consommation d'énergie et plus particulièrement de l'intelligence artificielle embarquée.
Origine : Version validée par le jury (STAR)