Energy-Efficient Memristor-Based Artificial Intelligence Accelerators using In/Near Memory Computing
Accélérateurs d'Intelligence Artificielle à Base de Memristors à Faible Consommation d'Énergie utilisant le Calcul Dans/Proche de la Mémoire
Résumé
Artificial Intelligence (AI) is emerging as an omnipresent force in our everyday lives, possessing the potential to bring about a transformative revolution across a multitude of societal sectors. Yet, beneath this promise of transformation, AI is grappling with two significant challenges that need urgent attention: energy efficiency and trustworthiness. The AI industry's escalating energy demands are contributing to global carbon emissions due to the high computational needs of AI models, threatening environmental sustainability and restricting the deployment of AI in resource-constrained settings such as edge devices. Simultaneously, the 'black box' nature of many AI systems, producing difficult-to-interpret decisions, raises concerns about trust. These uncertainties introduce risks in critical sectors forming barriers to the wider acceptance of AI.In response to these challenges, this thesis proposes a multidisciplinary approach that unifies artificial intelligence, computer architecture, and emerging technologies. Our strategy involves the development of specialized integrated circuits utilizing cutting-edge memristor technology, a nanoelectronic technology designed to support low-energy computational paradigms for AI models, specifically in resource-constrained contexts. The central concept of this approach is to harness the non-volatility and in/near-memory capabilities of memristors, while accounting for their non-ideal characteristics, to achieve high energy efficiency, particularly in the realm of edge computing. Additionally, we incorporate Bayesian inference, a fully explainable AI technique, into the circuitry to address the trust issues associated with AI, fostering the development of transparent and dependable AI applications.The first chapter of this thesis introduces a near-memory computing architecture designed for edge AI applications, inspired by the human brain's exceptional energy efficiency. We propose a memristor-based Bayesian machine architecture employing memristors, that paves the path towards energy-efficient AI models.In the second chapter, we delve into a Bayesian machine that employs a stochastic computing approach within a distributed memristor array system. This machine, which we have designed, fabricated, and tested, exhibits superior energy efficiency compared to traditional microcontroller units for tasks such as gesture recognition. It demonstrates resilience to soft errors and radiation, making it well-suited for deployment in harsh environments.Chapter three addresses the limitations of stochastic computing in our memristor-based Bayesian machine and presents an alternative solution: a logarithmic memristor-based Bayesian machine. This newly designed, fabricated, and tested circuit enhances precision and accelerates inference operations, while maintaining the original machine's architecture and design. The chapter also provides a comparative analysis of the stochastic and logarithmic memristor-based Bayesian machines, elucidating their relative strengths and weaknesses.In the final chapter, we tackle challenges associated with memristor utilization. We introduce a multimode memristor-based prototyping platform that facilitates both analog and digital project implementation. Currently, this platform is being used in two research labs to validate a range of digital logic-in-memory and analog neuromorphic concepts.
L'Intelligence Artificielle (IA) émerge comme une force omniprésente dans notre vie quotidienne, possédant le potentiel de provoquer une révolution transformatrice dans une multitude de secteurs de la société. Cependant, sous cette promesse de transformation, l'IA est confrontée à deux défis majeurs qui nécessitent une attention urgente : l'efficacité énergétique et la fiabilité. Les besoins énergétiques croissants de l'industrie de l'IA contribuent aux émissions mondiales de carbone en raison des hautes exigences computationnelles des modèles d'IA, menaçant la durabilité environnementale. Parallèlement, la nature 'boîte noire' de nombreux systèmes d'IA, produisant des décisions difficiles à interpréter, soulève des questions de confiance. Ces incertitudes introduisent des risques dans des secteurs critiques, formant des barrières à l'acceptation plus large de l'IA.En réponse à ces défis, cette thèse propose une approche multidisciplinaire qui unifie l'intelligence artificielle, l'architecture informatique et les technologies émergentes. Notre stratégie implique le développement de circuits intégrés spécialisés utilisant la technologie de pointe des memristors, une technologie nanoelectronique conçue pour supporter des paradigmes de calcul à faible énergie pour les modèles d'IA, spécifiquement dans des contextes à ressources limitées. Le concept central de cette approche est d'exploiter la non-volatilité et les capacités de calcul Dans/Proche de la mémoire des memristors, tout en tenant compte de leurs caractéristiques non-idéales, pour atteindre une haute efficacité énergétique, particulièrement dans le domaine du edge computing. De plus, nous incorporons l'inférence Bayésienne, une technique d'IA totalement explicative, dans le circuit pour répondre aux problèmes de confiance associés à l'IA, favorisant ainsi le développement d'applications d'IA transparentes et fiables.Le premier chapitre de cette thèse introduit une architecture de calcul Proche-mémoire conçue pour les applications d'IA de périphérie (AI at the Edge), inspirée par l'efficacité énergétique exceptionnelle du cerveau humain. Nous proposons une architecture de machine Bayésienne basée sur des memristors, qui ouvre la voie vers des modèles d'IA à haute efficacité énergétique.Dans le deuxième chapitre, nous explorons une machine Bayésienne qui emploie une approche de calcul stochastique au sein d'un système d'array de memristors distribué. Cette machine, que nous avons conçue, fabriquée et testée, présente une efficacité énergétique supérieure par rapport aux unités de microcontrôleurs traditionnelles pour des tâches telles que la reconnaissance gestuelle. Elle démontre une résilience aux erreurs logicielles et aux radiations, la rendant bien adaptée pour le déploiement dans des environnements rudes.Le troisième chapitre aborde les limitations du calcul stochastique dans notre machine Bayésienne et présente une solution alternative : une machine Bayésienne basée sur le calcul logarithmiques. Ce nouveau circuit, conçu, fabriqué et testé, améliore la précision et accélère les opérations d'inférence, tout en maintenant l'architecture et le design de la machine originale. Le chapitre fournit également une analyse comparative de nos machines Bayésiennes stochastiques et logarithmiques, élucidant leurs forces et faiblesses respectives.Dans le dernier chapitre, nous abordons les défis associés à l'utilisation des memristors. Nous introduisons une plateforme de prototypage basée sur des memristors multimodes qui facilite la mise en œuvre de projets analogiques et numériques. Actuellement, cette plateforme est utilisée dans deux laboratoires de recherche pour valider une gamme de concepts neuromorphiques analogiques et de logique numérique en mémoire.
Origine : Version validée par le jury (STAR)