Bio-inspired continual learning and credit assignment for neuromorphic computing
Apprentissage continu et estimation du gradient inspirés de la biologie pour le calcul neuromorphique
Résumé
Deep learning algorithms allow computers to perform cognitive tasks ranging from vision to natural language processing with performance comparable to humans. Although these algorithms are conceptually inspired by the brain, their energy consumption is orders of magnitude higher. The reason for this high energy consumption is both architectural and algorithmic. The architecture of computers physically separates the processor and the memory where data is stored. This separation causes particularly intense and energy-intensive data movement for machine learning algorithms, limiting on-board or low-energy budget applications. One solution consists in creating new neuromorphic architectures where the memory is as close as possible to the computation units. However, existing learning algorithms have limitations that make their implementation on neuromorphic chips difficult. In particular, the algorithmic limitations at the heart of this thesis are catastrophic forgetting and non-local credit assignment. Catastrophic forgetting concerns the inability to maintain the performance of a neural network when a new task is learned. Credit assignment in neural networks is performed by Backpropagation. Although efficient, this algorithm is challenging to implement on a neuromorphic chip because it requires two distinct types of computation. These concepts are presented in details in chapter 1 of this thesis. Chapter 2 presents an algorithm inspired by synaptic metaplasticity to reduce catastrophic forgetting in binarized neural networks. Binarized neural networks are artificial neural networks with binary weights and activation, which makes them attractive for neuromorphic applications. The training process of binarized synaptic weights requires hidden variables whose meaning is poorly understood. We show that these hidden variables can be used to consolidate important synapses. The presented consolidation rule is local to the synapse, while being as effective as an established continual learning method of the literature. Chapter 3 deals with the local estimation of the gradient for training. Equilibrium Propagation is a learning algorithm that requires only one type of computation to estimate the gradient. However, scaling it up to complex tasks and deep architectures remains to be demonstrated. In this chapter, resulting from a collaboration with the Mila, we show that a bias in the estimation of the gradient is responsible for this limitation, and we propose a new unbiased estimator that allows Equilibirum propagation to scale up. We also show how to adapt the algorithm to optimize the cross entropy loss instead of the quadratic cost. Finally, we study the case where synaptic connections are asymmetric. These results show that Equilibrium Propagation is a promising algorithm for on-chip learning. Finally, in Chapter 4, we present an architecture to implement ternary synapses using resistive memories based on Hafnium oxide in collaboration with the University of Aix Marseille and CEA-Leti in Grenoble. We adapt a circuit originally intended to implement a binarized neural network by showing that a third synaptic weight value can be encoded when exploiting the low supply voltage regime, which is particularly suitable for on-board applications. The results presented in this thesis show that the joint design of algorithms and computational architectures is crucial for neuromorphic applications.
Les algorithmes d’apprentissage profond permettent aux ordinateurs de réaliser des tâches cognitives allant de la vision à la compréhension du langage naturel avec une performance comparable à celle des humains. Bien que ces algorithmes s’inspirent conceptuellement du cerveau, leur consommation énergétique est supérieure par plusieurs ordres de grandeur. La raison de cette surconsommation énergétique est à la fois architecturale et algorithmique. L’architecture des ordinateurs sépare physiquement les unités de calcul et de mémoire où les données sont stockées. Cette séparation provoque un déplacement de données particulièrement intense et coûteux en énergie pour les algorithmes d’apprentissage machine, ce qui limite les applications embarquées ou à faible budget énergétique. Une solution consiste à créer de nouvelles architectures neuromorphiques où la mémoire est au plus près des unités de calcul. Cependant, les algorithmes d’apprentissage existants possèdent des limitations qui rendent leur implémentation sur puce neuromorphique difficile. En particulier, les limitations algorithmiques au cœur de cette thèse sont l’oubli catastrophique et l’estimation non locale du gradient. L’oubli catastrophique concerne l’impossibilité de conserver la performance d’un réseau de neurones lorsqu’une nouvelle tâche est apprise. Le calcul du gradient dans les réseaux de neurones est effectué par la Backpropagation. Bien qu’efficace, cet algorithme est difficile à implémenter sur une puce neuromorphique car il nécessite deux types de calculs distincts. Ces concepts sont présentés en détail dans le chapitre 1 de la thèse. Le chapitre 2 présente un algorithme inspiré de la métaplasticité synaptique pour réduire l’oubli catastrophique dans les réseaux de neurones binaires. Les réseaux de neurones binaires sont des réseaux de neurones artificiels avec des poids et activation binaires, ce qui les rend attrayants pour les applications neuromorphiques. L'entraînement des poids synaptiques binaires nécessitent des variables cachées dont la signification est mal comprise. Nous montrons que ces variables cachées peuvent être utilisées pour consolider les synapses importantes. La règle de consolidation présentée est locale à la synapse, tout en étant aussi efficace qu’une méthode d’apprentissage continue établie dans la littérature. Le chapitre 3 s’intéresse à l’estimation locale du gradient pour l’apprentissage. Equilibrium Propagation est un algorithme d’apprentissage qui ne nécessite qu’un seul type de calcul pour estimer le gradient. Toutefois, son passage à l’échelle sur des tâches complexes et architectures profondes restent à démontrer. Dans ce chapitre, résultant d’une collaboration avec le Mila, nous montrons qu’un biais dans l'estimation du gradient empêche ce passage à l’échelle, et nous proposons un nouvel estimateur non biaisé qui permet de passer à l’échelle. Nous montrons aussi comment adapter l’algorithme pour optimiser l’entropie croisée au lieu du coût quadratique. Enfin, nous étudions le cas où les connexions synaptiques sont asymétriques. Ces résultats montrent que Equilibrium Propagation est un algorithme prometteur pour l’apprentissage sur puce. Enfin, dans le chapitre 4, nous présentons une architecture pour implémenter des synapses ternaires à l’aide de mémoires résistives à base d’oxyde d’Hafnium en collaboration avec l’université d’Aix Marseille et le CEA-Leti de Grenoble. Nous adaptons un circuit initialement prévu pour implémenter un réseau de neurone binaire en montrant qu’une troisième valeur de poids synaptique peut être codée en exploitant le un régime où la tension d’alimentation est basse, ce qui est particulièrement adapté pour les applications embarquées. Les résultats présentés dans cette thèse montrent que la conception jointe des algorithmes et des architectures de calcul est cruciale pour les applications neuromorphiques.
Origine : Version validée par le jury (STAR)