Rethinking biologically inspired learning algorithmstowards better credit assignment for on-chip learning
Repenser les algorithmes d’apprentissage inspirés de la biologie pour estimer les gradients par la physique des systèmes neuromorphiques
Résumé
The deep learning approach to AI has taken upon the whole society thanks to the use of Graphical Computing Units (GPUs). Going beyond the capability of the GPUs for deep neural network training is the core motivation of this thesis. One possible approach is neuromorphic computing, which consists in rethinking the computer from scratch by mimicking brain features. In particular memristors, which can store weight values as conductance states, are promising artificial synapse candidates. An appealing approach to train memristor-based hardware neural networks would be on-chip learning: the chip could sustain inference, gradient computation and subsequent conductance update altogether. However, on-chip learning is extremely challenging for two reasons. First, the computation of the objective function gradient calls at first sight for backpropagation, which is hardware unfriendly. More hardware convenient approaches use learning heuristics that poorly scale to deeper architectures, probably because of their lack of theoretical guarantees.The second challenge of on-chip learning is the conductance update to be performed given a gradient value: memristors exhibit many imperfections which dramatically hamper on-chip learning. In this thesis, we propose to disentangle these two aspects of on-chip learning. On the one hand, we study the effect of memristive device imperfections on the training of Restricted Boltzmann Machines and propose appropriate programming strategies. On the other hand, we build upon Equilibrium Propagation, a hardware friendly counterpart of backpropagation whose learning rule, computed by the physics of the system itself, is spatially local and mathematically grounded.
Le deep learning s’est imposé à l’ensemble de la société grâce à l’utilisation des GPUs (Graphical Processing Units). Aller au-delà de la capacité des GPUs pour l’entraînement des réseaux de neurones est la motivation principale de cette thèse. Une approche possible est le calcul neuromorphique consistant à repenser l’ordinateur à partir de zéro en imitant les caractéristiques du cerveau. En particulier, les memristors, qui peuvent stocker des valeurs de poids sous forme d’états de conductance, sont des candidats prometteurs pour les synapses artificielles. Une approche excitante pour réaliser des réseaux de neurones physiques utilisant memristors serait l’apprentissage sur puce : un tel dispositif pourrait réaliser à la fois l’inférence, le calcul de gradient et la mise à jour correspondante des conductances des memristors. Cependant, l’apprentissage sur puce est extrêmement difficile pour deux raisons. Tout d’abord, le calcul du gradient de la fonction objectif appelle à première vue à l’utilisation de l’algorithme de « backpropagation », qui est intrinsèquement difficile à implémenter sur puce. Le deuxième défi de l’apprentissage sur puce est l’incrément de conductance à réaliser étant donnée une valeur de gradient : les memristors présentent de nombreuses imperfections qui entravent considérablement l’apprentissage sur puce. Dans cette thèse, nous proposons de démêler ces deux aspects de l’apprentissage sur puce. D’une part, nous étudions l’effet des imperfections des memristors sur l’apprentissage des machines Boltzmann restreintes et proposons des stratégies de programmation appropriées. D’autre part, nous nous appuyons sur l’algorithme de « Equilibrium Propagation », un équivalent de la backpropagation dont la règle d’apprentissage, calculée par la physique du système lui-même, est spatialement locale et mathématiquement fondée.
Origine : Version validée par le jury (STAR)