Contribution to the electronic realization of Artificial Neural Networks : Analog integration of the Boltzmann Machine
Contribution à la réalisation électronique de réseaux de neurones formels : intégration analogique d'une Machine De Boltzmann
Résumé
The integration capabilities of MOS technologies has been doubling every eighteen months for twenty years. An attractive approach to exploit this progress has been recently introduced through the invention of “analog cellular circuits” which are built out of the regular interconnexion of thousands identical analog cells. This Thesis is a contribution to the design knowledge of such circuits. It studies those which can be used in pattern recognition applications and which can be modelled by statistical Artificial Neural Networks (ANN). It focuses on the Boltzmann Machine, which is Boolean, stochastic and discrete time ANN model. In Chapter I, the Artificial Neural Network and the algorithms of Synchronous Boltzmann Machine are presented. The Synchronous model is well suited to a parallel implementation. In Chapter II, the State of the art of Boltzmann Machines realizations and the analog techniques used for ANN implementation are presented. In Chapter III, an original architecture of circuits dedicated to multi-layered networks executing Boltzmann Machine is presented. In Chapter IV, the design and simulations of the cells and circuits are described : voltage to current and current to voltage converters, comparator, sigmoidal function. This ANN model requires a stochastic implementation, so two original random generators are presented : the first one is opto-electronic and it takes advantage of the optical speckle properties, the second one is electronic and it uses a chaotic cellular automata. Some measures which have been done on prototype circuits are presented in Chapter V. In summary, future evolution of these techniques towards continuous time implementation and analog neurons state are described.
Depuis vingt ans, la capacité d'intégration des technologies MOS double tous les dix-huit mois. Une approche prometteuse pour exploiter cette progression a été introduite récemment par l'invention des “circuits analogiques cellulaires”, qui sont composés de l'assemblage régulier de milliers de cellules analogiques identiques. L'objectif de cette thèse est de contribuer à la conception de ces circuits, en étudiant ceux pour lesquels sont possibles une modélisation statistique à l'aide de Réseaux de Neurones Formels (RNF) et des applications à la reconnaissance des formes. Elle porte plus particulièrement sur la machine de Boltzmann, qui est un modèle de RNF booléen et stochastique, à temps discret. Au chapitre I, je présente les Réseaux de Reurones Formels et les algorithmes de la Machine de Boltzmann Synchrone, qui est un modèle adapté au parallélisme matériel. Au chapitre II, je présente l'état de l'art des réalisations de Machine de Boltzmann et des techniques analogiques utilisées pour les RNF. Au chapitre III, je présente une architecture originale de circuits dédiés aux réseaux multi-couches exécutant la Machine de Boltzmann. Au chapitre IV, je présente la conception et la simulation des cellules et des circuits nécessaires : convertisseurs tension-courant et courant-tension, comparateur, fonction sigmoïde... Ce modèle étant stochastique, je présente aussi deux réalisations originales de générateurs aléatoires : le premier est optoélectronique et tire partie des propriétés du speckle optique, le second est électronique et à base d'automates cellulaires. Le chapitre V est consacré à la description des mesures effectués sur des circuits prototypes de chacune des cellules. En conclusion, je présente les évolutions de ces travaux vers des circuits analogiques à temps continu et à états de neurones continus.