Study and design of an energy efficient perception module combining event-based image sensors and spiking neural network with 3D integration technologies
Etude et conception d'une brique de perception efficace énergétiquement combinant capteurs d'images évènementiels et réseau de neurones impulsionnels en intégration 3D
Résumé
Bio-inspired vision sensors and processors have started to attract attention as, after several decades of research, they start being broadly used for industrial purposes. These sensors, also called event-based, generate sparse data that intrinsically present three characteristics that bring important advantages for many computer vision applications. Indeed, event-driven acquisition permits to generate sparse data, with high acquisition speed at the order of the microsecond, while conserving an exceptionally large dynamic range. Event-driven imagers are thus highly suited for deployment in situations where speed and application robustness are of high importance. However, event-based image sensors come with major drawbacks that render them nearly impracticable in embedded situations. They are noisy, poorly resolved and generate an incredible amount of data relatively to their resolution.This Ph.D. study thus focuses on understanding how they can be used, and how their drawbacks can be alleviated. The work explores bio-inspired applications for tasks where frame-based methods are already successful but present robustness flaws because classical frame-based imagers cannot be intrinsically high speed and high dynamic range. This manuscript provides leads to understand and decide why some algorithms matches more than other to their novel data type. It also tries to touch upon the reasons these sensors cannot be used as they are, but how they could be efficiently integrated into classical frame-based algorithmic pipelines and systems by deploying motion compensation of the raw data.In addition, a bio-inspired hardware-based solution to simultaneously reduce the output bandwidth and filter out noise, directly at the output of a grid of event-based pixels, is presented. It consists in the hardware implementation of a bio-inspired convolutional neural network accelerator - a neuromorphic processor – distributed near-sensor, that takes major advantages from being conceived toward a three-dimensional integration. This system was designed for minimizing its power budget, at the 28nm FDSOI node, and demonstrates a 2.86pJ per synaptic operation – or 93.0aJ per input event per pixel. On top of that, it is scalable for megapixel resolution sensors without induced overhead.
Les capteurs et processeurs de vision bio-inspirés ont commencé à attirer l'attention puisque, après plusieurs décennies de recherche, ils commencent à être largement utilisés à des fins industrielles. Ces capteurs, également appelés capteurs « événementiels » ou « à impulsions », génèrent des données éparses qui présentent intrinsèquement trois caractéristiques apportant des avantages notables pour de nombreuses applications de vision par ordinateur. En effet, l'acquisition événementielle permet de générer des données éparses, avec une vitesse d'acquisition élevée de l'ordre de la microseconde, tout en conservant une plage dynamique exceptionnellement large. Les capteurs d'images événementiels sont donc parfaitement adaptés au déploiement dans des situations où la vitesse et la robustesse de l’application sont d’une grande importance. Cependant, les capteurs d'images basés sur les événements présentent des inconvénients majeurs qui les rendent pratiquement inutilisables pour un déploiement dans des systèmes embarqués. Ils génèrent beaucoup de bruits, sont mal résolus et émettent une énorme quantité de données par rapport à leur résolution.Cette étude de doctorat vise donc à comprendre comment ils peuvent être utilisés et comment leurs inconvénients peuvent être atténués. Les travaux explorent des applications bio-inspirées pour des tâches où les méthodes classique – basées sur des images pleines - de vision par ordinateur sont déjà efficaces mais présentent des défauts de robustesse qui découlent du fait que les imageurs standards ne peuvent pas acquérir de données à haute vitesse tout en conservant une haute gamme dynamique. Ce manuscrit fournit des pistes pour comprendre et décider de pourquoi certains algorithmes s'adaptent mieux que d'autres à leur nouveau type de données. Il aborde également les raisons pour lesquelles ces capteurs ne peuvent pas être utilisés tels quels, mais comment ils pourraient être intégrés efficacement dans des pipelines et des systèmes algorithmiques classiques basés sur des images en appliquant une compensation de mouvement des données brutes.En outre, nous présentons une solution matérielle bio-inspirée permettant de réduire simultanément la bande passante de sortie et de filtrer le bruit, directement à la sortie d'une grille de pixels à impulsions. Cette solution consiste en l'implémentation matérielle d'un accélérateur de réseau de neurones convolutifs bio-inspiré - un processeur neuromorphe - distribué à proximité du capteur, qui tire parti d'une possible conception en technologies d'intégration tridimensionnelles. Ce système a été conçu pour minimiser son budget énergétique, au nœud FDSOI de 28 nm, et démontre une consommation de 2,86 pJ par opération synaptique - ou 93,0 aJ par impulsion d'entrée par pixel. De plus, il est évolutif et peut être dupliqué en mosaïque pour permettre la réalisation de capteurs évènementiels à des résolutions de l’ordre du mégapixel sans induire de surcoût.
Origine : Version validée par le jury (STAR)