New paradigms for capturing images and associated process for future SoC in CMOS nanometer nodes
Nouveaux paradigmes de capture d’images et traitements associés pour futurs SoC en nœuds CMOS nanométriques
Résumé
The goal of this thesis is to study new image acquisition paradigm in integrated vision circuits to enhance their robustness and scalability using nanometric technologies (such as the 28nm FDSOI) in order to satisfy the imaging constraints imposed by applications such as Internet of Things. In this case, a heterogeneous system-on-chip (SoC) designed in advanced technology would meet the energy consumption constraints. Using standard imagers is not compatible with this requirement because of their excessive power consumption and their architectures non-compatible with 28nm FDSOI technologies. In addition, in these SoC, significant available digital computational resources coupled with new image acquisition modes would allow ultra-low power consumption while providing the ability to implement complex image processing.After a bibliographic study on the state of the art on image acquisition methods and a study on imagers designed with advanced technologies and on low-power applications, it has been shown that it is necessary to quickly digitize light information received by the sensor (i.e. in the pixel). This is why the subject has been oriented towards an event-based vision sensor architecture.The architecture of an event-based image sensor with its associated smart processing has been developed, taking into account technology constraints. In order to define these constraints, a 28nm FDSOI pixel test circuit has been carried out to evaluate the electro-optical response. Each pixel has a different type and size of photodiodes in order to validate the most effective type and size.Two event-based architectures were studied during this thesis in order to fit with the constraints of an implementation in 28nm FDSOI technologies: a "Time-to-first-Spike" (TTFS) architecture with an inhibition system and an architecture called "multi-bus "using the dense interconnections possibilities offered by the technology. These two architectures aim to reduce the data throughput as well as energy consumption.The processing associated to the acquisition have been validated by MATLAB simulations emulating the event acquisition and pre-processing. This vision system therefore extracts a binary map corresponding to the local contrasts using block inhibition mechanism. This processing architecture is based on TTFS pixel (and its inhibition mechanism) with a dedicated pixel schematic. The binary map is extracted in a synchronous manner, thus avoiding hardware addition inherent to an AER (Adress Event Representation) implementation. This binary map can be used for applications such as motion detection, or classification such as histogram of gradient method (HoG). This extracted binary map approaches local binary patterns (LBP), which are frequently used tools in face detection and recognition.A part of this thesis has been dedicated also to the exploration of FDSOI 28nm capabilities in terms of pixel implementation. Notably, by studying pixels using a photodiode under the FDSOI transistor. It has also been developed ten 3 by 3 pixels matrices using 3D integration with LETI technology CoolCube™.
Le sujet de thèse a pour objectif de revisiter le paradigme d'acquisition d'images dans les circuits intégrés pour le rendre robuste et scalable en technologies nanométriques (telles que le 28nm FDSOI). Ceci, afin de répondre aux contraintes d’imagerie imposée par des applications de type internet des objets. Dans ce cas, un système sur puce (SoC) hétérogène conçut en technologie avancée permettrait de répondre aux contraintes de consommation d’énergie. L’utilisation des imageurs standard actuels n’est alors pas compatible avec cette exigence à cause de leur consommation excessive et leur non compatibilité avec les technologies FDSOI 28nm. De plus, les ressources importantes de calcul numérique disponibles dans ces types de SoC couplées avec de nouveaux modes de captures d'images permettraient d’atteindre des niveaux de consommation d’énergie extrêmement bas tout en offrant la possibilité d’implémenter des algorithmes de traitement d’image complexes. Après une étude bibliographique sur les différentes méthodes d’acquisition d’image ainsi qu’une étude bibliographique sur les imageurs en technologies dites avancées pour l’imagerie et pour des applications basse consommation, il a été montré qu’il était nécessaire de numériser au plus tôt l’information lumineuse reçue par le capteur. C’est pourquoi le sujet a été orienté vers une architecture de type événementielle. L’architecture d’un capteur d’image événementiel avec traitement intelligent associé a été développée, en prenant en considération les contraintes liées à la technologie. Afin de définir ces contraintes, un circuit de test de pixel en FDSOI 28nm a été réalisé permettant d’évaluer la réponse électro-optique. Les pixels ont chacun des types et des tailles de photodiodes différentes afin de valider le type et la taille les plus efficaces. Deux architectures événementielles ont été étudiées durant cette thèse afin de répondre aux contraintes d’une implémentation en technologies FDSOI 28nm : une architecture de type « Time-to-first-Spike » (TTFS) avec un système d’inhibition et une architecture dite « multi-bus » utilisant les possibilités d’interconnections denses offertes par la technologie. Ces deux architectures visent à réduire le flot de données sortant ainsi que la consommation d’énergie. Les traitements associés à l’acquisition ont été validés par des simulations MATLAB émulant l’acquisition événementielle et les prétraitements. Ce système de vision extrait donc une carte binaire correspondant aux contrastes locaux en utilisant un principe d’inhibition par bloc. Cette architecture de traitement est basée sur le pixel TTFS (et son principe d’inhibition) en adaptant son implémentation. La carte binaire est extraite de manière synchrone ce qui permet d’éviter l’ajout de matériel lié à une implémentation purement événementielle. Cette carte binaire peut servir dans des applications telles que de la détection de mouvement, ou de la classification telles que la méthode des histogrammes des gradients (HoG) le permet. La carte binaire extraite se rapproche des motifs binaires locaux (LBP) qui sont des outils fréquemment utilisés dans la détection et la reconnaissance de visage. Une partie de la thèse a également été consacrée à l’exploitation des possibilités qu’offre la technologie FDSOI 28nm. Notamment des architectures pixels utilisant une photodiode sous le transistor ont été étudiées. Il a également été développé dix matrices de 3 par 3 pixels en intégration 3D séquentielle utilisant la technologie CoolCube™ du LETI.
Origine : Version validée par le jury (STAR)