Color event-based computer vision : framework, prototype and applications
Vision par ordinateur évènementielle couleur : cadriciel, prototype et applications
Résumé
Neuromorphic engineering is a bio-inspired approach to sensors and computers design. It aims to mimic biological systems down to the transistor level, to match their unparalleled robustness and power efficiency. In this context, event-based vision sensors have been developed. Unlike conventional cameras, they feature independent pixels which asynchronously generate an output upon detecting changes in their field of view, with high temporal precision. These properties are not leveraged by conventional computer vision algorithms, thus a new paradigm has been devised. It advocates short calculations performed on each event to mimic the brain, and shows promise both for computer vision and as a model of biological vision. This thesis explores event-based computer vision to improve our understanding of visual perception and identify potential applications. We approach the issue through color, a mostly unexplored aspect of event-based sensors. We introduce a framework supporting color events, as well as two experimental devices leveraging it: a three-chip event-based camera performing absolute color measurements, and a visual psychophysics setup to study the role of precise-timing in the brain. We explore the possibility to apply the color sensor to the genetic engineering Brainbow method, and present a new mathematical model for the latter.
L'ingénierie neuromorphique aborde de manière bio-inspirée le design des capteurs et ordinateurs. Elle prône l'imitation du vivant à l'échelle du transistor, afin de rivaliser avec la robustesse et la faible consommation des systèmes biologiques. Les caméras évènementielles ont vu le jour dans ce cadre. Elles possèdent des pixels indépendants qui détectent de manière asynchrone les changements dans leur champ visuel, avec une grande précision temporelle. Ces propriétés étant mal exploitées par les algorithmes usuels de vision par ordinateur, un nouveau paradigme encourageant de petits calculs à chaque évènement a été développé. Cette approche témoigne d'un potentiel à la fois pour la vision par ordinateur et en tant que modèle biologique. Cette thèse explore la vision par ordinateur évènementielle, afin de mieux comprendre notre système visuel et identifier des applications. Nous approchons le problème par la couleur, un aspect peu exploré des capteurs évènementiels. Nous présentons un cadriciel supportant les évènements couleur, ainsi que deux dispositifs expérimentaux l'utilisant : une caméra couleur évènementielle et un système pour la psychophysique visuelle destiné à l'étude du temps précis dans le cerveau. Nous considérons l'application du capteur couleur à la méthode de génie génétique Brainbow, et présentons un modèle mathématique de cette dernière.
Origine : Version validée par le jury (STAR)
Loading...