Performance of spiking neural networks on event data for embedded automotive applications
Performance des réseaux de neurones à spikes sur des données événementielles pour des applications automobiles embarquées
Résumé
Today, cars are increasingly equipped with intelligent algorithms, known as advanced driver assistance systems (ADAS), which seek to avoid the occurrence of dangerous situations that could lead to accidents. These embedded algorithms have very high constraints in terms of latency, performance and energy consumption. Neural networks, loosely inspired by the functioning of biological neurons, are today the most powerful artificial intelligence algorithms. They are able to meet the latency and performance requirements of automotive embedded algorithms, but their implementation on conventional architectures (CPU/GPU) results in high energy consumption, accentuated by the fact that they need to run continuously.One solution to this problem may lie in the use of spiking neural networks (SNNs), a more biologically plausible type of neural network in which artificial neurons communicate with each other solely through asynchronous, binary electrical pulses called spikes. Because of this operation, SNNs promise lower power consumption on specialized hardware architectures, called neuromorphic architectures. These architectures are composed of parallelized and distributed memory and computing units, as is the case in our brain. Thus, they require less energy as they only have to process sparse binary values.A major obstacle to the use of SNNs to address computer vision problems is precisely this representation of information in the form of spikes, which is not the representation used for images. A promising way to represent visual information in the form of spikes is, once again, to draw inspiration from biology. A new type of camera, called an event camera, captures visual information using photoreceptor pixels that independently detect changes in brightness. The output of this type of camera therefore takes the form of events, where each change in brightness is represented by its position, time (to the microsecond precision) and a binary value indicating whether the change in brightness is positive or negative. In practice, the changes in brightness represent the movement of objects, so the camera only outputs events at the locations and times a movement has occurred. These events are binary and extremely sparse, so they can be seen as spikes and represent an ideal input for SNNs.In this thesis, we study the performance of spiking neural networks for event data processing, with the objective of designing intelligent automotive algorithms that are efficient, fast, and energy-efficient. To tackle event data classification problems, we have developed new methods for training SNNs based on sparse convolutions and have developed new techniques that allow the training of very deep SNNs (more than 100 layers), achieving state-of-the-art results in terms of accuracy and sparsity. Our results then allowed us to address a problem more relevant to in-vehicle applications: the detection of cars and pedestrians on event data, for the first time solved with SNNs. We also show that SNNs are more energy efficient than equivalent ANNs under certain conditions.The contributions of this thesis in terms of SNNs training, network models, and event data representation achieve new heights in performance, making the use of SNNs and event cameras in real-world, low-power automotive applications a bit more realistic.
Aujourd'hui, les voitures embarquent de plus en plus d'algorithmes intelligents, appelés systèmes d'aides à la conduite (ADAS), qui cherchent à éviter l'apparition de situations dangereuses pouvant mener à des accidents. Ces algorithmes embarqués possèdent ainsi des contraintes très élevées en matière de latence, performance et consommation d'énergie. Les réseaux de neurones, vaguement inspirés par le fonctionnement des neurones biologiques, sont aujourd'hui les algorithmes d'intelligence artificielle les plus performants. Ils sont capables de répondre aux critères de latence et de performance demandés par les algorithmes embarqués automobiles, mais leur implémentation sur des architectures conventionnelles (CPU/GPU) résulte en une consommation énergétique élevée, accentuée par le fait qu'ils doivent tourner en permanence.Une solution à ce problème pourrait résider dans l'utilisation de réseaux de neurones à spikes (SNNs), un type de réseau de neurones plus biologiquement plausible où les couches communiquent entre elles uniquement par le biais d'impulsions électriques appelées spikes, asynchrones et binaires. Grâce à ce fonctionnement, les SNNs promettent une consommation d'énergie moins élevée sur des architectures hardware spécialisées dites neuromorphiques. Ces architectures sont composées d'unités de mémoire et d'unités de calcul parallélisées et distribuées, comme c'est le cas dans notre cerveau. Ainsi, les besoins en énergie sont moindres car ils n'ont qu'à traiter des valeurs binaires sparses.Un obstacle important à l'utilisation des SNNs pour traiter des problèmes de vision par ordinateur réside dans cette représentation de l'information sous forme de spikes. Une piste prometteuse pour représenter l'information visuelle sous forme de spikes est, encore une fois, de s'inspirer de la biologie. Un nouveau type de caméra, appelée caméra événementielle, capture l'information visuelle en utilisant des pixels photo-récepteurs détectant indépendamment les changements de luminosité. La sortie de ce type de caméra prend donc la forme d'événements, où chaque changement de luminosité est représenté par la position et le temps (à la microseconde près) où il s'est produit et une valeur binaire indiquant si le changement de luminosité est positif ou négatif. En pratique, les changements de luminosité représentent le mouvement des objets, ainsi la caméra ne sort des événements qu'aux endroits et aux moments où un mouvement s'est produit. Ces événements sont binaires et extrêmement sparses, ils peuvent donc être vus comme des spikes et représentent une entrée idéale pour les SNNs.Ainsi, nous étudions dans cette thèse la performance des réseaux de neurones à spikes pour le traitement de données événementielles, dans le but de construire des algorithmes intelligents qui soient performants, rapides et peu consommateurs d'énergie. Afin d'attaquer des problèmes de classification de données événementielles, nous avons développé de nouvelles méthodes d'apprentissage de SNNs basés sur des convolutions sparses et mis au point de nouvelles techniques qui permettent l'entraînement de SNNs très profonds (plus de 100 couches), atteignant des résultats à l'état de l'art en terme de précision et de sparsité. Nos résultats nous ont ensuite permis de traiter un problème plus pertinent pour des applications automobiles embarquées : la détection de voitures et de piétons sur des données événementielles, pour la première fois résolue avec des SNNs. Nous montrons aussi que les SNNs sont plus efficaces énergétiquement que des ANNs équivalents dans certaines conditions.Les contributions de cette thèse en termes d'entraînement de SNNs, de modèles de réseaux et de représentation des données événementielles permettent d'atteindre de nouveaux sommets en matière de performances, rendant un peu plus réaliste l'utilisation des SNNs et des caméras événementielles dans des applications automobiles embarquées réelles à faible consommation d'énergie.
Origine : Version validée par le jury (STAR)