How polarimetry may contribute to deep road scene analysis in adverse weather conditions
Comment l'imagerie polarimétrique peut contribuer à l'analyse profonde de scènes routières en conditions météorologiques dégradées
Résumé
Autonomous vehicles and Advanced Driver-Assistance Systems (ADAS) have shown outstanding improvements these past few years thanks to a more accurate and reliable road scene analysis. These enhancements are mostly due to the emergence of deep learning, enabling a very accurate road abject detection. However, even if nowadays autonomous vehicles can be found in several countries, they show limits when then visibility is altered. Non-conventional modalities are the best solution to overcome this limitation, thanks to their ability to see beyond human vision, yet without being robust to any test. In this thesis, we aim to address this challenge by using polarimetric imaging, describing abjects by their physical properties invariant to visibility changes. In this thesis, we first give the background knowledge on multimodality. The polarization formalism is detailed, followed by the color models, aiming to represent human trivariant vision. Infrared imaging and Light Detection And Ranging (LiDAR) point clouds are explained as they play an important role in autonomous navigation. The theory behind deep learning, especially regarding convolutional neural networks is then addressed. Among them, the abject detectors are described as they play an important role in this thesis. An overview of Cycle-Consistent Generative Adversarial Networks (CycleGAN) is also given. The literature review cornes next to bridge the gap between these two fields to understand how they work together to enable autonomous navigation. The applications of polarimetric imaging are drawn up, as well as the limitations of current non-conventional modalities used in autonomous systems. It gives an intuition on the use of polarimetric features to enhance road scene analysis in complex situations. The different abject detectors are also presented, followed by the multimodal fusion architectures. Afterwards, the datasets constituted to carry out the needed experiments are then presented, including the acquisition process, their content and their labels, as well as the established polarimetric data formats. The designed CycleGAN generating polari metric images under constraints from Red, Green, Blue (RGB) ones is also sketched. Empirical evidence show that the polarimetric equivalent of the benchmarks of the literature are an asset to enhance road abject detection. Finally, different experiments are conducted to demonstrate that polarimetric features learnt in good weather conditions are still able to efficiently detect road abjects under fog. From these experiments, a multimodal color-based and polarimetric fusion scheme is designed. Not only it enables to enhance abject detection under fog, but it generalizes the obtained results to several visibility conditions, including various densities of fog and dense rain.
Les véhicules autonomes et les ADAS ont connu des améliorations remarquables ces dernières années grâce à une analyse plus précise et plus fiable des scènes routières. Ces améliorations sont principalement dues à l'émergence de l'apprentissage profond, qui permet une détection très précise des obstacles routiers. Cependant, même si l'on trouve aujourd'hui des véhicules autonomes dans plusieurs pays, ils atteignent leurs limites lorsque la visibilité est altérée. Les modalités non conventionnelles sont la meilleure solution pour surmonter ces limitations, grâce à leur capacité à voir au-delà de la vision humaine, sans pour autant être robustes à tout test. Dans cette thèse, nous répondons à ce défi en utilisant l'imagerie polarimétrique, décrivant les objets par leurs propriétés physiques, invariantes aux changements de visibilité. Dans cette thèse, le concept de multimodalité est d'abord introduit. Le formalisme de polarisation est détaillé, suivi par les modèles colorimétriques, visant à représenter la vision trivariante humaine. L'imagerie infrarouge et les nuages de points LiDAR sont également abordés, car ils jouent un rôle important dans la navigation autonome. La théorie de l'apprentissage profond, notamment les réseaux de neurones convolutifs, est ensuite abordé. Parmi eux, les détecteurs d'objets sont décrits car ils jouent un rôle important dans cette thèse. Un aperçu du CycleGAN est également donné. L'état de l'art vient ensuite faire le pont entre ces deux domaines afin de comprendre comment leur combinaison permet la navigation autonome. Les applications de l'imagerie polarimétrique sont parcourues, ainsi que les limites des modalités non conventionnelles actuellement utilisées dans les systèmes autonomes. Cela permet d'avoir une intuition sur l'utilisation des caractéristiques polarimétriques pour améliorer l'analyse des scènes routières en situations complexes. Les différents détecteurs d'objets sont également présentés, suivis des architectures de fusion multimodale. Ensuite, les jeux de données constitués pour réaliser les expériences nécessaires sont présentés, y compris le processus d'acquisition, leur contenu et leurs étiquettes, ainsi que les formats de données polarimétriques établis. La méthode conçue pour générer des images polarimétriques sous contraintes à partir des images RGB est également esquissée. Les preuves empiriques montrent que l'équivalent polarimétrique des bases de données repères de la littérature permet d'améliorer la détection d'obstacles routiers. Enfin, différentes expériences sont menées pour démontrer que les caractéristiques polarimétriques apprises lorsque la visibilité est bonne peuvent décrire les obstacles routiers dans le brouillard. Ces expériences ont permis de concevoir un schéma de fusion multimodal basé sur l'imagerie couleur et polarimétrique. Ce schéma permet d'améliorer la détection d'objets sous le brouillard et étend les résultats obtenus à d'autres situations, y compris diverses densités de brouillard et la pluie dense.
Origine : Version validée par le jury (STAR)