Multi-sensor data fusion for lane boundaries detection applied to autonomous vehicle
Fusion de données multi-capteurs pour la détection des bords de voie appliquée au véhicule autonome
Résumé
Perception and correct understanding of the road scene is crucial for any application of assisted and automated driving. In order to guarantee safety of the passenger and other road users, planning and navigation must be made on the basis of a reliable environment representation. Multi-sensor data and prior information is used to build this representation which incorporates identification of road users and road structure. For the latter, the focus is put on the drivablespace and lane repartition. On highways, urban streets and generally all over the road network, the drivable space is organized in oriented corridors which enablesafer and predictable navigation for everyone. In the development of intelligentvehicles, identifying the lane repartition and building an accurate road representation outlines the lane boundaries detection task. Depending on the specifics of the target automated system, car manufacturers integrate in currently commercialized vehicles ready-to-use lane detection solutions from Tier-1 suppliers generally featuring single and vision-based smart sensors. Such solutions may not be adequate in highly automated systems where the driver is allowed to divert their attention from the driving task and become passenger. This thesis addresses the problem of lane boundaries identification relying on multi-sensor fusion of smart camera data (specifically, frontal and AVM cameras) and HD-maps. In the first part, an appropriate modeling for smart sensor measurements which is independent from the sensor nature is proposed. Uncertain detections of markings, barriers and other road elements contribute to the tracking of the surrounding lane boundaries using a novel clothoid-spline model. The second part focuses on the integration of prior information coming from digital maps. Similarly to the modeling of smart sensors, the involved uncertainties in the usage of map-providers have been taken into account to support the lane boundaries estimation. For the testing of the proposed approaches, a custom dataset of road data has been recorded using both off-the-shelf smart sensors and live streamed HD-maps. Validated and tuned tracking solutions are then integrated in close-loop experimentations on Renault prototype vehicle of SAE Level 3 of automation.
La perception et la compréhension correcte de la scène routière sont cruciales pour toute application de conduite assistée et automatisée. Afin de garantir la sécurité du passager et des autres usagers de la route, la planification et la navigation doivent être effectuées sur la base d’une représentation fiable de l’environnement. Les données multi-capteurs et les informations préalables sont utilisées pour construire cette représentation qui intègre l’identification des usagers de la route et de la structure de la route. Pour cette dernière, l’accent est mis sur l’espace de conduite et la répartition en voies. Sur les autoroutes, les rues urbaines et plus généralement sur l’ensemble du réseau routier, l’espace carrossable est organisé en couloirs orientes qui permettent une navigation plus sure et prévisible pour tous. Dans le cadre du développement des véhicules intelligents, l’identification de la répartition des voies et la construction d’une représentation précise de la route constituent la tache de détection des limites des voies. En fonction des spécificités du système automatise cible, les constructeurs automobiles intègrent dans les véhicules actuellement commercialises des solutions de détection des voies prêtes à l’emploi provenant de fournisseurs Tier-1 et comprenant généralement des capteurs intelligents simples et bases sur la vision. Ces solutions peuvent ne pas être adéquates dans les systèmes hautement automatisés où le conducteur est autorisé à détourner son attention de la tache de conduite pour devenir un passager. Cette thèse aborde le problème de l’identification des limites de voies en s’appuyant sur la fusion multi-capteurs des données des caméras intelligentes (en particulier, les cameras frontales et AVM) et des cartes HD. Dans la première partie, une modélisation appropriée pour les mesures des capteurs intelligents, indépendante de la nature du capteur, est proposée. Les détections incertaines des marquages, des barrières et d’autres éléments de la route contribuent au suivi des limites des voies environnantes à l’aide d’un nouveau modèle de splines de clothoides. La deuxième partie se concentre sur l’intégration d’informations préalables provenant de cartes numériques. Comme pour la modélisation des capteurs intelligents, les incertitudes liées à l’utilisation des fournisseurs de cartes ont été prises en compte pour aider à l’estimation des limites de la voie. Pour tester les approches proposées, un ensemble sur mesure de données routières a été enregistré en utilisant à la fois des capteurs intelligents disponibles dans le commerce et des cartes HD live stream. Les solutions de suivi validées et tunées sont ensuite intégrées dans des expérimentations en boucle fermée sur un véhicule prototype Renault de niveau 3 d’automatisation SAE.
La percezione e la corretta comprensione della scena stradale e fondamentale per qualsiasi applicazione di guida assistita e automatizzata. Per garantire la sicurezza del passeggero e degli altri utenti della strada, la pianificazione e la navigazione devono essere effettuate sulla base di una rappresentazione affidabile dell’ambiente. Dati di origine multi-sensore e informazioni disponibili a priori sono utilizzati per costruire questa rappresentazione che incorpora l’identificazione degli utenti della strada e la struttura della strada stessa. Per quest’ultima, l’attenzione e posta sullo spazio percorribile e sulla ripartizione in corsie. Sulle autostrade, le strade urbane e in generale su tutta la rete stradale, lo spazio percorribile e organizzato in corridoi orientati che permettono una navigazione piu sicura e prevedibile per tutti. Nello sviluppo di veicoli intelligenti, l’identificazione della ripartizione in corsie e la costruzione di una rappresentazione accurata della strada delinea il compito di rilevamento dei confini delle corsie o lane boundaries detection. A seconda delle specifiche del sistema automatizzato di destinazione, le case automobilistiche integrano nei veicoli attualmente commercializzati soluzioni di rilevamento di corsia pronte all’uso da fornitori Tier-1, generalmente composte di singoli sensori intelligenti e basate sulla visione computerizzata. Tali soluzioni potrebbero non essere adeguate in sistemi altamente automatizzati dove al guidatore e permesso di distogliere l’attenzione dal compito di guida e di diventare passeggero. Questa tesi di dottorato affronta il problema dell’identificazione dei limiti di corsia basandosi sulla fusione multi-sensore di dati provenienti da telecamere intelligenti (in particolare, telecamere frontali e AVM) e mappe HD. Nella prima parte, viene proposta una modellazione appropriata per le misure dei sensori intelligenti che e indipendente dalla natura del sensore. I rilevamenti incerti di marcature, barriere e altri elementi stradali contribuiscono alla stima dei limiti delle corsie circostanti utilizzando un nuovo modello di spline di clotoidi. La seconda parte si concentra sull’integrazione di informazioni provenienti da mappe digitali. Analogamente alla modellazione dei sensori intelligenti, le incertezze coinvolte nell’uso di map-providers sono state prese in considerazione per supportare l’identificazione dei limiti di corsia. Per testare gli approcci proposti, e stato registrato un dataset personalizzato di dati stradali utilizzando sia sensori intelligenti off-the-shelf che mappe HD in live streaming. Le soluzioni di tracking convalidate e correttamente regolate sono poi integrate in sperimentazioni a circuito chiuso su un veicolo prototipo Renault di livello 3 di automazione SAE.
Origine : Version validée par le jury (STAR)