Nantilus
Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception
La détection précise d objets 3D est un enjeu majeur pour l intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont...
Enregistré dans:
| Auteurs principaux : | , , , , , , , |
|---|---|
| Collectivités auteurs : | , , |
| Format : | Thèse ou mémoire |
| Langue : | anglais |
| Titre complet : | Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception / Minh Quan Dao; sous la direction de Vincent Frémont et de Elwan Héry |
| Publié : |
2023 |
| Accès en ligne : |
Accès Nantes Université
|
| Note sur l'URL : | Accès au texte intégral |
| Note de thèse : | Thèse de doctorat : Robotique : Ecole centrale de Nantes : 2023 |
| Sujets : |
| Résumé : | La détection précise d objets 3D est un enjeu majeur pour l intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont clairsemés à longue distance et soumis aux occlusions. L état de l art propose alors des techniques de suréchantillonnage, par fusion avec des caméras ou par distillation des connaissances, afin d obtenir de bonnes détections. La première méthode permet de reconstruire la profondeur des pixels afin de générer des points supplémentaires tandis que la seconde vise à obtenir des nuages de points imitant ceux sans occlusion ni dispersion. Comme ces approches utilisent des mesures obtenues par le véhicule ego à chaque pas de temps, la détection est inévitablement affectée par ces régions inobservables. Conscient des limites des méthodes à perspective unique, ces travaux de thèse s efforcent à résoudre les problèmes d occlusion et de rareté en exploitant des perspectives multiples. Notre approche exploite d une part les mesures du véhicule ego par séquences : au cours de son déplacement dans le temps. D autre part, nous proposons une perception collaborative basée sur la fusion des informations obtenues par de multiples agents connectés. Detecting objects at a high precision in 3D is critical for the safety of autonomous vehicles. LiDAR measurements, presented as point clouds frequently suffer from occlusion and sparsity. Prior works address these challenges by upsampling (i) pointclouds via fusion with RGB cameras or (ii) their representations via knowledge distillation. Because these approaches are designed to use point clouds obtained only by the ego vehicle at a single timestep, they are inevitably affected by unobservable regions caused by occlusion and sparsity. Aware of the limitations of single-perspective methods, this thesis strives to resolve occlusion and sparsity by leveraging point clouds obtained from multiple perspectives to the fullest. The core of our approach ismade of two components that are respectively built on the utilization of point cloud sequences and collaborative perception via V2X communication. While the former is about using information obtained by the ego vehicle during its motion through time, the latter is based on the fusion of information obtained by multiple connected agents scattering over space. |
|---|---|
| Variantes de titre : | Résoudre l occlusion et la faible densité à distance des nuages de points pour la détection d objets 3D par perception collaborative |
| Notes : | Titre provenant de l'écran-titre Ecole(s) Doctorale(s) : Sciences de l'ingénierie et des systèmes (Centrale Nantes) Partenaire(s) de recherche : Laboratoire des Sciences du Numérique de Nantes (Laboratoire) Autre(s) contribution(s) : Samia Ainouz (Président du jury) ; Ezio Malis, Holger Caesar, Fawzi Nashashibi (Membre(s) du jury) ; Thierry Chateau, Sergiu Nedevschi (Rapporteur(s)) |
| Configuration requise : | Configuration requise : un logiciel capable de lire un fichier au format : PDF |