Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception

La détection précise d objets 3D est un enjeu majeur pour l intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont...

Description complète

Enregistré dans:
Détails bibliographiques
Auteurs principaux : Dao Minh Quan (Auteur), Frémont Vincent (Directeur de thèse), Héry Elwan (Directeur de thèse), Ainouz Samia (Président du jury de soutenance), Chateau Thierry (Rapporteur de la thèse), Nedevschi Sergiu (Rapporteur de la thèse), Malis Ezio (Membre du jury), Nashashibi Fawzi (Membre du jury)
Collectivités auteurs : Centrale Nantes 1991-.... (Organisme de soutenance), Sciences de l'ingénierie et des systèmes Centrale Nantes (Ecole doctorale associée à la thèse), Laboratoire des Sciences du Numérique de Nantes (Laboratoire associé à la thèse)
Format : Thèse ou mémoire
Langue : anglais
Titre complet : Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception / Minh Quan Dao; sous la direction de Vincent Frémont et de Elwan Héry
Publié : 2023
Accès en ligne : Accès Nantes Université
Note sur l'URL : Accès au texte intégral
Note de thèse : Thèse de doctorat : Robotique : Ecole centrale de Nantes : 2023
Sujets :
LEADER 05883nlm a2200697 4500
001 PPN27686557X
003 http://www.sudoc.fr/27686557X
005 20240523055400.0
029 |a FR  |b 2023ECDN0026 
033 |a http://www.theses.fr/2023ECDN0026 
035 |a (OCoLC)1428976658 
035 |a STAR212812 
100 |a 20240408d2023 k y0frey0103 ba 
101 0 |a eng  |d fre  |d eng  |2 639-2 
102 |a FR 
105 |a ||||ma 00|yy 
135 |a dr||||||||||| 
181 |6 z01  |c txt  |2 rdacontent 
181 1 |6 z01  |a i#  |b xxxe## 
182 |6 z01  |c c  |2 rdamedia 
182 1 |6 z01  |a b 
183 |6 z01  |a ceb  |2 RDAfrCarrier 
200 1 |a Toward Solving Occlusion and Sparsity in Deep Learning-Based 3D Object Detection through Collaborative Perception  |f Minh Quan Dao  |g sous la direction de Vincent Frémont et de Elwan Héry 
214 1 |d 2023 
230 |a Données textuelles 
304 |a Titre provenant de l'écran-titre 
314 |a Ecole(s) Doctorale(s) : Sciences de l'ingénierie et des systèmes (Centrale Nantes) 
314 |a Partenaire(s) de recherche : Laboratoire des Sciences du Numérique de Nantes (Laboratoire) 
314 |a Autre(s) contribution(s) : Samia Ainouz (Président du jury) ; Ezio Malis, Holger Caesar, Fawzi Nashashibi (Membre(s) du jury) ; Thierry Chateau, Sergiu Nedevschi (Rapporteur(s)) 
328 0 |b Thèse de doctorat  |c Robotique  |e Ecole centrale de Nantes  |d 2023 
330 |a La détection précise d objets 3D est un enjeu majeur pour l intégration sécurisée des véhicules autonomes dans le trafic routier. Le LiDAR, offrant des mesures de profondeur précises et relativement denses, est très présent dans les bases de données deréférence. Cependant, ses nuages de points sont clairsemés à longue distance et soumis aux occlusions. L état de l art propose alors des techniques de suréchantillonnage, par fusion avec des caméras ou par distillation des connaissances, afin d obtenir de bonnes détections. La première méthode permet de reconstruire la profondeur des pixels afin de générer des points supplémentaires tandis que la seconde vise à obtenir des nuages de points imitant ceux sans occlusion ni dispersion. Comme ces approches utilisent des mesures obtenues par le véhicule ego à chaque pas de temps, la détection est inévitablement affectée par ces régions inobservables. Conscient des limites des méthodes à perspective unique, ces travaux de thèse s efforcent à résoudre les problèmes d occlusion et de rareté en exploitant des perspectives multiples. Notre approche exploite d une part les mesures du véhicule ego par séquences : au cours de son déplacement dans le temps. D autre part, nous proposons une perception collaborative basée sur la fusion des informations obtenues par de multiples agents connectés. 
330 |a Detecting objects at a high precision in 3D is critical for the safety of autonomous vehicles. LiDAR measurements, presented as point clouds frequently suffer from occlusion and sparsity. Prior works address these challenges by upsampling (i) pointclouds via fusion with RGB cameras or (ii) their representations via knowledge distillation. Because these approaches are designed to use point clouds obtained only by the ego vehicle at a single timestep, they are inevitably affected by unobservable regions caused by occlusion and sparsity. Aware of the limitations of single-perspective methods, this thesis strives to resolve occlusion and sparsity by leveraging point clouds obtained from multiple perspectives to the fullest. The core of our approach ismade of two components that are respectively built on the utilization of point cloud sequences and collaborative perception via V2X communication. While the former is about using information obtained by the ego vehicle during its motion through time, the latter is based on the fusion of information obtained by multiple connected agents scattering over space. 
337 |a Configuration requise : un logiciel capable de lire un fichier au format : PDF 
541 | |a Résoudre l occlusion et la faible densité à distance des nuages de points pour la détection d objets 3D par perception collaborative  |z fre 
606 |3 PPN034842721  |a Automobiles  |x Commande automatique  |2 rameau 
606 |3 PPN027859347  |a Lidar  |2 rameau 
606 |3 PPN223540633  |a Apprentissage profond  |2 rameau 
606 |3 PPN190651628  |a Reconnaissance d'objets (informatique)  |2 rameau 
608 |3 PPN027253139  |a Thèses et écrits académiques  |2 rameau 
610 0 |a Perception collaborative 
610 0 |a V2X 
610 0 |a Détection objets en 3D 
686 |a 620  |2 TEF 
700 1 |3 PPN276842790  |a Dao  |b Minh Quan  |f 1994-....  |4 070 
701 1 |3 PPN078846781  |a Frémont  |b Vincent  |f 19..-....  |c enseignant-chercheur en automatique  |4 727 
701 1 |3 PPN245250905  |a Héry  |b Elwan  |f 19..-....  |4 727 
701 1 |3 PPN160137276  |a Ainouz  |b Samia  |f 1979-....  |c chercheuse en informatique  |4 956 
701 1 |3 PPN154402176  |a Chateau  |b Thierry  |f 19..-....  |c chercheur en robotique  |4 958 
701 1 |3 PPN177843187  |a Nedevschi  |b Sergiu  |f ?-....  |4 958 
701 1 |3 PPN144325802  |a Malis  |b Ezio  |f 19..-....  |4 555 
701 1 |3 PPN079565948  |a Nashashibi  |b Fawzi  |f 19..-....  |c directeur de recherche  |4 555 
711 0 2 |3 PPN03063525X  |a Centrale Nantes  |c 1991-....  |4 295 
711 0 2 |3 PPN20476842X  |a Sciences de l'ingénierie et des systèmes  |c Centrale Nantes  |4 996 
711 0 2 |3 PPN203637585  |a Laboratoire des Sciences du Numérique de Nantes  |4 981 
801 3 |a FR  |b Abes  |c 20240408  |g AFNOR 
856 4 |q PDF  |s 18948141  |u http://www.theses.fr/2023ECDN0026/document  |z Accès au texte intégral 
856 4 |u http://www.theses.fr/2023ECDN0026/abes 
856 4 |u https://theses.hal.science/tel-04536876 
930 |5 441092306:817517073  |b 441092306  |j g 
991 |5 441092306:817517073  |a exemplaire créé automatiquement par STAR 
998 |a 965550