Suivi et estimation de profondeur avec un banc stéréo événementiel embarqué sur un véhicule autonome - Archive ouverte HAL Access content directly
Conference Papers Year : 2023

An event-based stereo 3D mapping and tracking pipeline for autonomous vehicles

Suivi et estimation de profondeur avec un banc stéréo événementiel embarqué sur un véhicule autonome

Anass El Moudni
  • Function : Author
  • PersonId : 1260983
  • IdHAL : elmouanass
Sébastien Kramm
Rémi Boutteau

Abstract

Event cameras are bio-inspired, motion-activated sensors which generate asynchronous events instead of intensity images at a fixed rate. These sensors have been shown to outperform by large margins traditional frame-based cameras in case of high-speed motions and scenes with a difficult lighting conditions. In the last decade, the continuous stream of events produced by an event camera has been exploited in numerous 3D perception tasks (depth estimation, 6-DoF tracking, visual-inertial odometry, etc.). In this paper, we propose a prototype event-based stereo pipeline for simultaneous 3D mapping and tracking. The mapping module relies on DSI (disparity space image) fusion, and the tracking module makes use of time surfaces as anisotropic distance fields, to estimate the pose of the stereo camera. Numerical experiments with a publicly-available event dataset recorded by a car in urban environments, demonstrate favorable performance of the proposed solution.
Les caméras événementielles sont des capteurs bioinspirés, activés par le mouvement, qui génèrent un flux d'événements asynchrones au lieu d'images à une fréquence fixe. Ces capteurs se sont avérés beaucoup plus performants que les caméras traditionnelles pour des mouvements très rapides et dans des conditions d'éclairage difficiles. Au cours de la dernière décennie, le flux d'événements produit par une caméra événementielle a été exploité dans de nombreuses tâches de perception 3D (estimation de la profondeur, suivi à 6 DDL, odométrie visuoinertielle, etc.). Dans cet article, nous proposons un prototype de pipeline stéréo événementiel pour la reconstruction 3D et le suivi d'une caméra en mouvement. Le module de reconstruction 3D repose sur la fusion DSI ("disparity space image"), tandis que le module de suivi utilise les surfaces temporelles comme champs de distance anisotropes, pour estimer la pose de la caméra. L'efficacité de la solution proposée a été démontrée à l'aide d'expérimentations conduites sur des jeux de données événementielles publics, enregistrés par une voiture dans un milieu urbain. Mots Clef Caméra événementielle, Estimation de profondeur par une caméra stéréo, Odométrie visuelle, Image de l'espace des disparités, Surface temporelle, Véhicule intelligent.
Fichier principal
Vignette du fichier
ORASIS_15_02_23_v0-8.pdf (6.62 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-04123389 , version 1 (15-06-2023)

Identifiers

  • HAL Id : hal-04123389 , version 1

Cite

Anass El Moudni, Sébastien Kramm, Fabio Morbidi, Rémi Boutteau. Suivi et estimation de profondeur avec un banc stéréo événementiel embarqué sur un véhicule autonome. ORASIS 2023, Laboratoire LIS, UMR 7020, May 2023, Carqueiranne, France. ⟨hal-04123389⟩
95 View
73 Download

Share

Gmail Mastodon Facebook X LinkedIn More