An event-based stereo 3D mapping and tracking pipeline for autonomous vehicles
Suivi et estimation de profondeur avec un banc stéréo événementiel embarqué sur un véhicule autonome
Résumé
Event cameras are bio-inspired, motion-activated sensors which generate asynchronous events instead of intensity images at a fixed rate. These sensors have been shown to outperform by large margins traditional frame-based cameras in case of high-speed motions and scenes with a difficult lighting conditions. In the last decade, the continuous stream of events produced by an event camera has been exploited in numerous 3D perception tasks (depth estimation, 6-DoF tracking, visual-inertial odometry, etc.). In this paper, we propose a prototype event-based stereo pipeline for simultaneous 3D mapping and tracking. The mapping module relies on DSI (disparity space image) fusion, and the tracking module makes use of time surfaces as anisotropic distance fields, to estimate the pose of the stereo camera. Numerical experiments with a publicly-available event dataset recorded by a car in urban environments, demonstrate favorable performance of the proposed solution.
Les caméras événementielles sont des capteurs bioinspirés, activés par le mouvement, qui génèrent un flux d'événements asynchrones au lieu d'images à une fréquence fixe. Ces capteurs se sont avérés beaucoup plus performants que les caméras traditionnelles pour des mouvements très rapides et dans des conditions d'éclairage difficiles. Au cours de la dernière décennie, le flux d'événements produit par une caméra événementielle a été exploité dans de nombreuses tâches de perception 3D (estimation de la profondeur, suivi à 6 DDL, odométrie visuoinertielle, etc.). Dans cet article, nous proposons un prototype de pipeline stéréo événementiel pour la reconstruction 3D et le suivi d'une caméra en mouvement. Le module de reconstruction 3D repose sur la fusion DSI ("disparity space image"), tandis que le module de suivi utilise les surfaces temporelles comme champs de distance anisotropes, pour estimer la pose de la caméra. L'efficacité de la solution proposée a été démontrée à l'aide d'expérimentations conduites sur des jeux de données événementielles publics, enregistrés par une voiture dans un milieu urbain. Mots Clef Caméra événementielle, Estimation de profondeur par une caméra stéréo, Odométrie visuelle, Image de l'espace des disparités, Surface temporelle, Véhicule intelligent.
Domaines
Informatique [cs]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|