Vision and Learning in the Context of Exploratory Rovers - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2021

Vision und Lernen im Kontext exploratorischer Rover

Vision and Learning in the Context of Exploratory Rovers

Vision et apprentissage dans le contexte des rovers planétaires

J. de Curtò

Résumé

Generative Adversarial Networks (GANs) hatten enorme Anwendungen in Computer Vision. Im Kontext der Weltraumforschung und der Erforschung der Planeten steht die Tür jedoch offen für große Fortschritte. Wir stellen Werkzeuge für den Umgang mit Planetendaten aus der Mission Chang'E-4 vor und präsentieren ein Framework für die Übertragung des neuronalen Stils unter Verwendung der Zykluskonsistenz aus gerenderten Bildern. Wir führen auch eine neue Echtzeit-Pipeline für Simultaneous Localization and Mapping (SLAM) und Visual Inertial Odometry (VIO) im Kontext von Planetenrovern ein. Wir nutzen vorherige Informationen über den Standort des Landers, um einen SLAM-Ansatz auf Objektebene vorzuschlagen, der die Pose und Form des Landers zusammen mit den Kameratrajektorien des Rovers optimiert. Als weiteren Verfeinerungsschritt schlagen wir vor, Interpolationstechniken zwischen benachbarten zeitlichen Abtastwerten zu verwenden. videlicet synthetisiert nicht vorhandene Bilder, um die Gesamtgenauigkeit des Systems zu verbessern. Die Experimente werden im Rahmen des Iris Lunar Rover durchgeführt, eines Nano-Rovers, der 2021 als Flaggschiff von Carnegie Mellon als erstem unbemannten Rover Amerikas auf dem Mond im Mondgelände eingesetzt wird.
Generative Adversarial Networks (GANs) have had tremendous applications in Computer Vision. Yet, in the context of space science and planetary exploration the door is open for major advances. We introduce tools to handle planetary data from the mission Chang'E-4 and present a framework for Neural Style Transfer using Cycle-consistency from rendered images. We also introduce a new real-time pipeline for Simultaneous Localization and Mapping (SLAM) and Visual Inertial Odometry (VIO) in the context of planetary rovers. We leverage prior information of the location of the lander to propose an object-level SLAM approach that optimizes pose and shape of the lander together with camera trajectories of the rover. As a further refinement step, we propose to use techniques of interpolation between adjacent temporal samples; videlicet synthesizing non-existing images to improve the overall accuracy of the system. The experiments are conducted in the context of the Iris Lunar Rover, a nano-rover that will be deployed in lunar terrain in 2021 as the flagship of Carnegie Mellon, being the first unmanned rover of America to be on the Moon.
Generative Adversarial Networks (GAN) ont eu d'énormes applications en vision par ordinateur. Pourtant, dans le contexte de la science spatiale et de l'exploration planétaire, la porte est ouverte à des avancées majeures. Nous introduisons des outils pour gérer les données planétaires de la mission Chang'E-4 et présentons un cadre pour le transfert de style neuronal utilisant la cohérence de cycle à partir d'images rendues. Nous introduisons également un nouveau pipeline en temps réel pour Simultaneous Localization and Mapping (SLAM) et Visual Inertial Odometry (VIO) dans le contexte des rovers planétaires. Nous exploitons les informations préalables sur l'emplacement de l'atterrisseur pour proposer une approche SLAM au niveau de l'objet qui optimise la pose et la forme de l'atterrisseur ainsi que les trajectoires de caméra du rover. Comme étape de raffinement supplémentaire, nous proposons d'utiliser des techniques d'interpolation entre échantillons temporels adjacents; videlicet synthétise des images inexistantes pour améliorer la précision globale du système. Les expériences sont menées dans le contexte de l'Iris Lunar Rover, un nano-rover qui sera déployé sur un terrain lunaire en 2021 en tant que vaisseau amiral de Carnegie Mellon, étant le premier rover sans pilote d'Amérique à être sur la Lune.
Fichier principal
Vignette du fichier
ethz_de_Curto.pdf (20.83 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03227015 , version 1 (16-05-2021)

Identifiants

  • HAL Id : tel-03227015 , version 1

Citer

J. de Curtò. Vision and Learning in the Context of Exploratory Rovers. Computer Vision and Pattern Recognition [cs.CV]. ETH Zürich, 2021. English. ⟨NNT : ⟩. ⟨tel-03227015⟩
117 Consultations
29 Téléchargements

Partager

Gmail Facebook X LinkedIn More