Augmented Perception and Localization for Autonomous Vehicles in Challenging Environments
Perception Augmentée et Localisation pour Véhicules Autonomes dans des environnements Difficiles
Résumé
Connected and Autonomous Vehicles (CAVs) are emerging as a key component of future transportation systems, driven by the development of Cooperative Intelligent Transportation Systems (C-ITS). These systems aim to enhance road safety, traffic efficiency, and coordinated driving through communication technologies, real-time data exchange, and intelligent decision-making. In this context, perception plays a fundamental role, enabling vehicles to understand their surroundings and make safe navigation decisions. This thesis addresses the critical problem of perception degradation in autonomous vehicles operating in complex and uncertain environments. Traditional onboard sensing systems are often hindered by occlusions, sensor failures, and the absence of global context factors that severely limit situational awareness and increase the risk of incorrect decisions. These challenges are further amplified when localization systems fail under poor signal conditions, undermining both navigation and perception.To overcome these limitations, we propose an augmented perception framework that advances vehicle awareness along three interrelated directions: adaptive sensor fusion, cooperative perception, and resilient localization. This framework aims to bridge the gap between isolated onboard capabilities and the collaborative potential of Connected Intelligent Transportation Systems (C-ITS). It dynamically integrates multi-sensor data, adapts to environmental and sensor uncertainties, and leverages vehicle-to-everything (V2X) communication to exchange perception and awareness information.
Les Véhicules Connectés et Autonomes (CAV – Connected and Autonomous Vehicles) s’imposent comme un élément clé des futurs systèmes de transport, portés par le développement des Systèmes de Transport Intelligents Coopératifs (C-ITS – Cooperative Intelligent Transportation Systems). Ces systèmes visent à améliorer la sécurité routière, l’efficacité du trafic et la coordination des déplacements grâce aux technologies de communication, à l’échange de données en temps réel et à la prise de décision intelligente. Dans ce contexte, la perception joue un rôle fondamental, permettant aux véhicules de comprendre leur environnement et de prendre des décisions de navigation sûres. Cette thèse aborde le problème critique de la dégradation de la perception dans les véhicules autonomes opérant dans des environnements complexes et incertains. Les systèmes de capteurs embarqués traditionnels sont souvent limités par les occlusions, les défaillances de capteurs et l’absence de contexte global des facteurs qui réduisent fortement la connaissance de la situation et augmentent le risque de décisions erronées. Ces défis sont aggravés lorsque les systèmes de localisation échouent en conditions de signal dégradé, compromettant à la fois la navigation et la perception. Premièrement, un mécanisme de perception adaptatif est introduit afin d’évaluer la fiabilité des capteurs en temps réel et d’ajuster les stratégies de fusion en conséquence. Cela garantit une performance de perception continue malgré la dégradation des capteurs ou les changements de conditions environnementales. Deuxièmement, une stratégie de perception coopérative est développée, permettant aux véhicules de partager leurs connaissances environnementales via des messages C-ITS normalisés, afin de gérer collectivement les occlusions et d’améliorer la couverture environnementale. Troisièmement, une méthode de localisation résiliente est conçue pour fonctionner de manière fluide dans des environnements hétérogènes, y compris dans les zones où le GPS est indisponible, assurant ainsi une conscience spatiale cohérente même en conditions de positionnement dégradées. Pour renforcer la réactivité et la confiance dans les systèmes collaboratifs, le cadre intègre un agent intelligent basé sur l’IA, capable d’évaluer la fiabilité et la pertinence des données partagées, d’adapter la logique décisionnelle en conséquence, et de prédire le comportement d’objets occultés en s’appuyant sur des informations historiques et contextuelles. Le système complet est validé à travers une plateforme de test hybride combinant environnements de simulation et expérimentations réelles sous ROS2. Les résultats démontrent la capacité du cadre à améliorer significativement la précision, la couverture et la robustesse de la perception. Ce travail contribue à l’avancement de l’autonomie coopérative en repoussant les limites de la perception au-delà des capacités individuelles des véhicules, s’inscrivant ainsi dans la vision globale d’une mobilité intelligente fondée sur les C-ITS.