Vers un système de vision artificielle opportuniste pour l'analyse de scènes complexes à partir de caméras embarquées - Informatique, Biologie Intégrative et Systèmes Complexes
Thèse Année : 2018

Towards an opportunistic artificial vision system for analysing complex scenes from onboard Cameras

Vers un système de vision artificielle opportuniste pour l'analyse de scènes complexes à partir de caméras embarquées

Résumé

The thesis intends to develop the bricks of an opportunistic vision system for dynamic scene analysis, an opportunistic system that would be guided by the applicative task, that would benefit from any knowledge and prioris made available by the application, and take profit of all available cues (color, texture, geometry) depending on their quality and relevance. The context of color monocular vision is considered, with a camera embedded on a mobile platform. A dense optical flow technique is first proposed. After a rough estimation, a reliability map is computed and is used for refining the motion map, through an iterative propagation process constrained by local information, starting by the color cues. This motion map is then analyzed for rough and fast plane segmentation. A cumulative approach called uv-velocity has been developed. It allows the fast exhibition of prominent planar surfaces under certain assumption related the egomotion. Contrary to its predecessor, the socalled c-velocity, it allows a more progressive voting strategy, it avoids using sampling, it is not limited to translations of the camera and can detect a wider range of surfaces.. The motion models related to each surface can then be re-injected as a constraint in the estimation of the next optical flow. The raw and fast planar segmentation produced by uvvelocity can be used to fasten the estimation visual odometry. The results of optical flow estimation remain acceptable in terms of precision and execution time (tested on Middleburry dataset) which can be the input for creating the voting space to detect the planes on image. After the simulations and real experiments on KITTI dataset, uvvelocity shows its potential to be the polyvalent image registration on plane detection and opportunistic alert for the system.
L'objectif de ces travaux de thèse consiste à proposer un système de vision pour l’analyse de scènes dynamiques dit « opportuniste » En ce sens, il est orienté vers une tâche applicative précise et profite des connaissances à priori fournies par l’application ainsi que des indices disponibles provenant de la scène perçue (couleur, texture, géométrie) selon leur pertinence. Cette thèse propose de pousser jusqu’au bout la vision monoculaire basée sur l’analyse d’images issues d’une caméra embarquée sur un véhicule mobile. Dans un premier temps est proposée une nouvelle méthode d’estimation du flot optique, information directement estimable à partir d’une séquence d’images. L’approche se base sur la génération d’une carte de fiabilité pour raffiner le flot optique à travers un processus itératif profitant d’informations disponibles telles que la couleur. La carte de mouvement ainsi obtenue est ensuite exploitée pour une détection rapide des plans 3D principaux. Pour cela, une approche cumulative, appelée uv-velocité, exploitant les propriétés géométriques du champ des vecteurs de mouvement, est développée. Elle permet de détecter les surfaces planaires en partant d’hypothèses concernant la nature de l’egomouvement. Contrairement à l’approche déjà existante c-velocité, la méthode proposée permet une stratégie de vote plus progressive qui prend en compte plus de modèles d‘ego-mouvement et plus de modèles de surfaces planaires Le modèle de mouvement de chaque surface détectée est réintégré à la méthode d’estimation du flot optique qui devient une méthode d’optimisation sous contrainte de validité du modèle planaire afin d’améliorer la précision de l’estimation du flot optique. Par ailleurs, nous montrons dans cette thèse comment un processus d’odométrie visuelle peut tirer profit de la méthode de détection de surfaces planaires. L’approche d’estimation du flot optique est évaluée en termes de précision et de temps d’exécution sur la base de données Middlebury. En ce qui concerne la uv-velocité, la validation est faite aussi bien sur des flots simulés que sur des images de la base de données de KITTI.
Fichier principal
Vignette du fichier
2018SACLE045.pdf (57.53 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-02072438 , version 1 (19-03-2019)

Identifiants

  • HAL Id : tel-02072438 , version 1

Citer

Tan Khoa Mai. Vers un système de vision artificielle opportuniste pour l'analyse de scènes complexes à partir de caméras embarquées. Traitement du signal et de l'image [eess.SP]. Université Paris-Saclay; Université d'Evry-Val d'Essonne, 2018. Français. ⟨NNT : 2018SACLE045⟩. ⟨tel-02072438⟩
137 Consultations
27 Téléchargements

Partager

More