Towards an opportunistic artificial vision system for analysing complex scenes from onboard Cameras
Vers un système de vision artificielle opportuniste pour l'analyse de scènes complexes à partir de caméras embarquées
Résumé
The thesis intends to develop the
bricks of an opportunistic vision system for
dynamic scene analysis, an opportunistic system
that would be guided by the applicative task, that
would benefit from any knowledge and prioris
made available by the application, and take
profit of all available cues (color, texture,
geometry) depending on their quality and
relevance. The context of color monocular
vision is considered, with a camera embedded
on a mobile platform. A dense optical flow
technique is first proposed. After a rough
estimation, a reliability map is computed and is
used for refining the motion map, through an
iterative propagation process constrained by
local information, starting by the color cues.
This motion map is then analyzed for rough and
fast plane segmentation. A cumulative approach
called uv-velocity has been developed. It allows
the fast exhibition of prominent planar surfaces
under certain assumption related the egomotion.
Contrary to its predecessor, the socalled
c-velocity, it allows a more progressive
voting strategy, it avoids using sampling, it is
not limited to translations of the camera and can
detect a wider range of surfaces..
The motion models related to each surface can
then be re-injected as a constraint in the
estimation of the next optical flow. The raw and
fast planar segmentation produced by uvvelocity
can be used to fasten the estimation
visual odometry.
The results of optical flow estimation remain
acceptable in terms of precision and execution
time (tested on Middleburry dataset) which can
be the input for creating the voting space to
detect the planes on image. After the simulations
and real experiments on KITTI dataset, uvvelocity
shows its potential to be the polyvalent
image registration on plane detection and
opportunistic alert for the system.
L'objectif de ces travaux de thèse
consiste à proposer un système de vision pour
l’analyse de scènes dynamiques dit «
opportuniste » En ce sens, il est orienté vers une
tâche applicative précise et profite des
connaissances à priori fournies par l’application
ainsi que des indices disponibles provenant de la
scène perçue (couleur, texture, géométrie) selon
leur pertinence.
Cette thèse propose de pousser jusqu’au bout la
vision monoculaire basée sur l’analyse d’images
issues d’une caméra embarquée sur un véhicule
mobile. Dans un premier temps est proposée une
nouvelle méthode d’estimation du flot optique,
information directement estimable à partir d’une
séquence d’images. L’approche se base sur la
génération d’une carte de fiabilité pour raffiner
le flot optique à travers un processus itératif
profitant d’informations disponibles telles que la
couleur. La carte de mouvement ainsi obtenue est
ensuite exploitée pour une détection rapide des
plans 3D principaux. Pour cela, une approche
cumulative, appelée uv-velocité, exploitant les
propriétés géométriques du champ des vecteurs
de mouvement, est développée. Elle permet de
détecter les surfaces planaires en partant
d’hypothèses concernant la nature de l’egomouvement.
Contrairement à l’approche déjà
existante c-velocité, la méthode proposée permet
une stratégie de vote plus progressive qui prend
en compte plus de modèles d‘ego-mouvement et
plus de modèles de surfaces planaires
Le modèle de mouvement de chaque surface
détectée est réintégré à la méthode d’estimation
du flot optique qui devient une méthode
d’optimisation sous contrainte de validité du
modèle planaire afin d’améliorer la précision de
l’estimation du flot optique. Par ailleurs, nous
montrons dans cette thèse comment un processus
d’odométrie visuelle peut tirer profit de la
méthode de détection de surfaces planaires.
L’approche d’estimation du flot optique est
évaluée en termes de précision et de temps
d’exécution sur la base de données Middlebury.
En ce qui concerne la uv-velocité, la validation
est faite aussi bien sur des flots simulés que sur
des images de la base de données de KITTI.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...