Calibration and 3D vision with a color-polarimetric camera
Calibrage et vision 3D avec une caméra polarimétrique couleur
Résumé
Among the different sensing modalities, vision sensors are the ones thatprovide the most abundant environmental information. Additionally, the usage ofa short focal length lens allows to easily increase the observed area. The releaseof color and polarimetric imagers makes it possible to extend even more thepolarimetric application related to depth estimation. Indeed, the polarizationparameters of the reflected light are related to the nature and to the geometryof the objects, which can be used advantageously. In this thesis, our mainobjective is to study the usage of polarization data to enhance theperception capabilities applied to robotics tasks, particularly in the task ofscene depth reconstruction. Furthermore, we aim to push the knowledge in thefield of polarization imaging by providing other researchers with a set of toolsthat will allow them to quickly access the polarization modality. After doing acomplete introduction to the polarization theory and modeling, we describe howto calibrate a DoFP sensor. This sensing device allows to capture twomodalities (color and polarization) with a single snapshot. The new calibrationtechnique that we propose enables this device to provide more accuratemeasurements by fitting a mathematical model to each individual pixel. Themethod we present here aims to reduce the amount of equipment and, thus theexperimental time required to obtain calibrated measurements. We make a detailedexplanation of the physics underlying the Shape-from-Polarization technique, which enablesthe normal field estimation of an object by using polarization cues. All therequired equations as well as their inverted versions for deriving the vectorparameters from the polarization state are detailed while taking intoconsideration the type of reflection and material. We also put in evidence theeffects of our calibration algorithm over the estimation of the normal vectorfield by using polarization. The estimation of depth information usingartificial intelligence has seen significant growth in recent years. In thiscontext, we also propose a deep-learning network to estimate depth based on amiddle-fusion architecture, and a polarimetric loss function. The objective ofthis development is to show how to effectively integrate the polarization theoryconstraints into a data-driven algorithm. A qualitative and quantitativeevaluation of the results shows the interest of using an RGB-polarimetric imagerthanks to the contribution of the polarization information. During this researchwork, a complete software toolbox was also developed, providing the scientificcommunity with simplified access to polarimetric imaging.
Parmi les différentes modalités employées en détection, les capteurs de vision sont ceux qui fournissent le plus d'informations sur l'environnement. L'utilisation d'objectifs à courte focale permet en outre d'augmenter facilement la zone observée. L'apparition sur le marché d'imageurs couleurs et polarimétriques permet d'étendre encore davantage les applications en estimation de profondeur. En effet, les paramètres de polarisation de la lumière réfléchies ont liés à la nature des objets ainsi qu'à leur géométrie et peuvent être utilisés avantageusement. Dans cette thèse, notre objectif principal est d'étudier l'utilisation des données de polarisation pour améliorer les capacités de perception appliquées aux tâches robotiques, notamment dans la reconstruction de la profondeur de scène. De plus, nous visons à enrichir les connaissances dans le domaine de l'imagerie de polarisation en fournissant à d'autres chercheurs un ensemble d'outils qui leur permettront d'accéder rapidement à la modalité de polarisation. Après avoir effectué une introduction complète à la théorie et à la modélisation de la polarisation, nous décrivons comment calibrer un capteur de polarisation de division de plan focale. Ce dispositif de détection permet de capturer deux modalités (couleur et polarisation) avec une seule prise de vue. La nouvelle technique de calibration que nous proposons permet à ce dispositif de fournir des mesures plus précises en ajustant un modèle mathématique selon chaque pixel. La méthode que nous présentons ici vise à réduire la quantité d'équipement, donc le temps expérimental nécessaire pour obtenir des mesures calibrées. Nous détaillons également toute la physique sous-jacente à la technique de Shape-from-polarization (SfP) qui permet d'estimer le champ des normales d'un objet en utilisant l'information de la polarisation. Les équations nécessaires et les modèles inverses pour dériver les paramètres des vecteurs depuis l'état de polarisation sont détaillées tout en tenant compte du type de réflexion et du matériau. Nous mettons ici en avant l'intérêt de notre algorithme de calibrage sur l'estimation du champ de normales par polarisation L'estimation d'informations de profondeur grâce à l'intelligence artificielle a connu un essort très important ces dernières années. Dans ce contexte, nous proposons également un réseau d'apprentissage profond pour estimer la profondeur basé sur une architecture de fusion intermédiaire et une fonction de perte polarimétrique. L'objectif de ce développement est de montrer comment intégrer efficacement les contraintes de la théorie de la polarisation dans un algorithme basé sur les données. Une évaluation qualitative et quantitative des résultats démontrent l'intérêt de l'utilisation d'un imageur RGB-polarimétrique grâce à l'apport des informations de polarisation. Lors de ces travaux de recherche, une boîte à outils logiciel scomplète a également été développée proposant ainsi à la communauté scientifique un logiciel d'accès simplifié à l'imagerie polarimétrique.
| Origine | Version validée par le jury (STAR) |
|---|