Fusion of photometric and geometric approaches for the creation of 3D models
Fusion d'approches photométriques et géométriques pour la création de modèles 3D
Résumé
Practical solutions for 3D-reconstruction from photographs are generally based on multi-view methods (called geometric methods) that only very partially use the photometric information contained in the images. The use of the latter should increase the fineness of the reconstructed relief and allow the estimate of the photometric characteristics of the scene, i.e. surface reflectance and incident lighting. This thesis shows how an approach combining multiview and photometric techniques can effectively improve a 3D-reconstruction pipeline.
We start by presenting a way to make the shape-from-shading method operational in daylight conditions. This allows us to combine multiview and photometric approaches in the form of a variational problem, for which we propose a numerical solving scheme. However, like shape-from-shading itself, the proposed method requires an a priori knowledge of reflectance and lighting. We present a method for the joint estimation of both these quantities from a coarse relief of the scene. As a conclusion, we present an algorithm which, from the images used by a multi-view 3D-reconstruction pipeline, allows us to estimate a reflectance map and a depth map per view, as well as the lighting of the scene.
Les solutions opérationnelles de reconstruction 3D à partir de photographies se fondent généralement sur des méthodes multi-vues, dites géométriques, qui n’utilisent que très partiellement les informations photométriques contenues dans les images. L’utilisation de ces
dernières doit permettre, à la fois, d’augmenter la finesse du relief reconstruit et d’estimer les caractéristiques photométriques de la scène que sont la réflectance de la surface et l’éclairage incident. Cette thèse montre comment une approche combinant les techniques multi-vues et les techniques photométriques peut effectivement améliorer un pipeline de reconstruction 3D.
Nous commençons par présenter une façon de rendre la méthode du shape-from-shading opérationnelle en conditions d’éclairage naturel. Ceci nous permet de combiner les approches multi-vues et photométriques sous la forme d’un problème variationnel, pour lequel nous proposons un schéma numérique de résolution. Cependant, comme le shape-from-shading lui-même, la méthode proposée nécessite la connaissance a priori de la réflectance et de l’éclairage. Nous présentons une méthode d’estimation conjointe de ces deux grandeurs à partir d’un relief grossier de la scène. En guise de conclusion, nous présentons un algorithme qui, à partir des images utilisées par un pipeline de reconstruction 3D multi-vues, permet d’estimer une carte de réflectance et une carte de profondeur par vue, ainsi que l’éclairage de la scène.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...