Scene analysis and view rendering from light fields
Analyse de scène et rendu de vues à partir de champs de lumière
Résumé
New imaging modalities have recently emerged and among them, light field imaging is especially compelling for virtual and augmented reality as they allow to capture individual light rays coming from different positions and directions. This characteristic enables various functionalities including depth estimation or digital refocusing. To acquire light fields, two types of devices exist: arrays of cameras and plenoptic cameras. The latter demands heavy post-capture processing to retrieve a usable light field from the raw data. Recently, some devices have been able to capture light field videos, thus adding a temporal dimension. This new feature allows new applications for light fields: motion estimation and temporal interpolation. The first aim of this thesis is to extract high quality light field views from plenoptic cameras. In this context, we propose new methods of demosaicing and interpolations which take into account the lenslet structure of the raw image. The second aim of the presented work is to explore new approaches for scene analysis, namely motion estimation. This leads us to design a model to represent scene flow which describes the apparent 3D motion of a scene. This model is used in the context of sparse-to-dense interpolation and dense regularization. Coupled with deep-learning techniques, we are also able to perform temporal light field view rendering that is angularly and temporally consistent.
De nouvelles modalités d’imagerie ont récemment fait leur apparition. Parmi elles, les champs de lumière sont particulièrement intéressants car ils captent des rayons lumineux individuels provenant de différentes positions et directions. Cette caractéristique permet certains usages comme l’estimation de profondeur. Pour acquérir des champs de lumière, deux types d’appareils existent : les matrices de caméras et les caméras plénoptiques. Ces dernières nécessitent un traitement post-acquisition lourd pour récupérer un champ de lumière utilisable. Récemment, certains appareils ont même permis de capturer des vidéos de champs de lumière, ouvrant la voie à l’estimation de mouvement et l’interpolation temporelle. Le premier objectif de cette thèse est d’extraire des vues de champs de lumière de haute qualité à partir de caméras plénoptiques. Dans ce contexte, nous proposons de nouvelles méthodes de démosaïquage et d’interpolation qui prennent en compte la structure lenticulaire de l’image brute. Le second objectif du travail présenté est d’explorer de nouvelles approches pour l’analyse de scène, à savoir l’estimation du mouvement. Cela nous amène à concevoir un modèle pour représenter le flux de scène (ou mouvement apparent d’une scène). Couplé à des techniques d’apprentissage profond, nous pouvons alors effectuer un rendu temporel de vues du champ du lumière, angulairement et temporellement cohérent, ce qui constitue notre dernier objectif.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|