Polarization based urban scenes understanding
Compréhension de scènes urbaines basée sur la polarisation
Résumé
Humans possess an innate ability to interpret scenes under any condition. Computer Vision tends to mimic these capabilities by implementing intelligent algorithms to address complex understanding problems. In this regard, we are interested in understanding outdoor urban scenes in various weather conditions. This thesis specifically addresses the problems arising from the presence of specularity in the scenes. To this end, we aim to take advantage of polarization indices to define such surfaces in addition to traditional objects. In terms of understanding, we aim to introduce polarization to the fields of computer vision and deep learning.This thesis focuses on the following underlying challenges. First, the estimation of a semantic segmentation at the pixel level is investigated. We exploit polarization cues to define constraints upstream of the convolutional network and thus inject specularity understanding into the model. As DCNNs are data intensive, we propose the acquisition of a multimodal dataset allowing the comparison of the proposed method with RGB-centric methods. Moreover, to counteract the massive need for data, we establish a procedure to augment the polarimetric informations while maintaining the physical integrity of the information.In a second line of research, we address the problem of depth map estimation with a monocular image. Since the algorithms require a colorimetric information, we adapt the processes to an alternative type of imagery. This results in novel regularization terms that allow to accurately infer a depth map from a unique polarimetric image using deep learning. Constrained by the greedy aspect of DL, we build a loss function in accordance with the self-supervision principle. In this manner, we demonstrate the possibility to regularize the depth inference process using terms constraining the normals by relying on polarization. This approach allows us to reconstruct more accurately surfaces observing specular behavior or transparency phenomena.Ultimately, our two lines of research show advances towards a more conventional use of polarization in modern computer vision.
Les êtres humains possèdent une capacité innée à interpréter des scènes dans n'importe quelle condition. La vision par ordinateur tend à imiter ces capacités en mettant en œuvre des algorithmes intelligents pour résoudre des problèmes de compréhension complexes. À cet égard, nous nous intéressons à la compréhension de scènes urbaines extérieures dans diverses conditions météorologiques. Cette thèse aborde spécifiquement les problèmes découlant de la présence de la spécularité dans les scènes. À cette fin, nous voulons tirer parti des indices de polarisation pour définir de telles surfaces en plus des objets traditionnels. En termes de compréhension, nous visons à introduire la polarisation dans les domaines de la vision par ordinateur et de l'apprentissage profond.Cette thèse se concentre sur les défis sous-jacents suivants. Premièrement, l'estimation d'une segmentation sémantique au niveau du pixel est étudiée. Nous exploitons les indices de polarisation pour définir des contraintes en amont du réseau convolutif et injecter ainsi la compréhension de la spécularité dans le modèle. Comme les DCNNs sont gourmands en données, nous proposons l'acquisition d'un jeu de données multimodal permettant de comparer la méthode proposée avec des méthodes centrées sur le RVB. De plus, pour contrer le besoin massif de données, nous établissons une procédure pour augmenter les informations polarimétriques tout en maintenant l'intégrité physique de l'information.Dans une deuxième ligne de recherche, nous abordons le problème de l'estimation de la carte de profondeur avec une image monoculaire. Puisque les algorithmes nécessitent une information colorimétrique, nous adaptons les processus à un autre type d'imagerie. Il en résulte de nouveaux termes de régularisation qui permettent d'inférer avec précision une carte de profondeur à partir d'une image polarimétrique unique en utilisant l'apprentissage profond. Contraints par l'aspect avide de l'apprentissage profond, nous construisons une fonction de perte en accord avec le principe d'auto-supervision. De cette manière, nous démontrons la possibilité de régulariser le processus d'inférence de profondeur en utilisant des termes contraignant les normales en s'appuyant sur la polarisation. Cette approche nous permet de reconstruire plus précisément des surfaces observant un comportement spéculaire ou des phénomènes de transparence.En définitive, nos deux axes de recherche montrent des avancées vers une utilisation plus conventionnelle de la polarisation dans la vision par ordinateur moderne.
| Origine | Version validée par le jury (STAR) |
|---|