Learning Surface Reconstruction from Point Clouds in the Wild
Reconstruction de surfaces à partir de nuages de points par apprentissage profond
Résumé
Modern 3D acquisition technology unlocks the possibility to represent the world under the form of 3D point clouds. However, point clouds are usually not sufficient to model complex physical processes. Instead, a variety of applications in science and engineering require a representation of objects or scenes under the form of a continuous surface.
In this thesis, we consider the problem of surface reconstruction from point clouds using supervised deep learning techniques. In particular, we are interested in point clouds in the wild, i.e. generated from measurements outside of the laboratory, either directly with 3D scanners or indirectly through multi-view stereo. Such point clouds often depict large scenes with multiple different objects and clutter, and include defects such as noise, outliers, non-uniform sampling or missing data. These characteristics complicate the reconstruction of a topologically and geometrically accurate surface from point clouds in the wild.
After having been successfully deployed on many related computer vision tasks, supervised deep learning has recently been used to address the surface reconstruction problem. Deep surface reconstruction (DSR) can learn point cloud defects or surface patterns from a given training set, and use the learned knowledge during reconstruction. However, current DSR methods exhibit two main limitations. First, supervised deep learning often requires a lot of data to train. However, point clouds in the wild typically depict complex objects or scenes, making it costly, ambiguous, or intractable to gather true surfaces. Second, existing DSR algorithms are often too computation- and memory-intensive to process millions of points. In this thesis, we address both issues by introducing novel supervised deep learning methods to handle large-scale point clouds with real-world characteristics while only training on small synthetic datasets.
The thesis includes three main contributions. First, we survey and benchmark several sur- face reconstruction methods, including learning and traditional approaches proposed over the last three decades. To make the problem tractable and produce geometrically and topologically accurate results even under challenging conditions, non-learning methods often rely on priors on the input point cloud or output surface. In contrast, DSR algorithms learn these priors directly from the training set of point clouds and corresponding true surfaces. We benchmark differ- ent methods on the task of reconstructing objects from synthetically scanned defect-laden point clouds. Our findings show that DSR methods are able to reconstruct accurate and complete surfaces from point clouds with moderate defects, given that similar defects are also present during training. However, the reconstruction quality from point clouds with unseen defect type is often worse compared to non-learning methods. Traditional methods, on the other hand, show a high robustness to defects, even with constant parametrization for different inputs.
Another shortcoming of most learning based methods is the fact that they ignore sensor poses and only operate on point locations. Sensor visibility holds meaningful information regarding space occupancy and surface orientation. We present two simple strategies to augment point clouds with visibility information, which can directly be integrated with various DSR architec- tures with minimal adaptation. Our proposed modifications consistently improve the accuracy of generated surfaces, as well as the capability of the networks to generalize to unseen domains. We also release synthetically scanned versions of popular shape datasets to encourage the de- velopment of DSR algorithms capable of using visibility information.
Lastly, we introduce Delaunay-Graph Neural Networks (DGNNs), a novel learning-based visibility-aware surface reconstruction method for large-scale point clouds in the wild. DGNN relies on a 3D Delaunay tetrahedralisation of the input point cloud, whose cells are classified as inside or outside the surface by a graph neural network and an energy model solvable with a graph cut. The graph neural network makes use of both local geometric attributes and line-of- sight visibility information to learn a visibility model from a small amount of synthetic training data while generalizing to real-life acquisitions.
Les technologies d’acquisition 3D récentes permettent de représenter le monde sous la forme de nuages de points 3D. Cependant, ces nuages de points ne sont généralement pas suffisants pour modéliser des processus physiques complexes. Au contraire, de nombreuses applications en sciences et en ingénierie nécessitent une représentation sous la forme d’une surface continue.
Dans cette thèse, nous considérons le problème de reconstruction de surface à partir de nuages de points par apprentissage profond supervisé. En particulier, nous nous intéressons à la recon- struction de surface à partir de nuages de points réels, c’est-à-dire générés à partir de mesures effectuées sur le terrain: soit directement avec des scanners 3D, soit indirectement par pho- togrammetrie. Ces nuages représentent souvent de grandes scènes contenant de multiples objets de formes diverses. Ces nuages peuvent aussi inclure des défauts tels que du bruit d’acquisition, des valeurs aberrantes, un échantillonnage non uniforme ou des données manquantes, ce qui complique la reconstruction d’une surface topologiquement et géométriquement précise.
Après avoir été utilisé avec succès pour de nombreuses tâches de vision par ordinateur, l’app- rentissage profond supervisé a récemment été appliqué au problème de reconstruction de sur- face. Cependant, les méthodes courantes souffrent encore de deux principales limitations. Tout d’abord, l’apprentissage profond supervisé nécessite souvent un grand nombre de données an- notées. Les nuages de points réels décrivent des objets ou des scènes complexes, ce qui rend la collecte de surfaces réelles coûteuse, ambiguë ou mathématiquement difficile. Deuxièmement, les algorithmes d’apprentissage existants sont souvent trop gourmands en calcul et en mémoire pour traiter des millions de points simultanément. Nous abordons ces deux problèmes en in- troduisant de nouvelles méthodes d’apprentissage profond supervisé pour traiter des nuages de points à grande échelle avec des caractéristiques du monde réel tout en étant entraînées sur de petits ensembles de données synthétiques.
Cette thèse comprend trois contributions principales. Tout d’abord, nous passons en revue et évaluons plusieurs méthodes de reconstruction de surface à partir de nuages de points. En plus des méthodes d’apprentissage, nous évaluons certaines des approches traditionelles proposées au cours des trois dernières décennies. Pour rendre le problème tractable et produire des résultats géométriquement et topologiquement précis même dans des conditions difficiles, les méthodes sans apprentissage reposent souvent sur des hypothèses sur la structure des nuages de points en entrées ou des surfaces reconstruites. En revanche, les algorithmes de reconstruction de surfaces par apprentissage profond (DSR) apprennent ces hypothèses directement à partir d’un ensemble d’entraînement de nuages de points et des surfaces réelles leur correspondant. Nous évaluons les méthodes d’apprentissage et traditionnellles pour la tâche de reconstruction d’objets à partir de nuages de points avec défauts scannés synthétiquement. Nos résultats montrent que les méthodes DSR sont capables de reconstruire des surfaces précises et complètes à partir de nuages de points présentant un degré modéré de défauts atténués, à condition que ces défauts soient présents pendant l’entraînement. Cependant, la qualité de la reconstruction pour les nuages de points avec défauts non presents dans l’ensemble d’entraînement est souvent moins bonne que celle des méthodes sans apprentissage. Les méthodes sans apprentissage, en revanche, sont d’une grande robustesse aux défauts, même avec une paramétrisation constante pour différentes entrées.
Un autre défaut de la plupart des méthodes DSR est le fait qu’elles ignorent la pose des capteurs et n’opèrent que sur la position des points. La visibilité des capteurs contient pour- tant des informations importantes sur l’occupation de l’espace et l’orientation de la surface. Nous présentons deux façons simples d’enrichir les nuages de points avec des informations de visibilité, qui peuvent être directement exploitées par des réseaux de reconstruction de sur- face en ne nécéssitant qu’une adaptation minimale. Nous montrons que les modifications pro- posées améliorent systématiquement la précision des surfaces générées ainsi que la capacité des réseaux à généraliser à des nouveaux domaines. Nous publions également les versions scan- nées synthétiquement de base de données de formes 3D largement utilisées, afin d’encourager le développement d’algorithmes DSR capables d’utiliser les informations de visibilité.
Enfin, nous présentons une nouvelle méthode de reconstruction de surface basée sur l’apprentissage et tenant compte de la visibilité pour les nuages de points réels à grande échelle. Notre méth- ode repose sur une triangulation 3D de Delaunay (3DT) dont les cellules sont classées comme intérieur ou extérieur de la surface recherchée par un réseau de convolution sur graphe (GNN) et un modèle énergétique résolvable avec une coupe de graphe. Le GNN utilise à la fois des attributs géométriques locaux et des informations de visibilité pour apprendre un modèle de vis- ibilité à partir d’une petite quantité de données de formes synthétiques tout en généralisant aux acquisitions réelles.
Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
Licence |
Copyright (Tous droits réservés)
|