SnapNet: 3D point cloud semantic labeling with 2D deep segmentation networks
SnapNet: segmentation sémantique de nuages de points 3D avec des réseaux de neurones 2D
Résumé
In this work, we describe a new, general, and efficient method for unstructured point cloud labeling. As the question of efficiently using deep Convolutional Neural Networks (CNNs) on 3D data is still a pending issue, we propose a framework which applies CNNs on multiple 2D image views (or snapshots) of the point cloud. The approach consists in three core ideas. (i) We pick many suitable snapshots of the point cloud. We generate two types of images: a Red-Green-Blue (RGB) view and a depth composite view containing geometric features. (ii) We then perform a pixel-wise labeling of each pair of 2D snapshots using fully convolutional networks. Different architec-tures are tested to achieve a profitable fusion of our heterogeneous inputs. (iii) Finally, we perform fast back-projection of the label predictions in the 3D space using efficient buffering to label every 3D point. Experiments show that our method is suitable for various types of point clouds such as Lidar or photogrammetric data.
Dans ce travail, nous décrivons une nouvelle méthode générale et efficace pour l'étiquetage de nuages de points non structurés. Comme la question de l'utilisation efficace des réseaux de neurones convolutionnels profonds (CNN) sur des données 3D est toujours en suspens, nous proposons un cadre qui applique les CNN sur plusieurs vues d'image 2D (ou instantanés) du nuage de points. L'approche consiste en trois idées de base. (i) Nous prenons de nombreux clichés appropriés du nuage de points. Nous générons deux types d'images: une vue rouge-vert-bleu (RVB) et une vue composite en profondeur contenant des caractéristiques géométriques. (ii) Nous effectuons ensuite un étiquetage pixel par pixel de chaque paire d'instantanés 2D en utilisant des réseaux entièrement convolutifs. Différentes architectures sont testées pour obtenir une fusion rentable de nos entrées hétérogènes. (iii) Enfin, nous effectuons une rétro-projection rapide des prédictions d'étiquettes dans l'espace 3D en utilisant une mise en mémoire tampon efficace pour étiqueter chaque point 3D. Les expériences montrent que notre méthode convient à différents types de nuages de points tels que les données lidar ou photogrammétriques.