Fast and Accurate 4D Modeling of Large Multi-Camera Sequences
Modélisation 4D Rapide et Précise de Séquences Multi-Cameras
Résumé
Recent advances in acquisition and processing technologies lead to the fast
growth of a major branch in media production: volumetric video. In particular, the rise of virtual and augmented reality fuels an increased need for
content suitable to these new media including 3D contents obtained from
real scenes, as the ability to record a live performance and replay it from any
given point of view allows the user to experience a realistic and immersive
environment. This manuscript aims at presenting the problem of 4D shape
reconstruction from multi-view RGB images, which is one way to create
such content. We especially target real life performance capture, containing complex surface details. Typical challenges for these capture situations
include smaller visual projection areas of objects of interest due to wider
necessary fields of view for capturing motion; occlusion and self-occlusion
of several subjects interacting together; lack of texture content typical of
real-life subject appearance and clothing; or motion blur with fast moving
subjects such as sport action scenes. An essential and still improvable aspect in this matter is the fidelity and quality of the recovered shapes, our
goal in this work.
We present a full reconstruction pipeline suited for this scenario, to
which we contributed in many aspects. First, Multi-view stereo (MVS)
based methods have attained a good level of quality with pipelines that
typically comprise feature extraction, matching stages and 3D shape inference. Interestingly, very recent works have re-examined stereo and MVS by
introducing features and similarity functions automatically inferred using
deep learning, the main promise of this type of method being to include
better data-driven priors. We examine in a first contribution whether these
improvements transfer to the more general and complex case of live performance capture, where a diverse set of additional difficulties arise. We then
explain how to use this learning strategy to robustly build a shape representation, from which can be extracted a 3D model. Once we obtain this representation at every frame of the captured sequence, we discuss how to exploit
temporal redundancy for precision refinement by propagating shape details
through adjacent frames. In addition to being beneficial to many dynamic
multi-view scenarios this also enables larger scenes where such increased precision can compensate for the reduced spatial resolution per image frame.
The source code implementing the different reconstruction methods is released to the community at http://deep4dcvtr.gforge.inria.fr/.
Les récentes avancées technologiques dans le domaine de l’acquisition et
du calcul ont permis une croissance rapide d’une branche de production
de média: la capture volumétrique. En particulier, la montée en puissance
de la réalité virtuelle et augmentée engendre un besoin accru de contenus
adaptés à ces nouveaux médias, notamment des contenus 3D obtenus à
partir de scènes réelles. En effet, la possibilité d’enregistrer une performance et de la rejouer sous n’importe quel point de vue permet de créer une
expérience dans un environnement réaliste et immersif pour l’utilisateur. Ce
manuscrit présente le problème de la reconstruction de forme 4D à partir
d’images RVB multi-vues, qui est une des stratégies permettant de créer un
tel contenu. Nous nous intéressons particulièrement la capture de performances dynamiques en situations réelles, contenant des détails de surface
complexes. Les défis typiques de ces situations de capture incluent une plus
faible densité d’observation des objets d’intérêt en raison des champs de vision plus larges nécessaires pour capturer le mouvement; des occultations et
auto-occultations de plusieurs sujets en interaction; un manque de texture
typique de l’apparence et des vêtements du sujet réel; ou du flou de bougé
avec des sujets en mouvement rapide tels que des scènes d’action sportive.
Un aspect essentiel et qui peut encore être amélioré à cet égard est la fidélité
et la qualité des formes récupérées, notre objectif dans ce travail.
Nous présentons un pipeline complet de reconstruction adapté à ce
scénario, auquel nous avons contribué de nombreuses manières. En premier lieu, on peut noter que les méthodes basées sur la technologie stéréo
multi-vues (MVS) ont atteint un bon niveau de qualité avec des pipelines
qui comprennent généralement l’extraction de descripteurs caractéristiques,
une étape de mise en correspondance et l’inférence de forme 3D. Mais il est
surtout intéressant de noter que des travaux très récents ont réexaminé le
problème de stéréo et stéréo multi-vues en introduisant des fonctions de
similarité automatiquement inférées à l’aide d’apprentissage profond. La
principale promesse de ce type de méthode étant d’inclure un meilleur a-priori, appris sur les données réelles. Dans une première contribution, nous
examinons dans quelle mesure ces améliorations sont transférées au cas
plus général et complexe de la capture de performances dynamiques, où
diverses difficultés supplémentaires se présentent. Nous expliquons ensuite
comment utiliser cette stratégie d’apprentissage pour construire de manière
robuste une représentation de forme à chaque instant, à partir desquelles
une séquence de modèles 3D peut être extraite. Une fois que nous obtenons
cette représentation à chaque instant de la séquence capturée, nous expliquons comment il est possible d’exploiter la redondance temporelle pour
affiner la précision des modèles en propageant les détails des formes observées aux instants précédents et suivants. En plus d’être bénéfique pour
de nombreux scénarios dynamiques à vues multiples, cela permet également
de capturer des scènes plus grandes où une précision accrue peut compenser
la résolution spatiale réduite. Le code source des différentes méthodes de
reconstruction est rendu public à la communauté.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...