Multimodal Deep Neural Networks for Pose Estimation and Action Recognition
Résumé
In this work, we present a unified multimodal neural network for pose estimation from RGB images and action recognition from video sequences. We show that a multimodal approach benefits 3D pose estimation by mixing high precision 3D data and “in the wild” 2D annotated images, while action recognition also benefits from better visual features. Furthermore, we demonstrate by our experiments that end-to-end optimization results in better performance for action recognition than separated learning. We reported state-of-the-art results on 3D pose estimation and action recognition respectively on Human3.6M and NTU RGB+D datasets.
Dans cet article, nous présentons un réseaux de neurones multimodal pour l’estimation de pose et la reconnaissance multimodale favorise l’estimation de pose en combinant des données 3D très précises et des données 2D capturées dans de conditions réelles, ce que favorise aussi
l’apprentissage de caractéristiques visuelles génériques. Nous montrons que l’optimisation multi-objectif et multimodale du réseau entraîne de meilleurs résultats que l’optimisation séparée de chaque objectif mono-modal. Ceci nous permet de rapporter des résultats au niveau de l’état de l’art pour l’estimation de pose (Human3.6M) et pour la reconnaissance d’action (NTU RGB+D).
Origine : Fichiers produits par l'(les) auteur(s)
Loading...