Multimodal Deep Neural Networks for Pose Estimation and Action Recognition - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2018

Multimodal Deep Neural Networks for Pose Estimation and Action Recognition

Résumé

In this work, we present a unified multimodal neural network for pose estimation from RGB images and action recognition from video sequences. We show that a multimodal approach benefits 3D pose estimation by mixing high precision 3D data and “in the wild” 2D annotated images, while action recognition also benefits from better visual features. Furthermore, we demonstrate by our experiments that end-to-end optimization results in better performance for action recognition than separated learning. We reported state-of-the-art results on 3D pose estimation and action recognition respectively on Human3.6M and NTU RGB+D datasets.
Dans cet article, nous présentons un réseaux de neurones multimodal pour l’estimation de pose et la reconnaissance multimodale favorise l’estimation de pose en combinant des données 3D très précises et des données 2D capturées dans de conditions réelles, ce que favorise aussi l’apprentissage de caractéristiques visuelles génériques. Nous montrons que l’optimisation multi-objectif et multimodale du réseau entraîne de meilleurs résultats que l’optimisation séparée de chaque objectif mono-modal. Ceci nous permet de rapporter des résultats au niveau de l’état de l’art pour l’estimation de pose (Human3.6M) et pour la reconnaissance d’action (NTU RGB+D).
Fichier principal
Vignette du fichier
friap18.pdf (1.71 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01815707 , version 1 (14-06-2018)

Identifiants

  • HAL Id : hal-01815707 , version 1

Citer

Diogo C Luvizon, Hedi Tabia, David Picard. Multimodal Deep Neural Networks for Pose Estimation and Action Recognition. Congrès Reconnaissance des Formes, Image, Apprentissage et Perception (RFIAP 2018), Jun 2018, Marne-la-Vallée, France. ⟨hal-01815707⟩
400 Consultations
558 Téléchargements

Partager

Gmail Facebook X LinkedIn More