Multimodal Deep Neural Networks for Pose Estimation and Action Recognition - Archive ouverte HAL Access content directly
Conference Papers Year : 2018

Multimodal Deep Neural Networks for Pose Estimation and Action Recognition

Abstract

In this work, we present a unified multimodal neural network for pose estimation from RGB images and action recognition from video sequences. We show that a multimodal approach benefits 3D pose estimation by mixing high precision 3D data and “in the wild” 2D annotated images, while action recognition also benefits from better visual features. Furthermore, we demonstrate by our experiments that end-to-end optimization results in better performance for action recognition than separated learning. We reported state-of-the-art results on 3D pose estimation and action recognition respectively on Human3.6M and NTU RGB+D datasets.
Dans cet article, nous présentons un réseaux de neurones multimodal pour l’estimation de pose et la reconnaissance multimodale favorise l’estimation de pose en combinant des données 3D très précises et des données 2D capturées dans de conditions réelles, ce que favorise aussi l’apprentissage de caractéristiques visuelles génériques. Nous montrons que l’optimisation multi-objectif et multimodale du réseau entraîne de meilleurs résultats que l’optimisation séparée de chaque objectif mono-modal. Ceci nous permet de rapporter des résultats au niveau de l’état de l’art pour l’estimation de pose (Human3.6M) et pour la reconnaissance d’action (NTU RGB+D).
Fichier principal
Vignette du fichier
friap18.pdf (1.71 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-01815707 , version 1 (14-06-2018)

Identifiers

  • HAL Id : hal-01815707 , version 1

Cite

Diogo C Luvizon, Hedi Tabia, David Picard. Multimodal Deep Neural Networks for Pose Estimation and Action Recognition. Congrès Reconnaissance des Formes, Image, Apprentissage et Perception (RFIAP 2018), Jun 2018, Marne-la-Vallée, France. ⟨hal-01815707⟩
400 View
553 Download

Share

Gmail Facebook X LinkedIn More