Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2019

Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks

Reconnaissance de mouvements de la main à base de squelette par apprentissage de matrices SDP avec réseau de neurones.

Résumé

In this paper, we propose a new hand gesture recognition method based on skeletal data by learning SPD matrices with neural networks. We model the hand skeleton as a graph and introduce a neural network for SPD matrix learning, taking as input the 3D coordinates of hand joints. The proposed network is based on two newly designed layers that transform a set of SPD matrices into a SPD matrix. For gesture recognition, we train a linear SVM classifier using features extracted from our network. Experimental results on a challenging dataset (Dynamic Hand Gesture dataset from the SHREC 2017 3D Shape Retrieval Contest) show that the proposed method outperforms state-of-the-art methods.
Dans cet article, nous proposons une nouvelle méthode de reconnaissance du geste de la main basée sur des données squelettiques en apprenant des matrices SDP avec des réseaux neuronaux. Nous modélisons le squelette de la main sous forme de graphe et introduisons un réseau neuronal pour l'apprentissage matriciel SDP, en prenant les coordonnées 3D des articulations de la main en entrée. Le réseau proposé repose sur deux nouvelles couches qui transforment un ensemble de matrices SDP en matrice SDP. Pour la reconnaissance gestuelle finale, nous utilisons un classificateur SVM linéaire basé sur un plongement proposé par notre réseau. Les résultats expérimentaux sur un jeux de données difficile (gestes dynamiques de la main issus du concours SHREC 2017 3D Shape Retrieval Contest) montrent que la méthode proposée est plus performante que les méthodes de pointe.
Fichier principal
Vignette du fichier
sample_FG2019.pdf (290.2 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-02133684 , version 1 (19-05-2019)

Identifiants

Citer

Xuan Son Nguyen, Luc Brun, Olivier Lezoray, Sébastien Bougleux. Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks. 14th IEEE International Conference on Automatic Face and Gesture Recognition, May 2019, Lille, France. ⟨hal-02133684⟩
301 Consultations
108 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More