Skeleton-Based Hand Gesture Recognition by Learning SPD Matrices with Neural Networks
Reconnaissance de mouvements de la main à base de squelette par apprentissage de matrices SDP avec réseau de neurones.
Résumé
In this paper, we propose a new hand gesture recognition method based on skeletal data by learning SPD matrices with neural networks. We model the hand skeleton as a graph and introduce a neural network for SPD matrix learning, taking as input the 3D coordinates of hand joints. The proposed network is based on two newly designed layers that transform a set of SPD matrices into a SPD matrix. For gesture recognition, we train a linear SVM classifier using features extracted from our network. Experimental results on a challenging dataset (Dynamic Hand Gesture dataset from the SHREC 2017 3D Shape Retrieval Contest) show that the proposed method outperforms state-of-the-art methods.
Dans cet article, nous proposons une nouvelle méthode de reconnaissance du geste de la main basée sur des données squelettiques en apprenant des matrices SDP avec des réseaux neuronaux. Nous modélisons le squelette de la main sous forme de graphe et introduisons un réseau neuronal pour l'apprentissage matriciel SDP, en prenant les coordonnées 3D des articulations de la main en entrée. Le réseau proposé repose sur deux nouvelles couches qui transforment un ensemble de matrices SDP en matrice SDP. Pour la reconnaissance gestuelle finale, nous utilisons un classificateur SVM linéaire basé sur un plongement proposé par notre réseau. Les résultats expérimentaux sur un jeux de données difficile (gestes dynamiques de la main issus du concours SHREC 2017 3D Shape Retrieval Contest) montrent que la méthode proposée est plus performante que les méthodes de pointe.
Origine : Fichiers produits par l'(les) auteur(s)