Divers gesture recognition from upper limb tracking - Archive ouverte HAL
Communication Dans Un Congrès Année : 2023

Divers gesture recognition from upper limb tracking

Résumé

The need for a robot to understand basic commands is crucial for human-robot underwater missions. Yet, the underwater environment is a challenge because turbidity and color absorption quickly degrade the quality of the robot perception. This work presents a classification of diver gestures based on upper body skeleton detection, which can be used in addition to hand shape classification. This paper depicts a pipeline to recognize gestures from angular variations of the upper body. The proposed solution exploits the temporal dimension of the joint angles data by using a LSTM-based neural network. The proposed approach has been validated on motion capture datasets relative to 15 subjects who were asked to execute 8 different diver gestures in the air. The results obtained prove the ability to discriminate most of the different gestures trained with a success rate of up to 88%.
La coopération sous-marine homme-robot nécessite la compréhension par le système robotique de la gestuelle des plongeurs. L'environnement sous-marin représente un défi, car la turbidité et l'absorption des couleurs dégradent rapidement la qualité de la perception du robot. Ce travail présente une classification des gestes des plongeurs basée sur la détection du squelette du haut du corps, qui peut compléter la classification de la forme de la main. Cet article décrit un pipeline pour reconnaître les gestes à partir des variations angulaires du haut du corps. La solution proposée exploite la dimension temporelle des données d'angles articulaires en utilisant un réseau neuronal de type LSTM. L'approche proposée est validée sur un ensemble de données de capture de mouvement relatives à 15 sujets à qui on a demandé d'exécuter 8 gestes de plongeur différents dans l'air. Les résultats obtenus montrent la capacité de l'algorithme à discriminer la plupart des différents gestes entraînés avec un taux de réussite jusqu'à 88%.
Fichier principal
Vignette du fichier
Diver_gesture_recognition_based_on_joints_angle_classification_ORASIS.pdf (11.66 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04108621 , version 1 (27-05-2023)

Identifiants

  • HAL Id : hal-04108621 , version 1

Citer

Bilal Ghader, Claire Dune, Eric Watelain, Vincent Hugel. Divers gesture recognition from upper limb tracking. 19éme colloque ORASIS (journées francophones des jeunes chercheurs en vision par ordinateur ), Thanh Phuong Nguyen; Yassine Zniyed; Nadège Thirion-Moreau; Sandra Senisar; Eric Moreau; Thanh Tuan Nguyen, May 2023, Carqueiranne, France. ⟨hal-04108621⟩
105 Consultations
43 Téléchargements

Partager

More