Reconnaissance 3D de gestes pour l'interaction homme-système - Archive ouverte HAL Access content directly
Theses Year : 2016

3D gesture recognition for human-system interaction

Reconnaissance 3D de gestes pour l'interaction homme-système

Abstract

The goal of Human System Interaction (HSI) research is to increase the performance of human system interaction in order to make it similar to human-human interaction. As for communication between humans, gestural communication is also widely used in human system interaction. This thesis is about gesture recognition for natural human system interaction based on gestures. The goal of works conducted in this thesis is to propose recognition approaches for different kind of dynamic gesture: simple gesture and composed gesture. Fist of all, we proposed a novel 3D gesture descriptor computed by human body joints angles provided by Kinect sensor. Second, we proposed two dynamic gestures recognition approaches: a) simple gestures recognition approach, b) composed gestures recognition approach. The first approach is based on Hidden Markov Models (HMM). One HMM was created for each gesture. The joints angles variations have been used as input for HMMs. Then, this method has been combined with the Dynamic Time Warping algorithm in order to eliminate bad classification. The second approach treats the case of composed and successive gestures in the same sequence. This approach combines Dynamic Time Warping method with an adaptative window, hence the name: Adaptive Dynamic Time Warping. Two versions have been proposed: Forward and Backward version for online and offline recognition.
Le but des applications visées par l’interaction homme-système est de parvenir à une interaction naturelle qui simule l’interaction homme-homme.Comme dans la communication homme-homme,les gestes sont aussi très utilisés dans la communication homme-système. Cette thèse porte sur la reconnaissance de gestes pour l’interaction naturelle homme-système basée sur les gestes. L’objectif des travaux menés durant cette thèse est de proposer des approches de reconnaissance de différents types de geste dynamiques : gestes simples et gestes composés. Tous d'abord, nous avons proposé un nouveau descripteur 3D de gestes calculé par les angles des articulations du corps humain à partir d’un flux de profondeur fourni par le capteur Kinect. Ensuite, nous avons proposé deux approches pour la reconnaissance de gestes dynamiques : a)une approche de reconnaissance des gestes simples,b) une approche de reconnaissance des gestes composés.La première approche est basée sur les Modèles de Markov Cachés. Un modèle MMC pour chaque geste a été réalisé. La variation des angles entre les articulations est utilisée comme entrée des Modèles de Markov Cachés. Cette méthode a été combinée avec la méthode de la Déformation Temporelle Dynamique (Dynamic Time Warping) pour éliminer les mauvaises classifications. La deuxième approche traite le cas des gestes composés et successifs dans une même séquence. Cette approche combine la méthode de la Déformation Temporelle Dynamique avec une fenêtre glissante adaptative d’où le nom de l’approche: Adaptive Dynamic TimeWarping. Deux versions de cette approche ont été proposées : version Forward et version Backward pour la reconnaissance en ligne et hors ligne.
Fichier principal
Vignette du fichier
2016SACLE052.pdf (1.06 Mo) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

tel-01804336 , version 1 (31-05-2018)

Identifiers

  • HAL Id : tel-01804336 , version 1

Cite

Hajar Hiyadi. Reconnaissance 3D de gestes pour l'interaction homme-système. Traitement du signal et de l'image [eess.SP]. Université Paris-Saclay; Université d'Evry-Val-d'Essonne; Université Mohammed V de Rabat, 2016. Français. ⟨NNT : 2016SACLE052⟩. ⟨tel-01804336⟩
203 View
1989 Download

Share

Gmail Mastodon Facebook X LinkedIn More