3D gesture recognition for human-system interaction
Reconnaissance 3D de gestes pour l'interaction homme-système
Abstract
The goal of Human System Interaction
(HSI) research is to increase the performance of human
system interaction in order to make it similar
to human-human interaction. As for communication
between humans, gestural communication is
also widely used in human system interaction. This
thesis is about gesture recognition for natural human
system interaction based on gestures. The goal
of works conducted in this thesis is to propose
recognition approaches for different kind of dynamic
gesture: simple gesture and composed gesture. Fist
of all, we proposed a novel 3D gesture descriptor
computed by human body joints angles provided by
Kinect sensor. Second, we proposed two dynamic
gestures recognition approaches: a) simple gestures
recognition approach, b) composed gestures recognition
approach. The first approach is based on
Hidden Markov Models (HMM). One HMM was
created for each gesture. The joints angles variations
have been used as input for HMMs. Then,
this method has been combined with the Dynamic
Time Warping algorithm in order to eliminate bad
classification. The second approach treats the case
of composed and successive gestures in the same
sequence. This approach combines Dynamic Time
Warping method with an adaptative window, hence
the name: Adaptive Dynamic Time Warping. Two
versions have been proposed: Forward and Backward
version for online and offline recognition.
Le but des applications visées par l’interaction homme-système est de parvenir à une interaction naturelle qui simule l’interaction homme-homme.Comme dans la communication homme-homme,les gestes sont aussi très utilisés dans la communication homme-système. Cette thèse porte sur la reconnaissance de gestes pour l’interaction naturelle homme-système basée sur les gestes. L’objectif des travaux menés durant cette thèse est de proposer des approches de reconnaissance de différents types de geste dynamiques : gestes simples et gestes composés. Tous d'abord, nous avons proposé un nouveau descripteur 3D de gestes calculé par les angles des articulations du corps humain à partir d’un flux de profondeur fourni par le capteur Kinect. Ensuite, nous avons proposé deux approches pour la reconnaissance de gestes dynamiques : a)une approche de reconnaissance des gestes simples,b) une approche de reconnaissance des gestes composés.La première approche est basée sur les Modèles de Markov Cachés. Un modèle MMC pour chaque geste a été réalisé. La variation des angles entre les articulations est utilisée comme entrée des Modèles de Markov Cachés. Cette méthode a été combinée avec la méthode de la Déformation Temporelle Dynamique (Dynamic Time Warping) pour éliminer les mauvaises classifications. La deuxième approche traite le cas des gestes composés et successifs dans une même séquence. Cette approche combine la méthode de la Déformation Temporelle Dynamique avec une fenêtre glissante adaptative d’où le nom de l’approche: Adaptive Dynamic TimeWarping. Deux versions de cette approche ont été proposées : version Forward et version Backward pour la reconnaissance en ligne et hors ligne.
Origin : Files produced by the author(s)
Loading...