Monocular hand motion tracking and gestures recognition
Suivi des mouvements de la main et reproduction de gestes à partir de séquences vidéo monoculaires
Résumé
Hand gestures take a fundamental role in inter-human daily communication. Their use has become an important part of human-computer interaction in the two last decades. Building a fast and effective vision-based hand motion tracker is challenging. This is due to the high dimensionality of the pose space, the ambiguities due to occlusion, the lack of visible surface texture and the significant appearance variations due to shading. In this thesis we are interested in two approaches for monocular hand tracking. In the first one, a parametric hand model is used. The hand motion tracking is first formulated as an optimization task, where a dissimilarity function between the projection of the hand model under articulated motion and the observed image features, is to be minimized. A two-step iterative algorithm is then proposed to minimize this dissimilarity function. We propose two dissimilarity functions to be minimized. We propose also in this thesis a data-driven method to track hand gestures and animate 3D hand model. To achieve the tracking, the presented method exploits a database of hand gestures represented as 3D point clouds. In order to track a large number of hand poses with a database as small as possible we classify the hand gestures using a Principal Component Analysis (PCA). Applied to each point cloud, the PCA produces a new representation of the hand pose independent of the position and orientation in the 3D space. To explore the database in a fast and efficient way, we use a comparison function based on 3D distance transform. Experimental results on synthetic and real data demonstrate the potentials of ours methods
Les gestes de la main représentent un moyen naturel et intuitif de communication chez l'homme lui permettant d'interagir avec son environnement dans la vie de tous les jours. Ils permettent notamment de ponctuer et de renforcer l'expression orale d'un dialogue entre personnes. Outre la communication entre individus, les gestes de la main permettent de manipuler des objets ou encore d'interagir avec des machines. Avec le développement de la vision par ordinateur, on assiste à un véritable engouement pour de nouveaux types d'interactions qui exploitent le mouvement de la main et qui passent par une étape d'analyse et de reconnaissance du mouvement afin d'aboutir à l'interprétation des gestes de la main. La réalisation d'un tel objectif ouvre un large champ d'applications. C'est dans ce cadre que se positionne le travail réalisé au cours de cette thèse. Les objectifs visés étaient de proposer des méthodes pour: 1) permettre le transfert d'animation depuis une séquence réelle vers un modèle 3D représentant la main. Dans une telle perspective, le suivi permet d'estimer les différents paramètres correspondant aux degrés de liberté de la main. 2) identifier les gestes de la main en utilisant une base de gestes prédéfinie dans le but de proposer des modes d'interactions basés sur la vision par ordinateur. Sur le plan technique, nous nous sommes intéressés à deux types d’approches : le premier utilise un modèle 3D de la main et le deuxième fait appel à une base de gestes