Annotation and data-driven synthesis of facial expressions of French sign language
Annotation et synthèse basée données des expressions faciales de la Langue des Signes Française
Résumé
French Sign Language (LSF) represents part of the identity and culture of the deaf community in France. One way to promote this language is to generate signed content through virtual characters called signing avatars. The system we propose is part of a more general project of gestural synthesis of LSF by concatenation that allows to generate new sentences from a corpus of annotated motion data captured via a marker-based motion capture device (MoCap) by editing existing data. In LSF, facial expressivity is particularly important since it is the vector of numerous information (e.g., affective, clausal or adjectival). This thesis aims to integrate the facial aspect of LSF into the concatenative synthesis system described above. Thus, a processing pipeline is proposed, from data capture via a MoCap device to facial animation of the avatar from these data and to automatic annotation of the corpus thus constituted.
The first contribution of this thesis concerns the employed methodology and the representation by blendshapes both for the synthesis of facial animations and for automatic annotation. It enables the analysis/synthesis scheme to be processed at an abstract level,
with homogeneous and meaningful descriptors. The second contribution concerns the development of an automatic annotation method based on the recognition of expressive facial expressions using machine learning techniques. The last contribution lies in the synthesis method, which is expressed as a rather classic optimization problem but in which we have included a Laplacian-based energy quantifying the deformations of a surface as regularization energy. The results of the synthesis system have been evaluated and validated through two perceptual studies.
La Langue des Signes Française
(LSF) représente une part de l’identité et de
la culture de la communauté des sourds en
France. L’un des moyens permettant de promouvoir
cette langue est la génération de
contenu par le biais de personnages virtuels
appelés avatars signeurs. Le système que nous
proposons s’intègre dans un projet plus général
de synthèse gestuelle de la LSF par concaténation
qui permet de générer de nouvelles
phrases à partir d’un corpus de données de
mouvements annotées et capturées via un dispositif
de capture de mouvement basé marqueurs
(MoCap) en éditant les données existantes.
En LSF, l’expressivité faciale est le vecteur
de nombreuses informations (e.g., affectives,
clausales ou adjectivales), d’où son importance.
Cette thèse a pour but d’intégrer l’aspect
facial de la LSF au système de synthèse concaténative
décrit précédemment. Ainsi, nous proposons
une chaîne de traitement de l’information
allant de la capture des données via un dispositif
de MoCap jusqu’à l’animation faciale de l’avatar à partir de ces données et l’annotation
automatique des corpus ainsi constitués.
La première contribution de cette thèse
concerne la méthodologie employée et la représentation
par blendshapes à la fois pour la
synthèse d’animations faciales et pour l’annotation
automatique. Elle permet de traiter
le système d’analyse / synthèse à un certain
niveau d’abstraction, avec des descripteurs
homogènes et signifiants. La seconde contribution
concerne le développement d’une approche
d’annotation automatique qui s’appuie
sur la reconnaissance d’expressions faciales
émotionnelles par des techniques d’apprentissage
automatique. La dernière contribution réside
dans la méthode de synthèse qui s’exprime
comme un problème d’optimisation assez
classique mais au sein duquel nous avons
inclus une énergie basée laplacien quantifiant
les déformations d’une surface en tant qu’énergie
de régularisation. Les résultats de la synthèse
ont été évalués et validés au moyen de
deux études perceptuelles.