Communication Dans Un Congrès Année : 2024

Epistemic gestures: sub-parametric articulatory traits in LSF and French coverbal gestures

Le geste épistémique : identification et comparaison des traits articulatoires sous-paramétriques en gestualité coverbale du français et en langue des signes française (LSF)

Gesti epistemici: tratti articolatori sub-parametrici nella LSF e nella gestualità co-verbale francese

Résumé

Abstract of the published article
This article focuses on the articulatory characteristics of epistemic gestures (i.e., gestures used to express certainty or uncertainty) in co-speech gestures (CSG) in French and in French Sign Language (LSF). It presents a new methodology for analysis, which relies on the complementary use of manual annotation (using Typannot) and semi-automatic annotation (using AlphaPose) to highlight the kinesiological characteristics of these epistemic gestures. The presented methodology allows to analyze the flexion/extension movements of the head in epistemic contexts. The results of this analysis show that in CSG and LSF: (1) head nods passing through the neutral position (i.e., head straight with no flexion/extension) and high movement speed are markers of certainty; and (2) holding the head position away from the neutral position and low movement speed indicate uncertainty. This study is conducted within the framework of the ANR LexiKHuM project, which develops kinesthetic communication solutions for human-machine interaction.

Le geste épistémique : identification et comparaison des traits articulatoires sous-paramétriques en gestualité coverbale du français et en langue des signes française (LSF)
ou
LexIKHuM (LEXique d'Interaction Kinesthésique HUmain-Machine) : étudie et développe des solutions de communication kinésiologique pour l'interaction humain-machine (IHM)
Objectif : implémenter un lexique kinesthésique dans un dispositif haptique pour améliorer la communication lors de l'IHM
→ Souhait du projet : rapprocher la communication durant l'IHM du langage naturel.
Hypothèse : pour que la forme de ces messages se rapproche de la gestualité humaine, elle devra reprendre certaines propriété articulatoires du mouvement des gestes linguistiques Il est possible d'identifier dans mouvements des traits articulatoires sub-paramétriques porteurs de sens épistémique dans les mouvements affirmatives ou négatoires de la tête, des sourcils, des épaules et des mains.
Méthode : étudier la gestualité humaine (GCV et LS) pour extraire des caractéristiques à réinvestir dans le lexique kinesthésique
→ avec le corpus DEGELS1 (Braffort et Boutora, 2012)
→ focus sur flexion/extension de la tête, détection semi-automatisée, transcription, rôle dans l'expression de l'épistémicité.
Ce protocole nous permet de sortir de la description holistique pour aller vers une description articulatoire fine, mesurée et plus objectives des données.
On trouve des traits communs aux gestes épistémiques en LSF et GCV du français, donc la possibilité d'une unité kinésiologique à implémenter dans le dispositif du projet.
Prochaines étapes : ne plus traiter chaque articulateur de manière individuelle, mais voir si des corrélations/combinaisons de DdL sont pertinentes.
*****
Résumé de l'article publié
Cet article se focalise sur les caractéristiques articulatoires des gestes épistémiques (i.e. des gestes produits lors de l’expression de la certitude ou de l’incertitude) en gestualité co-verbale (gcv) du français et en Langue des Signes Français (LSF). Il présente une nouvelle méthodologie d’analyse qui repose sur l’utilisation complémentaire d’une annotation manuelle (réalisée avec le système de transcription Typannot) et d’une annotation semi-automatique (via un logiciel d’estimation de poses, AlphaPose) afin de mettre en évidence les caractéristiques kinésiologiques de ces gestes épistémiques. La méthodologie présentée permet notamment d’analyser les positions et les mouvements de flexion/extension du cou en contexte d’épistémicité; les résultats de cette analyse montrent qu’en gcv du français et en LSF: (1) des hochements de tête passant par la position neutre (c.-à-d., tête droite, sans flexion/extension) et une vitesse de mouvement élevée sont des marqueurs de certitude; et (2) les tenues de position de la tête hors de la position neutre et une faible vitesse de mouvement indiquent l’incertitude. Cette étude est menée dans le cadre du projet ANR LexiKHuM qui développe des solutions de communication kinesthésique pour l’interaction humain machine.

Mots clés

4C C062 2022-presentazione Faitesdelangue Paris3.pdf (962.73 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04602673 , version 1 (05-06-2024)

Identifiants

Citer

Catteau Fanny, Claudia S. Bianchini. Le geste épistémique : identification et comparaison des traits articulatoires sous-paramétriques en gestualité coverbale du français et en langue des signes française (LSF). Discours et gestualité : pour des approches multimodales du langage, Université Sorbonne Nouvelle, Oct 2022, Paris, France. pp.89-110, ⟨10.1163/19589514-53020005⟩. ⟨hal-04602673⟩
86 Consultations
28 Téléchargements

Altmetric

Partager

  • More