Conference Papers Year : 2024

Transcribing the body as we transcribe the voice: towards an automatic transcription of sign language and co-verbal gestures

Transcrire le corps comme on transcrit la voix: vers une transcription automatique des LS et de la gestualité

Trascrivere il corpo come si trascrive la voce: trascrizione automatica della LS e dei gesti co-verbali

Abstract

To begin a linguistic analysis of an oral corpus, the researcher must enhance their raw data with a set of metadata, transcriptions, and annotations [1]. For audio recordings to be annotated, they must first be transcribed, that is, rendered into a typographic form (e.g., ‘bird’ or, in the International Phonetic Alphabet, ‘/bɜːd/’) compatible with human readability and computational queryability [2]. The transcription serves as the basis for annotations (which are merely traces of the identification of specific phenomena within the corpus), whether performed manually or automatically (e.g., with part-of-speech taggers, lemmatizers, etc.); transcription is also necessary for the proper functioning of corpus exploration tools (e.g., concordancers). Therefore, transcription is a primary and fundamental step in the processing and exploitation of oral corpora.
Today, numerous tools simplify the task of transcribing oral corpora [1], particularly speech recognition software (speech-to-text) whose reliability is constantly improving [3]. The scientific community thus has access to a large number of already transcribed oral corpora. For instance, the Common Language Resources and Technology Infrastructure (CLARIN) [4] offers transcriptions of nearly 150 corpora [5], representing several thousand hours of recordings. This "treasure" of pre-constituted linguistic material, ready to be annotated (sometimes even already annotated), greatly facilitates and enriches the work of researchers interested in oral data.
CLARIN also provides multimodal corpora [6;7]. However, these corpora, which allow the analysis of the oral and gestural components of languages , are much less numerous than the listed oral corpora. They total a few hundred hours of recordings on 58 corpora. This under-representation does not reflect a linguists’ lack of interest in multimodality, but rather an obvious fact: it is pointless to collect thousands of hours of video if there are no tools to exploit them.
A crucial element limiting the ability to exploit these corpora is the absence of an accurate, readable, and queryable transcription system for gestural data [2;8]. Indeed, although CLARIN presents multimodal corpora as "richly annotated for various verbal and non-verbal elements of communication" [6], it is observed that: transcriptions and annotations are primarily centered on the oral (for non-signed corpora); gestures are often annotated only on their function (e.g., "pointing", "iconic gestures", etc.); and when the form of gestures is taken into account, it is not transcribed but simply described in vocal language (e.g., "palm-up", "circle with the hand", etc.). Thus, multimodal corpora are deprived of this initial and fundamental step of transcription. This affects not only the consideration of gestural forms but also the entire annotation process, since transcriptions are essential for the proper functioning of automatic gesture annotation tools, which are still too underdeveloped today.
Solving this problem requires the development of a transcription system of gestural data, which (a) represents all parts of the body involved in gestural realizations; (b) offers an accurate representation of gestural forms (like the International Phonetic Alphabet for oral data); (c) is readable and manipulable by the researcher; (d) is compatible with the main linguistic analysis software; (e) ensures sufficiently rapid and reliable transcription to handle large amounts of data in a reasonable time frame.
A gestural transcription system that offers a phonetic-articulatory description of the entire body should be used. The choice has been Typannot [9;10], a typographic tool compatible with all word processing tools, but also readable and tractable by a human [11]. It is a typefont representing the constitutive elements of a descriptive model of body articulatory dynamics. In Typannot, each segment of the body (from hands to feet, including head and torso) is considered within an intrinsic reference frame [12], and movement is described as an angular variation along one or more degrees of freedom (DoF) [13;14]. Gesture description is characterized by: the identification of DoF of the concerned body segments; the definition of an initial posture from which the movement analysis begins; the determination of the direction, amplitude, and speed of its deployment along the DoF. Other criteria, such as repetitions and symmetries, complete the system.
Typannot thus provides a description of gestural forms that meets issues a-b-c-d. However, manual transcription with Typannot is laborious and can lack inter-annotator consistency due to the complexity of analyzing the gestural flow.
To facilitate this task, we used image processing tools to analyze videos. Our choice fell on AlphaPose [15]: a free and open-source pose estimator that works on any kind of video recording and requires no special equipment. Software developed in-house allows selecting a speaker in a video, sending the images to AlphaPose, which determines the postures and sends them back to the software. The software defines, on each image, the angle of the DoF of the speaker's body and the speed of their variation; data are then saved in a spreadsheet.
However, movement cannot be considered just a simple sequence of postures [13;14]. The data in the spreadsheet is processed (with a Python script) to determine: the set of postures from which the researcher must choose a starting posture; the direction, amplitude, and speed of variation of each concerned DoF. These data are then converted into a Typannot typographic character and exported to ELAN [16], one of the main software used in analyzing multimodal corpora, thus obtaining an automatically generated transcription in ELAN.
This approach was implemented in the linguistic module of the ANR-LexiKHuM project. This project focuses on head movements to identify common gestural markers in sign languages and gestures [17]. This outline of an automatic transcription of head movement needs tuning to the researchers' needs – in particular the current too-fine-grained information - and refining with other descriptive elements of Typannot (such as repetitions and symmetries). Nevertheless, this approach lays the foundation for an effective transcription system of gestural forms that could eventually increase the number of available transcribed corpora, thereby facilitating the development of multimodal data processing tools.
Acknowledgments: the proposed solutions result from the collaboration between the FoReLLIS laboratory (Université de Poitiers), the ISIR laboratory (Sorbonne Université - Paris) and the GestualScript team (École Supérieur d'Art et Design [ESAD] in Amiens), as part of the ANR-LexiKHuM (FoReLLIS-ISIR) and Typannot (FoReLLIS-GestualScript) projects. LexiKHuM project is funded by the Agence Nationale de la Recherche (grant: ANR-20-CE33-0012). Thanks to K. Bou Orm, R. Fath, and C. Chen for their contributions to software development during their internships in the LexiKHuM project.
*****
References
[1] M. Jacobson, G. Bergounioux & P. Pietrandrea. 2018. Annotating oral corpora. in “Manual of Romance Sociolinguistics” (W. Ayres-Bennett & J. Carruthers eds): 27-58. Berlin: De Gruyter. DOI: 10.1515/9783110365955-002
[2] C.S. Bianchini. 2024. (D)écrire les Langues des Signes: une approche grapholinguistique aux langues des signes. Brest: Fluxus Éditions. DOI 10.36824/2024 bianchini
[3] A. Hannun. 2021. The history of speech recognition to the year 2030. arXivLabs preprint: 1-10. DOI: 10.48550/arXiv.2108.00084
[4] E. Hinrichs & S. Krauwer. 2014. The CLARIN research infrastructure: resources and tools for e-humanities scholars. Proc. 9th Intl Conference Language Resources and Evaluation (LREC): 1521-1531.
[5] Common Language Resources and Technology Infrastructure (CLARIN). n.d. Spoken corpora. Online at https://www.clarin.eu/resource-families/spoken-corpora. [retrieved 08/06/2024]
[6] Common Language Resources and Technology Infrastructure (CLARIN). n.d. Multimodal corpora. Online at https://www.clarin.eu/resource-families/multimodal-corpora. [retrieved 08/06/2024]
[7] Common Language Resources and Technology Infrastructure (CLARIN). n.d. Sign Language resources. Online at https://www.clarin.eu/resource-families/sign-language-resources. [retrieved 08/06/2024]
[8] C.S. Bianchini. 2021. Written representation of sign languages: issues (still) to be addressed. CoReLa - COgnition, REprésentation, LAngage, 19(2): 1-37. DOI: 10.4000/corela.13190
[9] D. Boutet, P. Doan, D. Danet, C.S. Bianchini, T. Goguely, A. Contesse & M. Rébulard, 2018. Systèmes graphématiques et écritures des langues signées. Signata, 9: 391-426. DOI: 10.4000/signata.1684
[10] C. Danet, D. Boutet, P. Doan, C.S. Bianchini, A. Contesse, L. Chevrefils, M. Rébulard, C. Thomas & J.-F. Dauphin. 2021. Transcribing sign languages with TYPANNOT: the typographic system that retains and displays layers of information. Grapholinguistics and its Applications, 5(2): 1009-1037. DOI: 10.36824/2020-graf-dane
[11] A. Contesse, C. Thomas, M. Rébulard, C. Danet, C.S. Bianchini, L. Chevrefils & P. Doan. 2024 [in press]. Concevoir une fonte pour la transcription des mouth actions en langue des signes: le système typographique Typannot. Grapholinguistics and its Applications, 9. DOI: 10.36824/2022-graf-cont
[12] D. Boutet. 2018. Pour une Approche Kinésiologique de la gestualité: synthèse. Habilitation à diriger des recherches [HDR]. Université de Rouen Normandie.
[13] C. Bianchini, L. Chèvrefils, C. Danet, P. Doan, M. Rébulard, A. Contesse & D. Boutet. 2018. Coding movement in sign languages: the Typannot approach. Proc. ACM 5th Intl Conference ‘Movement and Computing’ [MoCo'18], 1(#9): 1-8. DOI: 10.1145/3212721.3212808
[14] L. Chevrefils, C. Danet, P. Doan, C. Thomas, M. Rébulard, A. Contesse, J.-F. Dauphin & C.S. Bianchini. 2021. The body between meaning and form: kinesiological analysis and typographical representation of movement in sign languages. Languages and Modalities, 1(1): 49-63. DOI: 10.3897/lamo.1.68149
[15] H.-S. Fang, J. Li, H. Tang, C. Xu, H. Zhu, Y. Xiu, Y.-L. Li & C. Lu. 2023. AlphaPose: whole-body regional multi-person pose estimation and tracking in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(6): 7157-7173. DOI: 10.1109/TPAMI.2022.3222784
[16] O. Crasborn & H. Sloetjes. 2008. Enhanced ELAN functionality for sign language corpora. Proc. 3rd Works. of LREC’08, 6th Intl Conference on Language Resources and Evaluation (LREC): 39-43.
[17] F. Catteau & C.S. Bianchini. 2025 [in press]. Mise en place d'un protocole d'identification de traits articulatoires communs à la gestualité co-verbale du français et à la Langue des Signes Française (LSF) : application au geste épistémique. Faits de Langue (Brill).

Transcrire le corps comme on transcrit la voix : vers une transcription automatique de la langue des signes et de la gestualité co-verbale
Afin d'amorcer une analyse linguistique sur un corpus oral, le chercheur doit exploiter ses données brutes en les enrichissant d'un ensemble de métadonnées, de transcriptions et d'annotations [1]. Pour être annotés, les enregistrements audios doivent avant tout avoir été transcrits, c’est-à-dire restitués sous une forme typographique (ex : ‘oiseau’ ou, en Alphabet Phonétique International, ‘wazo’) compatible avec les exigences de lisibilité humaine et de requêtabilité informatique [2]. La transcription sert de base aux annotations (qui ne sont que trace de l’identification de phénomènes spécifiques au sein du corpus), qu’elles soient réalisées manuellement ou automatiquement (ex : avec des part-of-speech-tagger, des lemmatisers, etc.) ; la transcription est aussi nécessaire au bon fonctionnement des outils d’exploration de corpus (ex : concordanciers). La transcription est donc une étape première et fondamentale du traitement et de l’exploitation des corpus oraux.
Aujourd’hui de nombreux outils simplifient le travail de transcription des corpus oraux [1], notamment les logiciels de reconnaissance vocale (speech-to-text) dont la fiabilité s’améliore constamment [3]. La communauté scientifique a ainsi accès à un grand nombre de corpus oraux déjà transcrits. Par exemple, le Common Language Resources and Technology Infrastructure (CLARIN) [4], propose les transcriptions de près de 150 corpus [5], représentant plusieurs milliers d’heures d’enregistrements. Ce « trésor » de matériel linguistique préconstitué, prêt à être annoté (parfois même déjà annoté), facilite et enrichit grandement le travail des chercheurs s’intéressant à l’oral.
CLARIN rend également disponibles des corpus multimodaux [6;7]. Mais ces corpus, qui permettent d’analyser la composante orale et gestuelle des langues, sont beaucoup moins nombreux que les corpus oraux recensés. Ils totalisent quelques centaines d’heures d'enregistrement pour un total de 58 corpus. Cette sous-représentation ne reflète pas un manque d'intérêt des linguistes pour la multimodalité, mais s'explique plutôt par une évidence : il est inutile pour un chercheur de collecter des milliers d'heures de vidéo s’il manque des outils pour les exploiter.
Un élément crucial limitant la capacité d’exploitation de ces corpus est l’absence d’un système de transcription fidèle, lisible et requêtable des données gestuelles [2;8]. En effet, bien que CLARIN présente les corpus multimodaux comme « richly annotated for various verbal and non-verbal elements of communication » [6] on constate : que les transcriptions et annotations sont principalement centrées sur l’oral (pour les corpus non-signés) ; que les gestes sont souvent annotés uniquement sur la base de leur fonction (par ex. : « pointages », « gestes iconiques », etc.) ; et lorsque la forme des gestes est prise en compte, elle n’est pas transcrite mais simplement décrite en langue vocale (par ex. : « palm-up », « cercle avec la main », etc.). Ainsi, les corpus multimodaux sont privés de cette étape initiale et fondamentale qu’est la transcription. Cela affecte non seulement la prise en compte des formes gestuelles, mais également l’ensemble du processus d’annotation, puisque les transcriptions sont indispensables pour faire fonctionner les outils d’annotation automatique des gestes, qui sont aujourd’hui encore trop peu développés.
Pour résoudre ce problème, il faudrait développer un système de transcription des données gestuelles qui : (a) représente l’ensemble des parties du corps participant à la réalisation gestuelle ; (b) offre une représentation fidèle des formes gestuelles (au même titre que l’Alphabet Phonétique International pour l’oral) ; (c) soit lisible et manipulable par le chercheur ; (d) soit compatible avec les principaux logiciels d’analyse linguistique ; (e) assure une transcription suffisamment rapide et fiable afin de pouvoir traiter de grandes quantités de données en un temps raisonnable.
Il faut donc utiliser un système de transcription de la gestuelle qui offre une description au niveau phonétique-articulatoire de l’ensemble du corps. Le choix de notre équipe s'est porté sur Typannot [9;10], un outil typographique, compatible avec tous les outils de traitement de texte, mais également lisible et manipulable par un humain [11]. Il s’agit d’une police de caractères représentant les éléments constitutifs d’un modèle descriptif des dynamiques articulatoires corporelles. Dans Typannot, chaque segment du corps (des mains aux pieds, en passant par la tête et le buste) est pris en compte dans un cadre de référence intrinsèque [12] et le mouvement est décrit comme une variation d’angle le long d’un ou plusieurs degrés de liberté (DdL) [13;14]. La description du geste est caractérisée par : l’identification des DdL des segments corporels concernés ; la définition d’une posture initiale à partir de laquelle débute l’analyse du mouvement; la détermination de la direction, de l’amplitude et de la vitesse de son déploiement le long des DdL. D’autres critères comme les répétitions et les symétries complètent le système.
Typannot offre une description des formes gestuelles qui répond donc aux exigences a-b-c-d. Toutefois, la transcription manuelle avec Typannot est laborieuse et peut manquer de cohérence inter-annotateur en raison de la complexité de l’analyse du flux gestuel. Pour faciliter cette tâche, on a fait appel à des outils de traitement de l’image pour analyser les vidéos : le choix s’est porté sur AlphaPose [15] : un estimateur de pose gratuit et open source, qui fonctionne sur tout type d’enregistrement vidéo et qui ne nécessite d’aucun équipement particulier. Un logiciel développé en interne permet de sélectionner dans une vidéo un locuteur, d’envoyer les images à AlphaPose, qui détermine les postures et les renvoie au logiciel. Le logiciel définit, sur chaque image, l’angle des DdL du corps du locuteur et la vitesse de variation de ces angles ; les données sont ensuite sauvegardées dans un tableur contenant ces valeurs en fonction du temps.
Toutefois, le mouvement ne peut être considéré comme une simple suite de postures [13;14]. Les données présentes dans le tableur sont traitées (avec un script Python) pour déterminer : l’ensemble des postures parmi lesquelles le chercheur devra choisir la posture initiale de sa description ; la direction, l’amplitude et la vitesse de variation de chaque DdL concerné. Ces données sont ensuite converties en un caractère typographique de Typannot et sont exportées sous cette forme dans ELAN [16], qui est l’un des principaux logiciels utilisés pour l’analyse des corpus multimodaux. On obtient alors une transcription sous ELAN générée de manière automatique.
Cette démarche a été mise en œuvre dans le cadre du volet linguistique du projet ANR-LexiKHuM. Ce projet se concentre sur les mouvements de la tête afin d’identifier des marqueurs gestuels communs aux langues des signes et à la gestualité [17]. Cette ébauche de système de transcription automatique des mouvements de la tête demande à être ajustée aux besoins des chercheurs — notamment en ce qui concerne la granularité des données obtenues, pour l’instant trop fines — et complétée avec les autres éléments descriptifs de Typannot (comme les répétitions et les symétries). Toutefois, cette démarche établit les fondements d’un système transcription efficace des formes gestuelles qui pourrait, à terme, augmenter le nombre de corpus transcrits disponibles, et faciliter ainsi le développement d’outils de traitement des données multimodales.
Remerciements : les solutions proposées sont le fruit de collaborations entre le laboratoire FoReLLIS de l’Université de Poitiers, le laboratoire ISIR de l’Université Sorbonne Nouvelle de Paris et l’équipe de recherche GestualScript de l’École Supérieur d’Art et Design (ESAD) d’Amiens, dans le cadre des projet ANR-LexiKHuM (FoReLLIS-ISIR) et Typannot (FoReLLIS-GestualScript).

4C C065 2024-presentazione Grafematik Venezia_I (LexiKHuM).pdf (2.1 Mo) Télécharger le fichier

Dates and versions

hal-05231813 , version 1 (31-08-2025)

Identifiers

  • HAL Id : hal-05231813 , version 1

Cite

Claudia S. Bianchini, Ludovic Saint-Bauzel. Transcribing the body as we transcribe the voice: towards an automatic transcription of sign language and co-verbal gestures. Biennial conference : Grapholinguistics in the 21st Century 2024 (G21C /gʁafematik/). From graphemes to knowledge, Oct 2024, Venezia, Italy. ⟨hal-05231813⟩
122 View
36 Download

Share

  • More