Avatar signeur -Synthèse de la langue des signes française à partir de texte - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Revue TAL : traitement automatique des langues Année : 2022

Avatar signeur -Synthèse de la langue des signes française à partir de texte

Sylvie Gibet

Résumé

In this paper, we present a multimodal synthesis system that translates text-to-LSF (French sign language) by means of a 3D virtual character, also called virtual signer. Our SignCom system is based on a multichannel composition mechanism, each channel being associated to linguistic information (from the phonological level to the lexical, syntactic or semantic levels), or to articulatory information. The composition is based on a spatio-temporal arrangement of these elements that are parallelized, and is able to edit and generate utterances in LSF. The new synthesis modules that enrich the initial system are described, including body movement synthesis, facial and hand movement synthesis. They implement grammatical dynamics specific to sign language, based on the fundamental concepts of spatiality and iconicity. Finally, we present the main technological challenges that remain before concluding.
Nous présentons dans cet article un système de synthèse de mouvement multimodal qui produit de la langue des signes française (LSF) à partir d'énoncés textuels au moyen d'un personnage virtuel 3D appelé avatar signeur. Notre système SignCom s'appuie sur un principe de composition multicanale, chaque canal d'information étant associé à une information linguistique (depuis le niveau phonologique vers les niveaux lexical, syntaxique ou sémantique) ou articulatoire. La composition permet un agencement spatio-temporel de ces éléments qui s'exécutent en parallèle, et donne la possibilité d'éditer et de générer des phrases en LSF. Les nouveaux modules de synthèse qui enrichissent le système initial sont décrits. Ils incluent la synthèse de mouvement corporel et des mains ainsi que la synthèse faciale, et mettent en oeuvre des dynamiques grammaticales propres à la LSF, en s'appuyant sur les concepts fondamentaux de spatialité et d'iconicité. Enfin, nous présentons les principaux défis technologiques qui restent à relever avant de conclure.
Fichier principal
Vignette du fichier
TAL_SGIBET_EDITE (1).pdf (4.68 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04448954 , version 1 (09-02-2024)

Licence

Paternité - Pas d'utilisation commerciale - Partage selon les Conditions Initiales

Identifiants

  • HAL Id : hal-04448954 , version 1

Citer

Sylvie Gibet. Avatar signeur -Synthèse de la langue des signes française à partir de texte. Revue TAL : traitement automatique des langues, 2022, Traitement automatique des langues intermodal et multimodal, 63 (2), pp.67-91. ⟨hal-04448954⟩
30 Consultations
12 Téléchargements

Partager

Gmail Facebook X LinkedIn More