A Multistream Model for Continuous Recognition of Lexical Units in French Sign Language - Archive ouverte HAL Access content directly
Conference Papers Year : 2023

A Multistream Model for Continuous Recognition of Lexical Units in French Sign Language

Abstract

Sign languages are the primary means of communication for deaf people, yet they remain poorly endowed from a natural language processing perspective, thus linguistic tools (translators, concordancers) dedicated to them are rare. In this paper, starting from a corpus limited size, we propose a very first learning model for the recognition of lexical signs in French Sign Language (LSF). Signers are represented by sequences of 3D pose, which are decoded into sign sequences thanks to a bidirectionnal recurrent neural network trained with a CTC loss (Connectionist Temporal Classification). Different strategies for combining the different articulators of LSF within the neural decoder (single vs. multistream architecture), as well as the contribution of main articulators to the overall performance of the system, are investigated.
Les langues des signes constituent le premier moyen de communication des personnes sourdes, pourtant elles restent peu dotées du point de vue du traitement automatique des langues, et les outils linguistiques (traducteurs, concordanciers) qui leur sont dédiés sont rares. Dans ce papier, partant d'un corpus de dialogues en LSF de taille limitée, nous proposons un tout premier modèle d'apprentissage pour la reconnaissance de signes lexicaux en Langue des Signes Française (LSF). Les signeurs sont représentés par leur pose 3D, qui est fournie à un réseau de neurone récurrent bi-directionnel, entrainé à l'aide de l'approche CTC (Connectionist Temporal Classification). L'apport des principaux articulateurs est évalué dans la reconnaissance de la LSF et des approches mono et multiflux (un modèle par articulateur) sont comparées.
Fichier principal
Vignette du fichier
ouakrim_etal_gretsi2023_ctc.pdf (7.18 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04141925 , version 1 (26-06-2023)

Identifiers

  • HAL Id : hal-04141925 , version 1

Cite

Yanis Ouakrim, Denis Beautemps, Michèle Gouiffès, Thomas Hueber, Frédéric Berthommier, et al.. A Multistream Model for Continuous Recognition of Lexical Units in French Sign Language. GRETSI 2023 - XXIXème Colloque Francophone de Traitement du Signal et des Images, GRETSI - Groupe de Recherche en Traitement du Signal et des Images, Aug 2023, Grenoble, France. ⟨hal-04141925⟩
231 View
11 Download

Share

Gmail Facebook X LinkedIn More