Coding Movement in Sign Languages: the Typannot Approach - Archive ouverte HAL Accéder directement au contenu
Chapitre D'ouvrage Année : 2018

Coding Movement in Sign Languages: the Typannot Approach

Le codage du mouvement en langue des signes: l'approche de Typannot

La codifica del movimento in lingua dei segni: l'approccio di Typannot

Résumé

Typannot is an innovative transcription system (TranSys) for Sign Languages (SLs), based on robust graphematic and coherent typographic formulas. It is characterized by readability, writability, searchability, genericity and modularity. Typannot can be used to record handshapes, mouth actions, facial expressions, initial locations (LOCini) and movements of the upper limbs (MOV). For LOCini and MOV, Typannot uses intrinsic frames of reference (iFoR) to describe the position of each segment (arm, forearm, hand) in terms of degrees of freedom (DoF). It assumes that the motion is subdivided into a complex moment of initial preparation, leading to the stabilization of a LOCini, and a subsequent phase of MOV deployment based on simple motor patterns. The goal of Typannot is not only to create a new TranSys, but also to provide an instrument to advance the knowledge about SLs. The observation of the SLs makes it possible to formulate various hypotheses, among which: 1) MOV follows a simple motor scheme that aims at minimizing motor control during MOV; 2) proximal→distal flows of MOV are predominant in SLs. Only the use of a TranSys based on iFoR and the description of the DoF makes it possible to explore the data in order to test these hypotheses.
Typannot est un système de transcription (TranSys) des Langues des Signes (LS) innovant, basé sur une formule graphématique robuste et une formule typographique cohérente. Il est lisible, scriptible, requêtable, générique et modulaire. Typannot peut être utilisé pour enregistrer les formes de la main, les actions de la bouche, les expressions faciales, les localisations initiales (LOCini) et les mouvements des membres supérieurs (MOV). Pour LOCini et MOV, Typannot utilise des cadres de référence intrinsèques (iFoR) pour décrire la position de chaque segment (bras, avant-bras, main) en termes de degrés de liberté (DoF). Il part de l’hypothèse que le mouvement est subdivisé en une phase complexe de préparation initiale qui mène à la stabilisation d’une LOCini et d’une phase de déploiement du MOV basée sur des schémas moteurs simples. Le but de Typannot est non seulement de créer un nouveau TranSys, mais aussi de fournir un instrument pour faire progresser les connaissances sur les LS. L'observation des LS permet de formuler différentes hypothèses, parmi lesquelles: i) MOV suit un schéma moteur simple qui vise à minimiser le contrôle moteur au cours du MOV; ii) les flux proximaux→distaux du MOV sont prédominants dans les LS. Seul l'utilisation d'un TranSys basé sur un iFoR et la description des DoF permettent d'explorer les données pour tester ces hypothèses.
Typannot è un innovativo sistema di trascrizione (TranSys) per le lingue dei segni (LS), basato su formule grafematiche robuste e formule tipografiche coerenti. Typannot è caratterizzato da leggibilità, scrivibilità, ricercabilità, genericità e modularità. Typannot può essere utilizzato per registrare le forme manuali, le azioni della bocca, le espressioni facciali, le locazioni iniziali (LOCini) ed i movimenti degli arti superiori (MOV). Per LOCini e MOV, Typannot usa contesti di riferimento intrinseci (iFoR) per descrivere la posizione di ciascun segmento (braccio, avambraccio, mano) in termini di gradi di libertà (DoF). Typannot presuppone che il movimento sia suddiviso in un momento complesso di preparazione iniziale, che porta alla stabilizzazione di una LOCini, ed una successiva fase di dispiegamento del MOV basata su schemi motori semplici. L'obiettivo di Typannot non è solo quello di creare un nuovo TranSys, ma anche di fornire uno strumento per far progredire la conoscenza delle SL. L'osservazione delle SL rende possibile formulare varie ipotesi, tra cui: i) MOV segue uno schema motorio semplice, che mira a minimizzare il controllo motorio durante MOV; ii) i flussi prossimali→distali di MOV sono predominanti nelle SL. Solo l'uso di un TranSys basato su un iFoR e la descrizione dei DoF consentono di esplorare i dati per testare queste ipotesi.

Domaines

Linguistique
Fichier principal
Vignette du fichier
Bianchini et al - SENT.pdf (825.08 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02342251 , version 1 (31-10-2019)

Identifiants

Citer

Claudia S. Bianchini, Léa Chèvrefils, Claire Danet, Patrick Doan, Morgane Rébulard, et al.. Coding Movement in Sign Languages: the Typannot Approach. Proceedings of the 5th International Conference on Movement and Computing (MoCo'18), sect. 1 (9), ACM, pp.1-8, 2018, 978-1-4503-6504-8. ⟨10.1145/3212721.3212808⟩. ⟨hal-02342251⟩
464 Consultations
176 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More