Poster De Conférence Année : 2024

Describing movement in sign language: from the multilinearity of the body to the linearity of the transcription

Description du mouvement en langue des signes : de la multilinéarité du corps à la linéarité de la transcription

Descrivere il movimento in lingua dei segni: dalla multilinearità corporea alla linearità della trascrizione

Résumé

Sign Languages (SL) are produced by the movement of the signer’s body: from the feet to the fingertips, including arms, head, and face. These articulators act in a coordinated manner to convey meaning, and their actions can occur simultaneously or not. The various ways in which these articulators unfold over time impact the meaning conveyed by the signs. It is primarily due to this corporeal, multilinear nature, deeply embedded in temporal dynamics, that SL have historically resisted attempts to develop an efficient and comprehensive transcription form. Transcribing movement poses a remarkable challenge. First, because it is considered particularly complex (Millet, 2019; Chevrefils et al., 2021). Some approaches have thus excluded the systematic analysis of movement, or have focused on the hands and the trajectory they "draw" in space, or have reduced movement to a sequence of postures (Johnson & Liddell, 2011). Indeed, movement remains, even today, the least described constitutive element of signs in the literature (Goldin-Meadow & Brentari, 2015). Then, because the movement multilinearity clashes with the typographical constraints of linguistic data processing software, in which transcription must fit within a linear spatial frame (Bianchini, 2021). These difficulties impact linguists' ability to transcribe these languages and, therefore, to focus their research on the analysis of the signifier (the form that represents meaning) of signs (Bianchini, 2021). The Typannot project (Boutet et al., 2018), adopting the kinesiological approach (Boutet, 2018), fully addresses the movement multilinearity and the temporal linear inscription of signs by proposing a model for describing SLs coupled with a typographic transcription system. It seeks to closely depict the dynamic realization of signs by proposing an articulatory phonology based on biomechanical notions. The Typannot descriptive model co-articulates two fundamental elements in time: posture and movement (Chevrefils, 2022). In posture, the body is decomposed into different articulatory systems: the body, upper and lower face, upper limbs, fingers, and lower limbs. This decomposition captures, among other things, the segments and degrees of freedom involved, as well as the relationships linking the segments. For movement, the description focuses on the transformations of these postures in terms of variations in the degrees of freedom of the involved segments (Bianchini et al., 2018). These variations are inscribed in time and defined by their amplitude and speed, while considering bodily constraints (coordination and contacts between segments, etc.) and external constraints (pointing, grasping, etc.) that may participate in the deployment of movement. The proposed descriptive model gives rise to the Typannot typographic transcription system (Danet et al., 2021; Bianchini, 2024). Whether for postures or movements, the information is organized into a graphematic formula, that is, a set of syntactically organized graphemes. These formulas conform to a common graphematic structure and common components, while also accommodating the peculiarities of each articulatory system. Given the movement complexity and the typographical limitations of linguistic analysis tools, temporality requires special consideration in the movement formula. This formula thus presents a system of grouping and labeling that logically and chronologically organizes variations in degrees of freedom. The syntactic organization and typographic design of the formula are designed to ensure data readability and queryability, while linearly representing the coordination between different articulators, whether their actions occur simultaneously or not. The articulatory description proposed by Typannot offers a comprehensive solution to the challenge of modeling body movement in Sign Languages. It effectively addresses the technological typographic constraints that impact transcription, thereby enhancing the accuracy and usability of linguistic data. References Bianchini C.S., L. Chèvrefils, C. Danet, P. Doan, M. Rébulard, A. Contesse & D. Boutet. 2018. Coding movement in sign languages: the Typannot approach. Proc. 5th Intl Conf. on Movement and Computing (MoCo'18), sect. 1 (9): 1-8. doi: 10.1145/3212721.3212808 Bianchini C.S. 2021. Written representation of Sign Languages: issues (still) to be addressed. CORELA - COgnition, REprésentation, LAngage, 19(2): 1-37. doi: 10.4000/corela.13190 Bianchini C.S. 2024. (D)écrire les Langues des Signes : une approche grapholinguistique aux Langues des Signes. Fluxus Éditions (Brest). doi: 10.36824/2024-bianchini Boutet D. 2018. Pour une approche kinésiologique de la gestualité : synthèse. Habilitation à diriger des recherches, Université de Rouen-Normandie. Boutet D., P. Doan, C. Danet, C.S. Bianchini, T. Goguely, A. Contesse & M. Rébulard. 2018. Systèmes graphématiques et écritures des langues signées. Signata, 9: 391-426. doi: 10.4000/signata.1684 Chevrefils L., C. Danet, P. Doan, C. Thomas, M. Rébulard, A. Contesse, J.-F. Dauphin & C.S. Bianchini. 2021. The body between meaning and form: kinesiological analysis and typographical representation of movement in Sign Languages. Languages and Modalities, 1(1): 49-63. doi: 10.3897/lamo.1.68149 Chevrefils L. 2022. Formalisation et modélisation du mouvement en Langue des Signes Française : pour une approche kinésio-linguistique des productions gestuelles. Thèse de doctorat, Université de Rouen-Normandie. Danet C., D. Boutet, P. Doan, C.S. Bianchini, A. Contesse, L. Chèvrefils, M. Rébulard, C. Thomas, J.‑F. Dauphin. 2021. Transcribing sign languages with TYPANNOT: the typographic system that retains and displays layers of information. Grapholinguistics and its applications, 5(2): 1009-1037. doi: 10.36824/2020-graf-dane Goldin-Meadow S., D. Brentari. 2017. Gesture, sign, and language: the coming of age of sign language and gesture studies. Behavioral and Brain Sciences, 40(2): e46. doi: 10.1017/S0140525X15001247 Johnson R. & S. Liddell. 2011. A segmental framework for representing signs phonetically. Sign Language Studies, 11(3): 408-463. Millet A. 2019. Grammaire descriptive de la langue des signes française : dynamiques iconiques et linguistique générale. UGA Éditions (Grenoble). doi: 10.4000/books.ugaeditions.15959

Les Langues des Signes Les Langues des Signes (LS) sont produites par la mise en mouvement du corps du signeur : des pieds au bout des doigts en passant par les bras, la tête et le visage. Ces articulateurs agissent de manière coordonnée pour produire du sens, mais leurs actions peuvent avoir lieu de manière simultanée ou non. Les différentes façons dont les articulateurs se déploient dans le temps impactent le sens véhiculé par les signes. C’est principalement en raison de cette nature corporelle, multilinéaire et fortement inscrites dans une dynamique temporelle que, historiquement, les LS semblent résister aux tentatives de les doter d’une forme de transcription efficace et exhaustive. Problèmes de transcription La transcription du mouvement constitue notamment un défi majeur. Premièrement parce qu’il est considéré comme étant particulièrement complexe (Millet, 2019; Chevrefils et al., 2021). Certaines approches ont, de ce fait, exclu l’analyse systématique du mouvement, ou ont privilégié les mains et la trajectoire qu’elles “dessinent” dans l’espace, ou encore ont réduit le mouvement à une suite de postures (Johnson & Liddell, 2011). Le mouvement est d’ailleurs, encore aujourd’hui, l’élément constitutif des signes le moins décrit dans la littérature (Goldin-Meadow & Brentari, 2015). Et deuxièmement parce que la multilinéarité du mouvement se heurte aux contraintes typographiques des logiciels de traitement de données linguistiques, dans lesquels la transcription doit s’inscrire dans un espace de type linéaire (Bianchini, 2021). Ces difficultés impactent la capacité des linguistes à transcrire ces langues et donc à mettre au centre de leurs recherches l’analyse de la forme signifiante des signes (Bianchini, 2021). Notre modèle de description du corps Le projet Typannot (Boutet et al., 2018) en s’inscrivant dans l’approche kinésiologique (Boutet, 2018), se confronte pleinement à la multilinéarité du mouvement et à l’inscription temporelle linéaire des signes en proposant un modèle de description des LS couplée à un système de transcription typographique de ces dernières. Il cherche à être au plus près de la réalisation dynamique des signes en proposant une phonologie articulaire fondée sur des notions de biomécanique. Le modèle de description de Typannot co-articule dans le temps deux éléments fondamentaux que sont la posture et le mouvement (Chevrefils, 2022). Dans la posture le corps est décomposé en différents systèmes articulatoires : partie centrale du corps, haut et bas du visage, membres supérieurs, doigts et membres inférieurs. Elle permet de rendre compte, entre autres, des segments et des degrés de liberté impliqués, ainsi que des relations qui lient les segments. Pour le mouvement, la description porte sur les transformations de ces postures en termes de variation de degrés de libertés des segments impliqués (Bianchini et al., 2018). Ces variations sont inscrites dans le temps et définies par leur amplitude et leur vitesse, tout en tenant compte des contraintes corporelles (coordination et contacts entre les segments, etc.) et externes (pointages, préhensions, etc.) pouvant participer au déploiement du mouvement. Notre système de transcription Le modèle descriptif proposé donne naissance au système de transcription typographique Typannot (Danet et al., 2021; Bianchini, 2024). Qu’il s’agisse des postures ou des mouvements, les informations sont organisées dans une formule graphématique, autrement dit un ensemble de graphèmes syntaxiquement organisés. Ces formules se conforment à une structuration et à des composantes graphématiques communes, tout en rendant compte des particularités de chaque système articulatoire. Au regard de la complexité du mouvement et des limites typographiques des outils d’analyse linguistique, la temporalité nécessite une prise en compte particulière dans la formule du mouvement. Celle-ci présente donc un système de regroupements et d’étiquetage qui permet d’organiser de manière logique et chronologique des variations de degrés de libertés. L’organisation syntaxique et le design typographique de la formule sont conçus pour assurer la lisibilité des données et leur requêtabilité, tout en représentant de manière linéaire la coordination entre les différents articulateurs, que leurs actions aient lieu simultanément ou pas. Une description d’ordre articulatoire comme celle proposée par Typannot permet d’apporter une réponse à la difficulté de modélisation du mouvement corporel, tout en prenant en compte les contraintes typographiques d’ordre technologique qui impactent la transcription des LS. Références Bianchini C.S., L. Chèvrefils, C. Danet, P. Doan, M. Rébulard, A. Contesse & D. Boutet. 2018. Coding movement in sign languages: the Typannot approach. Proc. 5th Intl Conf. on Movement and Computing (MoCo'18), sect. 1 (9): 1-8. doi: 10.1145/3212721.3212808 Bianchini C.S. 2021. Written representation of Sign Languages: issues (still) to be addressed. CORELA - COgnition, REprésentation, LAngage, 19(2): 1-37. doi: 10.4000/corela.13190 Bianchini C.S. 2024. (D)écrire les Langues des Signes : une approche grapholinguistique aux Langues des Signes. Fluxus Éditions (Brest). doi: 10.36824/2024-bianchini Boutet D. 2018. Pour une approche kinésiologique de la gestualité : synthèse. Habilitation à diriger des recherches, Université de Rouen-Normandie. Boutet D., P. Doan, C. Danet, C.S. Bianchini, T. Goguely, A. Contesse & M. Rébulard. 2018. Systèmes graphématiques et écritures des langues signées. Signata, 9: 391-426. doi: 10.4000/signata.1684 Chevrefils L., C. Danet, P. Doan, C. Thomas, M. Rébulard, A. Contesse, J.-F. Dauphin & C.S. Bianchini. 2021. The body between meaning and form: kinesiological analysis and typographical representation of movement in Sign Languages. Languages and Modalities, 1(1): 49-63. doi: 10.3897/lamo.1.68149 Chevrefils L. 2022. Formalisation et modélisation du mouvement en Langue des Signes Française : pour une approche kinésio-linguistique des productions gestuelles. Thèse de doctorat, Université de Rouen-Normandie. Danet C., D. Boutet, P. Doan, C.S. Bianchini, A. Contesse, L. Chèvrefils, M. Rébulard, C. Thomas, J.‑F. Dauphin. 2021. Transcribing sign languages with TYPANNOT: the typographic system that retains and displays layers of information. Grapholinguistics and its applications, 5(2): 1009-1037. doi: 10.36824/2020-graf-dane Goldin-Meadow S., D. Brentari. 2017. Gesture, sign, and language: the coming of age of sign language and gesture studies. Behavioral and Brain Sciences, 40(2): e46. doi: 10.1017/S0140525X15001247 Johnson R. & S. Liddell. 2011. A segmental framework for representing signs phonetically. Sign Language Studies, 11(3): 408-463. Millet A. 2019. Grammaire descriptive de la langue des signes française : dynamiques iconiques et linguistique générale. UGA Éditions (Grenoble). doi: 10.4000/books.ugaeditions.15959

Domaines

Fichier principal
Vignette du fichier
4C C066 2024-poster Grafematik Venezia_II (tutti).pdf (86.57 Ko) Télécharger le fichier

Dates et versions

hal-05237313 , version 1 (03-09-2025)

Licence

Identifiants

  • HAL Id : hal-05237313 , version 1

Citer

Claire Danet, Léa Chevrefils, Claudia S. Bianchini, Morgane Rébulard, Adrien Contesse, et al.. Describing movement in sign language: from the multilinearity of the body to the linearity of the transcription. G21C2024 Grapholinguistics in the 21st century [Grafematik2024], Oct 2024, Venezia, Italy. ⟨hal-05237313⟩
469 Consultations
91 Téléchargements

Partager

  • More