Modélisation du geste communicatif et réalisation d'un signeur virtuel de phrases en langue des signes grançaise - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2000

Modélisation du geste communicatif et réalisation d'un signeur virtuel de phrases en langue des signes grançaise

Résumé

Within the framework of communicative gestures, sign language is the focus of our study, on account of the richness precisely awarded by its status of real language. We intend to elaborate a synthesis system of signed sentences from an intermediate textual representation that could be included in the global translation of written French into signs. From linguistically salient features, a formal grammar is proposed to specify signs, with the underlying principle of decomposition into formational primitives (hand configurations, movement, ...). The resulting hierarchic structure includes spatio-temporal features (body points, symmetry of the articulators, repetition) ; a specific study of speed profiles has lead besides to a precise model of sign dynamics. At the sentence level occur grammatical processes proper to getural languages : parametric signs allow us, in addition to describe generic lexical items, to overtake the mechanisms of localization and of pronominal reference. To mark clauses types, non-manual – especially facial – expressiveness is of major importance. The system has been implemented as a whole to result in the animation of a virtual signer. Obtaining natural configurations for the joints chains has required to develop a realistic model for the avatar, and dedicated inverse kinematics methods to orient and locate the hands. From the parser to the 3D generation module, the prototype is endowed with a graphical interface. As proves an illustrative example, it paves the way to a wide range of applications for which video is not suitable, taking advantage of the compact encoding and of the signs generation swiftness.
Dans le cadre du geste communicatif, la langue des signes française (LSF) constitue un sujet d'étude privilégié, par la richesse que lui confère précisément son statut de langue. Notre étude vise à obtenir un système de synthèse de phrases en LSF à partir d'une représentation textuelle intermédiaire, dans l'optique d'une traduction globale du français en signes. Issue des traits linguistiquement pertinents, une grammaire formelle est proposée pour spécifier le signe, avec pour principe la décomposition en primitives formationnelles (configurations manuelles, mouvement, ...). La description hiérarchique obtenue inclut des caractéristiques spatio-temporelles (points corporels, symétrie des articulateurs, répétition); une étude poussée des profils de vitesse a par ailleurs été effectuée pour représenter finement la dynamique du mouvement. Au niveau du discours interviennent les processus grammaticaux propres aux langues gestuelles : le paramétrage des signes permet, outre de décrire des items lexicaux génériques, de prendre en charge les mécanismes de localisation ou de référence pronominale. Afin de marquer le type de clause, l'expressivité non-manuelle – notamment faciale – est de première importance. Le système a été intégralement implanté pour aboutir à l'animation d'un signeur virtuel. L'exigence de configurations naturelles pour les chaînes articulaires a nécessité le développement d'un modèle réaliste pour l'avatar, et de méthodes spécifiques de cinématique inverse pour l'orientation et le positionnement manuels. L'ensemble, de l'analyseur syntaxique au module de génération graphique tridimensionnelle, constitue un prototype performant d'obtention de phrases signées. Doté d'une interface graphique, il laisse entrevoir (comme le prouve un exemple illustratif) toute une gamme d'applications pour lesquelles la vidéo n'est pas adaptée, tirant principalement profit de la compacité de l'encodage et de la rapidité avec laquelle sont produits les signes.
Fichier principal
Vignette du fichier
tel-00003332.pdf (2.92 Mo) Télécharger le fichier
tel-00003332.ppt (818.5 Ko) Télécharger le fichier
Format : Autre
Loading...

Dates et versions

tel-00003332 , version 1 (09-09-2003)

Identifiants

  • HAL Id : tel-00003332 , version 1

Citer

Olivier Losson. Modélisation du geste communicatif et réalisation d'un signeur virtuel de phrases en langue des signes grançaise. Interface homme-machine [cs.HC]. Université des Sciences et Technologie de Lille - Lille I, 2000. Français. ⟨NNT : ⟩. ⟨tel-00003332⟩
449 Consultations
515884 Téléchargements

Partager

Gmail Facebook X LinkedIn More