Did somebody say ‘Gest-IT’? A pilot exploration of multimodal data management
Qui a dit ‘Gest IT’ ? Une étude pilote sur la gestion des données multimodales
Chi ha detto ‘Gest IT’? Uno studio pilota sulla gestione di dati multimodali
Résumé
The talk presents a pilot exploration of the construction, management and analysis of a multimodal corpus. Through a three layer annotation that provides orthographic, prosodic, and gestural transcriptions, the Gest IT resource allows to investigate the variation of gesture-making patterns in conversations between sighted people and people with visual impairment. After discussing the transcription methods and technical procedures employed in our study, we propose a unified CoNLL-U corpus and indicate our future steps.
La communication présente un pilote pour la construction, la gestion et l'analyse d'un corpus multimodal. Grâce à une annotation à trois niveaux qui fournit des transcriptions orthographiques, prosodiques et gestuelles, la ressource Gest IT permet d'étudier la variation des modèles de gestes dans les conversations entre personnes voyantes et personnes malvoyantes. Après avoir discuté des méthodes de transcription et des procédures techniques utilisées dans l’étude, on propose un corpus CoNLL-U unifié et indique les étapes futures.
La comunicazione presenta una ricerca pilota per la costruzione, la gestione e l’analisi di un corpus multimodale. Attraverso un'annotazione a tre livelli che fornisce trascrizioni ortografiche, prosodiche e gestuali, la risorsa Gest IT consente di indagare la variazione dei modelli di gestualità nelle conversazioni tra persone vedenti e persone con disabilità visiva. Dopo aver discusso i metodi di trascrizione e le procedure tecniche impiegate nello studio, viene proposto un corpus CoNLL-U unificato, indicando altresì i futuri sviluppi.