Communication Dans Un Congrès Année : 2024

Did somebody say ‘Gest-IT’? A pilot exploration of multimodal data management

Qui a dit ‘Gest IT’ ? Une étude pilote sur la gestion des données multimodales

Chi ha detto ‘Gest IT’? Uno studio pilota sulla gestione di dati multimodali

Résumé

The talk presents a pilot exploration of the construction, management and analysis of a multimodal corpus. Through a three layer annotation that provides orthographic, prosodic, and gestural transcriptions, the Gest IT resource allows to investigate the variation of gesture-making patterns in conversations between sighted people and people with visual impairment. After discussing the transcription methods and technical procedures employed in our study, we propose a unified CoNLL-U corpus and indicate our future steps.

La communication présente un pilote pour la construction, la gestion et l'analyse d'un corpus multimodal. Grâce à une annotation à trois niveaux qui fournit des transcriptions orthographiques, prosodiques et gestuelles, la ressource Gest IT permet d'étudier la variation des modèles de gestes dans les conversations entre personnes voyantes et personnes malvoyantes. Après avoir discuté des méthodes de transcription et des procédures techniques utilisées dans l’étude, on propose un corpus CoNLL-U unifié et indique les étapes futures.

La comunicazione presenta una ricerca pilota per la costruzione, la gestione e l’analisi di un corpus multimodale. Attraverso un'annotazione a tre livelli che fornisce trascrizioni ortografiche, prosodiche e gestuali, la risorsa Gest IT consente di indagare la variazione dei modelli di gestualità nelle conversazioni tra persone vedenti e persone con disabilità visiva. Dopo aver discusso i metodi di trascrizione e le procedure tecniche impiegate nello studio, viene proposto un corpus CoNLL-U unificato, indicando altresì i futuri sviluppi.

Domaines

Fichier non déposé

Dates et versions

hal-05237451 , version 1 (03-09-2025)

Identifiants

Citer

Ludovica Pannitto, Lorenzo Albanesi, Laura Marion, Federica Maria Martines, Carmelo Caruso, et al.. Did somebody say ‘Gest-IT’? A pilot exploration of multimodal data management. 10th Italian conference on computational linguistics [CLiC-it 2024], Associazione italiana di linguistica computazionale (AILC), Dec 2024, Pisa, Italy. pp.#80, ⟨10.48550/arXiv.2410.15825⟩. ⟨hal-05237451⟩
41 Consultations
0 Téléchargements

Altmetric

Partager

  • More