Creating resources in French Cued Speech to facilitate access to oral language through written texts
Création de ressources en langue française parlée complétée pour faciliter l'accès à la langue orale via l'écrit
Résumé
Cued Speech (CS) is a communication system developed for deaf people to complement speech reading at the phonetic level with hands. This visual communication mode uses hand shapes in different placements near the face in combination with the mouth movements of speech to make the phonemes of spoken language look different from each other. It is used to acquire skills in reading, in lip reading and oral communication. The main goal is to allow deaf children to become proficient readers, reading being a fundamental skill at school.
Despite many studies demonstrating its benefits, there are few resources for Cued Speech. Therefore, this project aims to develop resources for learning and practicing CS. We propose to develop an augmented reality system that automatically places the representation of a coding hand on a video of a pre-recorded speaker. Automatic CS coding software and libraries of coded videos for educational purposes will thus be produced in full compliance with Open Science criteria. The automatic system will be trained with observations on a corpus of 4 hours of audio/video recordings (Bigi et al., 2022). The textual supports of the resource will come from the ANR ALECTOR project, specifically from the corpus of simplified texts (Gala et al. 2020).
La Langue française Parlée Complétée (LfPC ou Cued Speech) est un codage des sons via des informations visuelles : chaque son est représenté avec une forme de main pour une consonne et une position autour du visage pour une voyelle. La LfPC est utilisée par le public sourd et malentendant pour acquérir de bonnes compétences en lecture, en lecture labiale et en expression orale. Il permet notamment aux enfants sourds ou malentendants de devenir des bons lecteurs, compétence indispensable pour tous les apprentissages.
Malgré les nombreux travaux démontrant ses avantages, il n’existe que peu de ressources en LfPC. Aussi, ce projet vise à développer des ressources pour l’apprentissage et la pratique de la LfPC. Nous nous proposons de développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré. Un logiciel de codage automatique LfPC et des bibliothèques de vidéos codées à but pédagogique seront ainsi produits en respectant tous les critères de l’Open Science. Le système de codage sera développé sur la base d’observations d’un corpus de 4 heures d’enregistrement audio/vidéo (Bigi et al., 2022). Les supports textuels de la ressource seront issus du projet ANR ALECTOR, ce sont des textes simplifiés pour faciliter la lecture (Gala et al. 2020).
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|