From 'snippet-lects' to doculects and dialects: Leveraging neural representations of speech for placing audio signals in a language landscape
Résumé
XLSR-53, a multilingual model of speech, builds a vector representation from audio, which allows for a range of computational treatments. The experiments reported here use this neural representation to estimate the degree of closeness between audio files, ultimately aiming to extract relevant linguistic properties. We use max-pooling to aggregate the neural representations from a 'snippet-lect' (the speech in a 5-second audio snippet) to a 'doculect' (the speech in a given resource), then to dialects and languages. We use data from corpora of 11 dialects belonging to 5 less-studied languages. Similarity measurements between the 11 corpora bring out greatest closeness between those that are known to be dialects of the same language. The findings suggest that (i) dialect/language can emerge among the various parameters characterizing audio files and (ii) estimates of overall phonetic/phonological closeness can be obtained for a little-resourced or fully unknown language. The findings help shed light on the type of information captured by neural representations of speech and how it can be extracted from these representations.
Le modèle multilingue de parole XLSR-53 construit une représentation vectorielle à partir d'un signal audio, représentation qui se prête à des traitements informatiques innovants. Les expériences rapportées ici utilisent la représentation neuronale pour estimer le degré de proximité entre courts extraits audio, dans le but ultime de tirer de ces représentations des propriétés linguistiques. Nous utilisons un simple "max-pooling" pour agréger les représentations neuronales de "fragmentolectes" (la parole contenue dans un extrait audio de 5 secondes) pour progresser vers le niveau du "doculecte" (la parole contenue dans une ressource donnée), puis vers celui des dialectes et des langues. Nous utilisons des données provenant de corpus de 11 dialectes appartenant à 5 langues rares. Les mesures de similarité entre les 11 corpus font ressortir un degré plus élevé de proximité entre dialectes de la même langue. Les résultats suggèrent, d'une part que le dialecte/la langue peut émerger parmi les différents paramètres caractérisant les fichiers audio, et d'autre part, que des estimations de la proximité phonétique/phonologique globale peuvent être obtenues pour une langue peu documentée ou totalement inconnue. Les résultats contribuent à éclairer le type d'informations capturées par les représentations neuronales de la parole et la manière dont ces informations peuvent être extraites de ces représentations.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
