Mesure du niveau de proximité entre enregistrements audio et évaluation indirecte du niveau d'abstraction des représentations issues d'un grand modèle de langage - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Establishing degrees of closeness between audio recordings along different dimensions using large-scale cross-lingual models

Mesure du niveau de proximité entre enregistrements audio et évaluation indirecte du niveau d'abstraction des représentations issues d'un grand modèle de langage

Résumé

In the highly constrained context of low-resource language studies, we examine vector representations of speech from a pretrained model to determine their level of abstraction from the audio signal. We propose a new unsupervised method using ABX tests on audio recordings with carefully curated metadata to shed light on the type of information present in the representations. ABX tests determine whether the representations computed by a multilingual speech model encode a given characteristic. Three experiments are devised: one on room acoustics aspects, one on linguistic genre, and one on segmental phonetic aspects. The results confirm that the representations extracted from recordings with different linguistic/extra-linguistic characteristics differ along the same lines. Embedding more audio into a vector better discriminates extra-linguistic characteristics, whereas shorter snippets are better for distinguishing segmental information. The method is fully unsupervised, potentially opening up new avenues of research for comparative work on under-documented languages.
Nous explorons les représentations vectorielles de la parole à partir d'un modèle pré-entraîné pour déterminer leur niveau d'abstraction par rapport au signal audio. Nous proposons une nouvelle méthode non-supervisée exploitant des données audio ayant des métadonnées soigneusement organisées pour apporter un éclairage sur les informations présentes dans les représentations. Des tests \ABX déterminent si les représentations obtenues via un modèle de parole multilingue encodent une caractéristique donnée. Trois expériences sont présentées, portant sur la qualité acoustique de la pièce, le type de discours, ou le contenu phonétique. Les résultats confirment que les différences au niveau de caractéristiques linguistiques/extra-linguistiques d'enregistrements audio sont reflétées dans les représentations de ceux-ci. Plus la quantité d’audio par vecteur est importante, mieux elle permet de distinguer les caractéristiques extra-linguistiques. Plus elle est faible, et mieux nous pouvons distinguer les informations d'ordre phonétique/segmental. La méthode proposée ouvre de nouvelles pistes pour la recherche et les travaux comparatifs sur les langues peu dotées.
Fichier sous embargo
Vignette du fichier
fily2024mesurer_annexes.pdf (457.2 Ko) Télécharger le fichier
Fichier sous embargo
0 0 16
Année Mois Jours
Avant la publication
lundi 8 juillet 2024
Format Figure, Image
Origine Fichiers produits par l'(les) auteur(s)
Licence
Fichier sous embargo
lundi 8 juillet 2024
Connectez-vous pour demander l'accès au fichier

Dates et versions

hal-04583516 , version 1 (24-05-2024)

Licence

Identifiants

  • HAL Id : hal-04583516 , version 1

Citer

Maxime Fily, Guillaume Wisniewski, Séverine Guillaume, Gilles Adda, Alexis Michaud. Mesure du niveau de proximité entre enregistrements audio et évaluation indirecte du niveau d'abstraction des représentations issues d'un grand modèle de langage. JEP TALN RECITAL 2024, Association Française de la Communication Parlée (AFCP), Jul 2024, Toulouse, France. ⟨hal-04583516⟩
1 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More