Spoken Language Understanding in a multilingual context
Compréhension de la parole dans un contexte multilingue
Résumé
This thesis falls within the scope of Deep Learning applied to Spoken Language Understanding. Its primary objective is to leverage existing data of large resourced annotated languages for speech semantics to develop effective understanding systems in low resourced languages.
In recent years, significant advances were made in the field of automatic speech translation through new approaches that converge audio and textual modalities, the latter benefiting from vast amounts of data. By visualizing spoken language understanding as a translation task from a natural source language to a conceptual target language, we consider the SAMU-XLSR speech encoder, which generates a semantically enriched language-agnostic encoding. We demonstrate the positive impact of this type of encoder in an end-to-end speech understanding neural network and closely examine its linguistic and semantic encoding capabilities. This study continues with the specialization of its enrichment, aiming to direct its encoding towards the semantic domain of the French MEDIA, Italian PortMEDIA, and Tunisian TARIC-SLU tasks. A dual specialization is proposed to preserve the encoder’s ability to generate certain semantic abstractions while limiting the loss of its cross-lingual abilities during the usual fine-tuning phase of the model on the final task. Our contributions participated in improving state-of-the-art in portability between languages and domains for MEDIA, PortMEDIA, and TARIC-SLU datasets.
The SpeechBrain project has played a crucial role in implementing our experiments. We contributed to this open-source project by integrating an exhaustive recipe for the MEDIA benchmark into its official distribution.
Cette thèse s’inscrit dans le cadre de l’Apprentissage Profond appliqué au domaine de la Compréhension Automatique de la Parole. Son objectif principal consiste à tirer bénéfice de données existantes dans des langues bien dotées en annotation sémantique de la parole afin de développer des systèmes de compréhension performants dans des langues moins dotées.
Ces dernières années ont connu des avancées considérables dans le domaine de la traduction automatique de la parole grâce à de nouvelles approches permettant de faire converger les modalités audio et textuelle, cette dernière disposant de vastes quantités de données. Associant la compréhension de la parole à une traduction depuis une langue source naturelle vers une langue cible conceptuelle, nous considérons l’encodeur de parole SAMU-XLSR dont l’encodage enrichi sémantiquement est agnostique à la langue. Nous montrons l’impact positif de ce type d’encodeur dans un modèle neuronal de compréhension de la parole de bout-en-bout et étudions finement ses capacités d’encodage linguistique et sémantique. Cette étude se poursuit par la spécialisation de l’enrichissement de cet encodeur, dans l’objectif d’orienter son encodage vers le domaine sémantique des ensembles de données françaises MEDIA, italiennes PortMEDIA et tunisiennes TARIC-SLU. Une double spécialisation est proposée afin de préserver la faculté de l’encodeur à générer certaines abstractions sémantiques tout en limitant la perte de ses capacités cross-lingues pendant la phase classique de fine-tuning du modèle sur la tâche finale. Nos contributions ont permis de faire avancer l’état-de-l’art de la portabilité entre langues et domaines pour les ensembles de données MEDIA, PortMEDIA et TARIC-SLU.
Le projet SpeechBrain a été déterminant pour l’implémentation de nos expérimentations. Nous avons apporté notre contribution à ce projet open-source par l’intégration dans sa distribution officielle d’une recette complète pour l’ensemble de données MEDIA.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
