Modélisation de la Parole avec Tacotron2 : Analyse acoustique et phonétique des plongements de caractère - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Language Modeling with Tacotron2: a Phonetic and Acoustic Analysis of Text Embeddings

Modélisation de la Parole avec Tacotron2 : Analyse acoustique et phonétique des plongements de caractère

Résumé

In recent years, deep learning breakthroughs met a huge success in automatic speech processing. However, the leap forward in performances is accompanied by a lack of interpretability and understandability of these new models. Nevertheless, statistical learning constitutes a valuable source of information about language if analyzed with the right tools and methodology. This paper presents a study of text embeddings computed by a state of the art synthesis model Tacotron2 trained on French data. Our analysis shows that this network is able to compute an in-context sequence of acoustic and phonetic targets from the given input sequence. Identification and localization of these acoustic parameters would enable a more natural control over the synthesis.
Les réseaux de neurones bouleversent depuis plusieurs années les applications de traitement automatique de la parole. Cependant, le bon de performances rendu possible par ces technologies se fait généralement au détriment de la compréhensibilité et de l'interprétabilité de ces nouveaux modèles. Pourtant, l'apprentissage statistique, au coeur de ces nouveaux usages, constitue une source potentielle d'informations importante sur le langage, à condition de réussir à identifier et localiser ces paramètres dans des réseaux de plusieurs millions de neurones. Ce papier propose une étude des plongements internes d'un modèle de synthèse vocale de type Tacotron2 entraîné sur le Français. Cette analyse suggère que le réseau apprend à représenter sa séquence d'entrée en une suite de cibles acoustiques et phonétiques, dépendantes de leur contexte. La mise en évidence de l'encodage de ces paramètres permet d'imaginer leur contrôle de manière plus naturelle.
Fichier principal
Vignette du fichier
Language_Modeling_Tacotron2_JEP_updated.pdf (11.54 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03727735 , version 1 (19-07-2022)

Identifiants

  • HAL Id : hal-03727735 , version 1

Citer

Martin Lenglet, Olivier Perrotin, Gérard Bailly. Modélisation de la Parole avec Tacotron2 : Analyse acoustique et phonétique des plongements de caractère. JEP 2022 - 34e Journées d’Études sur la Parole, Jun 2022, Noirmoutier, France. ⟨hal-03727735⟩
89 Consultations
21 Téléchargements

Partager

Gmail Facebook X LinkedIn More