Learning and controlling the source-filter representation of speech with a variational autoencoder - Archive ouverte HAL
Communication Dans Un Congrès Année : 2022

Learning and controlling the source-filter representation of speech with a variational autoencoder

Résumé

Comprendre et contrôler les représentations latentes dans les modèles génératifs profonds est un problème difficile mais important pour l’analyse, la transformation et la génération de divers types de données. Dans le traitement de la parole, s’inspirant des mécanismes anatomiques de la phonation, le modèle source-filtre considère que les signaux de parole sont produits à partir de quelques facteurs latents continus indépendants et physiquement interprétables, parmi lesquels la fréquence fondamentale et les formants sont de première importance. Dans ce travail, nous montrons que le modèle source-filtre de la production de la parole apparaît naturellement dans l’espace latent d’un autoencodeur variationnel (VAE) entraîné de manière non supervisée sur un ensemble de données de signaux de parole naturelle. En utilisant seulement quelques secondes de signaux étiquetés générés par un synthétiseur vocal artificiel, nous montrons expérimentalement que la fréquence fondamentale et les fréquences des formants sont encodées dans des sous-espaces orthogonaux de l’espace latent du VAE et nous développons une méthode faiblement supervisée pour contrôler de manière précise et indépendante ces facteurs de variation de la parole dans les sous- espaces latents appris. Sans nécessiter d’informations supplémentaires telles que du texte ou des données étiquetées manuellement, nous proposons un modèle génératif profond de spectrogrammes de parole qui est conditionné par la fréquence fondamentale et les fréquences des formants, et qui est appliqué à la transformation des signaux de parole.
Fichier non déposé

Dates et versions

hal-03603791 , version 1 (10-03-2022)

Identifiants

  • HAL Id : hal-03603791 , version 1

Citer

Samir Sadok, Simon Leglaive, Laurent Girin, Xavier Alameda-Pineda, Renaud Seguier. Learning and controlling the source-filter representation of speech with a variational autoencoder. CFA 2022 - 16ème Congrès Français d'Acoustique, Société Française d'Acoustique (SFA), Apr 2022, Marseille, France. ⟨hal-03603791⟩
384 Consultations
0 Téléchargements

Partager

More