Neural methods for speech processing: towards speech attributes disentanglement
Méthodes neuronales pour le traitement de la parole : vers le démêlage des attributs de la voix
Résumé
The past few years’ advances in deep learning have brought unprecedented performances in a wide range of tasks and modalities. An increasing number of close- to-human accuracy speech analysis (e.g., ASR, ASV) and near-natural speech generation (e.g., conversion, TTS) models are proposed. Such solutions are emerging in the industry and are reaching the public. Nevertheless, the growing complexity and size of neural networks are causing a significant lack of interpretability. Moreover, well- structured representations are, by design, not enforced. Hence, disentangled representations have emerged, which aim to prioritize representation structuring, related to data explanatory factors, hopefully aligned with human perceptions. Such a paradigm can be expected to properly recognize speech attributes (e.g., speaker identity, gender, and emotion), which may be leveraged for speech synthesis. However, disentanglement learning is a research topic still in its early stages, needing simple and synthetic data to be developed. Thus, this thesis endeavors to bridge the gap between speech processing and disentanglement, examining how state-of-the-art disentangling models can be leveraged to automatically recover speech attributes, and ultimately improve control over synthesized speech.
Les récentes avancées de l’apprentissage profond ont mené à des résultats sans précédent dans une grande variété de tâches et de modalités. Un nombre grandissant de systèmes parvenant à des performances proches de l’humain en ana- lyse (transcription, reconnaissance du locuteur) et en génération de la parole (conversion, synthèse vocale) sont proposés. De telles solutions émergent dans l’industrie, et commencent à atteindre le grand public. Cependant, la complexité et la taille grandissantes des réseaux de neurones induisent un manque important d’interprétabilité. De plus, les représentations profondes ne sont pas encouragées pour être structurées. C’est pourquoi l’apprentissage de représentations dites
démêlées a fait son apparition, et a pour priorité la structuration des représentations apprises, en rapport avec les facteurs génératifs des données, et si possible alignées avec la perception humaine. Un tel paradigme a le potentiel pour reconnaître les attributs de la parole (identité du locuteur, émotion), pouvant alors être exploité dans la synthèse vocale. À noter que le démêlage est encore un domaine de recherche récent, nécessitant des données simples et synthétiques pour être développé. Ainsi, cette thèse vise à combler le fossé entre le traitement de la parole et le démêlage, en exploitant des modèles de démêlage à l’état de l’art pour identifier les attributs de la parole de manière automatique, et à terme améliorer le contrôle de la synthèse vocale.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|