Expressivity transfer in deep learning based text-to-speech synthesis

Ajinkya Kulkarni

Résumé

Recently, text-to-speech (TTS) synthesis has gained immense success in the humancomputer interaction domain. Current TTS systems are monotonous due to the absence of expressivity. Expressivity in speech generally refers to suprasegmental speech characteristics represented by emotions, speaking styles, and the relationship between speech and gestures, facial expressions, etc. It seems likely that expressive speech synthesis provides the ability to improve the user experience with machines greatly. The development of an expressive TTS system heavily relies on the speech data used in training the system. The thesis aims at developing an expressive TTS system in a speaker's voice for which only neutral speech data is available. The main focus of the thesis is to investigate deep learning approaches for exploring the disentanglement of speaker information and expressivity in a multispeaker TTS setting. The scope of the work incorporates expressivity as an emotion attribute with well-defined emotion classes.We present various deep neural network architectures to create latent representations of speaker and expressivity in multispeaker TTS settings. During the expressivity transfer phase, representations from expressivity and speaker are used to interpolate for synthesizing expressive speech in desired speaker's voice. We present a deep metric learning framework for improving the latent representation of expressivity in a multispeaker TTS system setting, which results in improved expressivity transfer. The thesis work also investigates the expressivity transfer capability of probability density estimation based on deep generative models. The usage of deep generative models provides scalable modeling of complex, high-dimensional speech data and tractability of the system, resulting in high-quality speech synthesis.The evaluation of the proposed systems is a challenging aspect of the thesis, as no reference expressive speech data was available in the target speaker's voice. Therefore, we propose two subjective evaluation metrics, speaker MOS and expressive MOS, which indicate the performance of the framework to transfer the expressivity and the retention of the target speaker's voice. As it is a time-consuming process to conduct a subjective evaluation each time system is developed, we propose a cosine similarity-based evaluation metric to measure the strength of expressivity and the speaker's voice. The obtained results demonstrate the ability of the proposed work to transfer the expressivity with maintaining the overall quality of synthesized expressive speech in the target speaker's voice. It is hard to identify which neural network parameters represent the attributes of speaker characteristics and expressivity. Moreover, expressivity and speaker characteristics are bounded aspects of prosody parameters.

Bien que la synthèse de parole à partir du texte ait connu ces dernières années un immense succès dans le domaine de l’interaction homme-machine, les systèmes actuels sont perçus comme monotones en raison de l’absence d’expressivité. L’expressivité dans la parole réfère généralement aux caractéristiques suprasegmentales représentées par les émotions, les styles d’expression, les gestes et expressions faciales, etc. Une synthèse vocale expressive devrait permettre d’améliorer considérablement l’expérience utilisateur avec les machines. Le développement d’un système de synthèse de parole expressive dépend fortement des données vocales disponibles. Cette thèse vise à développer un système de synthèse de parole expressive dans la voix d’un locuteur pour lequel seules des données vocales neutres sont disponibles. L’objectif principal de la thèse est d’étudier des approches d’apprentissage profond pour explorer le désenchevêtrement des informations locuteur et d’expressivité dans un contexte de synthèse de parole multilocuteur. Le contexte d’application concerne l’expressivité en tant qu’émotion avec des classes d’émotion bien définies. Nous proposons différentes architectures de réseaux neuronaux profonds pour créer des représentations latentes du locuteur et de l’expressivité dans des configurations de synthèse de parole multilocuteurs. Pour le transfert de l’expressivité, les représentations de l’expressivité et du locuteur sont utilisées pour synthétiser la parole expressive dans la voix du locuteur souhaité. Nous utilisons également le critère multiclass N-Pair loss lors de l’apprentissage pour améliorer la représentation latente de l’expressivité (meilleure séparation des émotions dans l’espace latent), ce qui permet d’améliorer le transfert d’expressivité. Nous étudions également les modèles génératifs profonds permettant une modélisation tractable et évolutive de données vocales complexes et hautement dimensionnelles, ces modèles étant reconnus pour une synthèse vocale de haute qualité. Nous avons enrichi ces modèles pour étudier leur capacité de transfert d’expressivité. L’évaluation des systèmes proposés est difficile car aucune donnée de référence de parole expressive n’est disponible dans la voix du locuteur cible. Par conséquent, nous proposons deux mesures d’évaluation subjectives, le MOS expressivité et le MOS locuteur, qui indiquent les performances de transfert de l’expressivité et de rétention de la voix du locuteur cible. Nous proposons également une métrique d’évaluation objective basée sur la similarité en cosinus pour mesurer la pertinence de l’expressivité et de la voix du locuteur. Les résultats obtenus démontrent la capacité des approches proposées à transférer l’expressivité tout en maintenant la qualité globale de la parole expressive synthétisée dans la voix du locuteur cible. Cependant, l’identification des paramètres des réseaux neuronaux représentant explicitement les attributs des caractéristiques du locuteur et de l’expressivité reste difficile. Les caractéristiques d’expressivité et de locuteur sont des aspects conjoints de la prosodie.