Influence of speaker pre-training on character voice representation - Archive ouverte HAL Access content directly
Conference Papers Year : 2021

Influence of speaker pre-training on character voice representation

L'influence du pré-entrainement locuteur sur la représentation de voix de personnages

Abstract

Finding professional voice-actors for cultural productions is performed by a human operator and suffers from several difficulties. Researchers have therefore been interested for several years in mimicking the process of vocal casting to help human operators find new voices. However, voice casting appears to be an underdefined task with many difficulties. The main issue is that no label is available to accurately assess the performance of voice casting systems. To tackle these problems, recent works have focused on building a speech representation of acted voices able to highlight the character dimension. The proposed approach relies on an initial sequence extractor issued from a speaker recognition system which is able to represent a time variable speech sequence by a unique fixed-size vector, followed by a dedicated neural network where the character-based embedding, called p-vector, is extracted. It is legitimate to wonder if the sequence extractor is not guiding p-vectors too much towards speaker information. We then propose to study the impact of the speaker pre-training on the character representation learning. In comparison to a directly trained character representation, the results show that the use of a speaker pre-training provides more character information while retaining the speaker-independent part.
La recherche de doubleurs professionnels pour des productions culturelles est effectuée par un opérateur humain et souffre de plusieurs difficultés. Les chercheurs s'intéressent donc depuis plusieurs années à l'imitation du processus de casting vocal pour aider les opérateurs humains à trouver de nouvelles voix. Cependant, le casting vocal semble être une tâche mal définie qui présente de nombreuses difficultés. Le principal problème est qu'aucun label n'est disponible pour évaluer avec précision les performances des systèmes de casting vocal. Pour résoudre ces problèmes, des travaux récents ont porté sur la construction d'une représentation vocale des voix actées capable de mettre en évidence la dimension du personnage. L'approche proposée repose sur un extracteur de séquence initial issu d'un système de reconnaissance du locuteur, capable de représenter une séquence vocale variable dans le temps par un vecteur unique de taille fixe, suivi d'un réseau neuronal dédié où est extrait la représentation basée sur les personnages, appelée p-vecteur. Il est légitime de se demander si l'extracteur de séquence ne guide pas trop les p-vecteurs vers l'information du locuteur. Nous proposons alors d'étudier l'impact du pré-entraînement du locuteur sur l'apprentissage de la représentation des personnages. En comparaison avec une représentation de personnages directement entraînée, les résultats montrent que l'utilisation d'un pré-entraînement du locuteur fournit plus d'informations sur les personnages tout en conservant la partie indépendante du locuteur.
Fichier principal
Vignette du fichier
_SPECOM_2021__Influence_of_Speaker_pretraining.pdf (385.58 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03348578 , version 1 (19-09-2021)

Identifiers

  • HAL Id : hal-03348578 , version 1

Cite

Mathias Quillot, Jarod Duret, Richard Dufour, Mickael Rouvier, Jean-François Bonastre. Influence of speaker pre-training on character voice representation. 23rd International Conference on Speech and Computer (SPECOM), Sep 2021, Saint Petersburg, Russia. ⟨hal-03348578⟩
49 View
86 Download

Share

Gmail Facebook X LinkedIn More