Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs - Archive ouverte HAL
Communication Dans Un Congrès Année : 2020

Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs

Résumé

Dans le passé, les descripteurs contextuels pour la synthèse de la parole acoustique ont été étudiés pour l’entraînement des systèmes basés sur des HMMs. Dans ce travail, nous étudions l’impact de ces facteurs pour la synthèse de la parole audiovisuelle par DNNs. Nous analysons cet impact pour les trois aspects de la parole : la modalité acoustique, la modalité visuelle et les durées des phonèmes. Nous étudions également l’apport d’un entraînement joint et séparé des deux modalités acoustique et visuelle sur la qualité de la parole synthétique générée. Finalement, nous procédons à une validation croisée entre les résultats de la synthèse des différentes émotions. Cette validation croisée, nous a permis de vérifier la capacité des DNNs à apprendre des caractéristiques spécifiques à chaque émotion.
Fichier principal
Vignette du fichier
46.pdf (436.8 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte
Loading...

Dates et versions

hal-02798526 , version 1 (07-06-2020)
hal-02798526 , version 2 (18-06-2020)
hal-02798526 , version 3 (23-06-2020)

Licence

Identifiants

  • HAL Id : hal-02798526 , version 1

Citer

Sara Dahmani, Vincent Colotte, Slim Ouni. Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 31e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition), 2020, Nancy, France. pp.127-135. ⟨hal-02798526v1⟩
258 Consultations
158 Téléchargements

Partager

More