Utilisation de codecs neuronaux pour le réhaussement de la parole à faible régime de données
Résumé
L'amélioration des signaux vocaux est une tâche primordiale pour le traitement du signal audio, notamment pour des applications de communication ou de restauration d'enregistrements. Cette amélioration concerne des objectifs de débruitage, de réhaussement et d'extension de bande passante, qui peuvent être appliqués pour la restauration "hors ligne" ou pour des applications de communications en temps réel dans des environnements bruyants exploitant des transducteurs à bande passante limitée. Ce travail propose l'utilisation des codecs neuronaux, qui représentent les signaux audio par des tokens discrets à faible fréquence d'échantillonnage, réduisant ainsi drastiquement la dimensionnalité de la tâche et facilitant la reconstruction de la parole débruitée. En ce sens, ceux-ci pourraient permettre une refonte des pipelines traditionnels d'amélioration de la parole par Deep Learning. Pour cela, nous avons sélectionné plusieurs codecs performants (DAC, SpeechTokenizer, BigCodec et Mimi) pour évaluer leur potentiel dans un pipeline d'extension de bande passante appliqué à la base de données Vibravox. Nos expérimentations montrent qu'une approche de fine-tuning de l'encodeur du codec neuronal par régression est efficace et suffisante pour améliorer la qualité de la parole dans un régime de faible données, et que l'ajout de modèles de langage ne semble pas apporter un gain suffisant dans ce contexte. Pour mieux comprendre l'impact du volume de données d'entraînement, nous explorons également une approche d'apprentissage virtuellement supervisé, où un dataset synthétique de plus grande taille que Vibravox est utilisé pour entraîner des modèles de langage afin de transformer des tokens dégradés en tokens "propres". Pour créer ce dataset synthétique, nous avons appliqué la dégradation présente dans Vibravox au dataset Librispeech français, en utilisant le réseau EBEN. Cette exploration vise à déterminer si un dataset plus volumineux, même imparfait, peut permettre aux modèles de langage de surpasser l'approche de fine-tuning par régression de l'encodeur des codecs neuronaux.