Donner du sens aux Codecs Neuronaux : Interprétabilité des Tokens discrets produits pour des Signaux Vocaux
Résumé
L’émergence récente des codecs audio neuronaux représente un fort intérêt, notamment grâce à leur capacité à modéliser l'audio par des tokens acoustiques discrets à faible fréquence d’échantillonnage. Ces tokens acoustiques - compatibles avec l’utilisation de modèles de langage pour diverses tâches de traitement de contenu audio - ont été notamment conçus pour maximiser les capacités de reconstruction et de compression des données. Cependant, contrairement aux tokens sémantiques ils manquent encore d'interprétabilité. Ce travail propose une approche en deux étapes (analyse et synthèse) afin d’étudier le codage de l'information de la parole dans les tokens produits par différents codecs récemment introduits dans la littérature. Lors de la phase d'analyse, nous cherchons à comprendre comment les principaux attributs de la parole, tels que le contenu linguistique, l'identité du locuteur et la hauteur tonale, sont encodés dans les tokens des codecs neuronaux. Pour ce faire, nous exploitons un réseau AnCoGen pré-entraîné qui permet d'extraire les attributs de la parole à partir de la forme d'onde. Une fois la fréquence d’échantillonnage harmonisée, nous pouvons alors calculer l'information mutuelle entre les tokens acoustiques et ces attributs de parole. Cette étude montre alors que la première échelle des tokens capture bien le contenu sémantique, surtout lorsque de l'information sémantique y a été distillée, tandis que l’identité du locuteur est plus marquée sur les échelles résiduelles. Pour la phase de synthèse, le réseau AnCoGen est cette fois-ci entraîné pour être intégré en tant que plugin aux codecs, afin d’extraire directement les attributs de la parole à partir des tokens. Les résultats montrent que la méthode est efficace pour l'estimation de la hauteur et du contenu, mais aussi de l'identité du locuteur. Ces résultats ouvrent de nouvelles perspectives pour la compréhension, le contrôle et la génération de la parole dans le cadre des codecs neuronaux.