Apprentissage de variété riemannienne pour l'analyse-synthèse de signaux non stationnaires - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Learning a Riemannian manifold for the analysis-synthesis of nonstationary sounds

Apprentissage de variété riemannienne pour l'analyse-synthèse de signaux non stationnaires

Résumé

Computer sound matching poses an inverse problem, namely, the identification of resynthesis parameters. Borrowing from the differentiable digital signal processing (DDSP) framework, we propose to automate its resolution by training a deep neural network. In this context, we aim to reach a compromise between the computational efficiency of parametric loss (P-loss) versus the psychoacoustical fidelity of spectral loss. Our approach, named ``perceptual--neural--physical'' (PNP), estimates the Riemannian metric which is associated to the composition between parametric synthesis and time--frequency scattering. By doing so, we locally linearize spectral loss and accelerate convergence. Furthermore, resorting to Tikhonov regularization improves the conditioning of the inverse problem. On an analysis--synthesis task for musical arpeggios, PNP training outperforms state-of-the-art methods P-loss (wav2shape) and STFT-based DDSP, as measured in terms of JTFS-based similarity between reference signal and reconstructed signal.
La transformation de sons par ordinateur pose un problème inverse d'identification des paramètres de resynthèse adéquats. Empruntant au formalisme du traitement du signal différentiable (DDSP), nous proposons d'automatiser sa résolution par entrainement d'un réseau de neurones profond. Dans ce contexte, nous visons un compromis entre l'efficacité computationnelle de la perte paramétrique et la fidélité psychoacoustique de la perte spectrale. Notre approche, baptisée perceptuelle-neuronalephysique (PNP), consiste à estimer la métrique riemannienne associée à la composition entre synthèse paramétrique et diffusion temps-fréquence (JTFS). Ce faisant, nous linéarisons localement la perte spectrale et accélérons la convergence. De plus, le recours à une régularisation de Tikhonov améliore le conditionnement du problème inverse. Par rapport à l'état de l'art (wav2shape et DDSP), et pour une tâche difficile d'analyse-synthèse d'arpège musical, l'entrainement via PNP rapproche le signal reconstruit du signal de référence, d'après une mesure de similarité de timbre fondée sur la JTFS.
Fichier principal
Vignette du fichier
han2023gretsi.pdf (3.34 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04145714 , version 1 (29-06-2023)

Identifiants

  • HAL Id : hal-04145714 , version 1

Citer

Han Han, Vincent Lostanlen, Mathieu Lagrange. Apprentissage de variété riemannienne pour l'analyse-synthèse de signaux non stationnaires. XXIXème Colloque Francophone de Traitement du Signal et des Images (GRETSI 2023 ), Aug 2023, Grenoble, France. ⟨hal-04145714⟩
22 Consultations
35 Téléchargements

Partager

Gmail Facebook X LinkedIn More