Learned Reference-based Diffusion Sampler for multi-modal distributions
Échantillonneur de diffusion basé sur des références apprises pour les distributions multimodales
Résumé
Over the past few years, several approaches utilizing score-based diffusion have been proposed to sample from probability distributions, that is without having access to exact samples and relying solely on evaluations of unnormalized densities. The resulting samplers approximate the time-reversal of a noising diffusion process, bridging the target distribution to an easy-to-sample base distribution. In practice, the performance of these methods heavily depends on key hyperparameters that require ground truth samples to be accurately tuned. Our work aims to highlight and address this fundamental issue, focusing in particular on multimodal distributions, which pose significant challenges for existing sampling methods. Building on existing approaches, we introduce Learned Reference-based Diffusion Sampler (LRDS), a methodology specifically designed to leverage prior knowledge on the location of the target modes in order to bypass the obstacle of hyperparameter tuning. LRDS proceeds in two steps by (i) learning a reference diffusion model on samples located in high-density space regions and tailored for multimodality, and (ii) using this reference model to foster the training of a diffusion-based sampler. We experimentally demonstrate that LRDS best exploits prior knowledge on the target distribution compared to competing algorithms on a variety of challenging distributions.
Au cours des dernières années, plusieurs approches utilisant la diffusion basée sur le score ont été proposées pour échantillonner des distributions de probabilité, c'est-à-dire sans avoir accès à des échantillons exacts et en s'appuyant uniquement sur des évaluations de densités non normalisées. Les échantillonneurs qui en résultent se rapprochent de l'inversion temporelle d'un processus de diffusion du bruit, faisant le lien entre la distribution cible et une distribution de base facile à échantillonner. Dans la pratique, les performances de ces méthodes dépendent fortement d'hyperparamètres clés qui nécessitent des échantillons exacts pour être ajustées avec précision. Notre travail vise à mettre en évidence et à traiter cette question fondamentale, en se concentrant en particulier sur les distributions multimodales, qui posent des défis significatifs pour les méthodes d'échantillonnage existantes. En s'appuyant sur les approches existantes, nous introduisons l'échantillonneur de diffusion basé sur la référence apprise (LRDS), une méthodologie spécifiquement conçue pour exploiter les connaissances préalables sur l'emplacement des modes cibles afin de contourner l'obstacle de l'accord des hyperparamètres. Notre algorithme procède en deux étapes : (i) apprentissage d'un modèle de diffusion de référence sur des échantillons situés dans des régions à haute densité spatiale et adapté à la multimodalité, et (ii) utilisation de ce modèle de référence pour favoriser l'apprentissage d'un échantillonneur basé sur la diffusion. Nous démontrons expérimentalement que le LRDS exploite mieux les connaissances préalables sur la distribution cible que les algorithmes concurrents sur une variété de distributions difficiles.
Domaines
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |