Stochastic Localization via Iterative Posterior Sampling
Localisation stochastique via échantillonnage itéré d'une distribution postérieure
Résumé
Building upon score-based learning, new interest in stochastic localization techniques has recently emerged. In these models, one seeks to noise a sample from the data distribution through a stochastic process, called observation process, and progressively learns a denoiser associated to this dynamics. Apart from specific applications, the use of stochastic localization for the problem of sampling from an unnormalized target density has not been explored extensively. This work contributes to fill this gap. We consider a general stochastic localization framework and introduce an explicit class of observation processes, associated with flexible denoising schedules. We provide a complete methodology, $\textit{Stochastic Localization via Iterative Posterior Sampling}$ (SLIPS), to obtain approximate samples of this dynamics, and as a by-product, samples from the target distribution. Our scheme is based on a Markov chain Monte Carlo estimation of the denoiser and comes with detailed practical guidelines. We illustrate the benefits and applicability of SLIPS on several benchmarks, including Gaussian mixtures in increasing dimensions, Bayesian logistic regression and a high-dimensional field system from statistical-mechanics.
En s'appuyant sur les méthodes basées sur la diffusion, un nouvel intérêt pour les techniques de localisation stochastique est apparu récemment. Dans ces modèles, on cherche à bruiter un échantillon de la distribution des données par un processus stochastique, appelé processus d'observation, et le débruiteur associé à cette dynamique est progressivement appris . En dehors d'applications spécifiques, l'utilisation de la localisation stochastique pour le problème de l'échantillonnage à partir d'une densité cible non normalisée n'a pas été largement explorée. Ce travail contribue à combler cette lacune. Nous considérons un cadre général de localisation stochastique et introduisons une classe explicite de processus d'observation, associés à des calendriers de débruitage flexibles. Nous fournissons une méthodologie complète, Stochastic Localization via Iterative Posterior Sampling (SLIPS), pour obtenir des échantillons approximatifs de cette dynamique et, par conséquent, des échantillons de la distribution cible. Notre schéma est basé sur une estimation Monte Carlo par chaîne de Markov du débruiteur et s'accompagne de directives pratiques détaillées. Nous illustrons les avantages et l'applicabilité de SLIPS sur plusieurs tâches, y compris les mélanges gaussiennes en dimensions croissantes, la régression logistique bayésienne et un système de champ à haute dimension utilisé en mécanique statistique.