On Sampling with Approximate Transport Maps - Archive ouverte HAL
Communication Dans Un Congrès Année : 2023

On Sampling with Approximate Transport Maps

Sur l'échantillonnage avec des plans de transport approchés

Résumé

Transport maps can ease the sampling of distributions with non-trivial geometries by transforming them into distributions that are easier to handle. The potential of this approach has risen with the development of Normalizing Flows (NF) which are maps parameterized with deep neural networks trained to push a reference distribution towards a target. NF-enhanced samplers recently proposed blend (Markov chain) Monte Carlo methods with either (i) proposal draws from the flow or (ii) a flow-based reparametrization. In both cases, the quality of the learned transport conditions performance. The present work clarifies for the first time the relative strengths and weaknesses of these two approaches. Our study concludes that multimodal targets can be reliably handled with flow-based proposals up to moderately high dimensions. In contrast, methods relying on reparametrization struggle with multimodality but are more robust otherwise in high-dimensional settings and under poor training. To further illustrate the influence of target-proposal adequacy, we also derive a new quantitative bound for the mixing time of the Independent Metropolis-Hastings sampler.
Les plans de transport peuvent faciliter l'échantillonnage de distributions à géométrie non-triviale en les transformant en distributions plus faciles à manipuler. Le potentiel de cette approche s'est accru avec le développement des Normalizing Flows (NF), qui sont des plans de transport paramétrés avec des réseaux neuronaux profonds entraînés à transformer une distribution de référence vers une cible. Les échantillonneurs améliorés par les NFs ont permis le développement de méthodes de Monte Carlo mixtes avec (i) des tirages de propositions à partir du flow ou (ii) une reparamétrisation basée sur le flow. Dans les deux cas, la qualité du transport appris conditionne les performances. Le présent travail clarifie pour la première fois les forces et les faiblesses relatives de ces deux approches. Notre étude conclut que les cibles multimodales peuvent être traitées de manière fiable avec des propositions basées sur le flow jusqu'à des dimensions modérément élevées. En revanche, les méthodes reposant sur la reparamétrisation ont du mal à gérer la multimodalité, mais sont plus robustes dans les contextes à haute dimension et en cas d'entraînement médiocre. Pour illustrer davantage l'influence de l'adéquation des propositions de cibles, nous dérivons également une nouvelle limite quantitative pour le temps de mélange de l'échantillonneur indépendant de Metropolis-Hastings.
Fichier principal
Vignette du fichier
2302.04763.pdf (8.29 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04403178 , version 1 (18-01-2024)

Identifiants

Citer

Louis Grenioux, Alain Oliviero Durmus, Éric Moulines, Marylou Gabrié. On Sampling with Approximate Transport Maps. 40th International Conference on Machine Learning, Jul 2023, Honolulu, United States. pp.11698-11733. ⟨hal-04403178⟩
36 Consultations
26 Téléchargements

Altmetric

Partager

More