Stein Boltzmann Sampling: A Variational Approach for Global Optimization - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2024

Stein Boltzmann Sampling: A Variational Approach for Global Optimization

Gaëtan Serré
Nicolas Vayatis
  • Fonction : Auteur
  • PersonId : 1134689

Résumé

In this paper, we introduce a new flow-based method for global optimization of continuous Sobolev functions, called Stein Boltzmann Sampling (SBS). Our method samples from the Boltzmann distribution, as it becomes asymptotically supported over the set of the minimizers of the function to be optimized. Candidate solutions are sampled via the Stein Variational Gradient Descent (SVGD) algorithm. We prove the asymptotic convergence of our method by introducing a novel framework of the SVGD theory, suitable for global optimization, that allows to address more general target distributions over a compact subset of $\mathbb{R}^d$. We present two SBS variants and provide a detailed comparison with several state-of-the-art global optimization algorithms on various benchmark functions, showing that SBS and its variants are highly competitive. Its design of our method, the theoretical results, and the experiments suggest that SBS is particularly well-suited to be used as a continuation for particles or distribution-based methods, conjointly with particles filtering strategies, to produce sharp approximations while making a good use of the budget.
Fichier principal
Vignette du fichier
SBS.pdf (4.38 Mo) Télécharger le fichier
2d-1.pdf (11.58 Ko) Télécharger le fichier
2d-2.pdf (13.05 Ko) Télécharger le fichier
2d-3.pdf (13.24 Ko) Télécharger le fichier
2d-4.pdf (13.08 Ko) Télécharger le fichier
Ackley_SBS.png (1.07 Mo) Télécharger le fichier
Ackley_SBS_particles.png (1.13 Mo) Télécharger le fichier
SBS_Boltzmann_good_sigma.pdf (41.97 Ko) Télécharger le fichier
SBS_Boltzmann_large_sigma.pdf (41.92 Ko) Télécharger le fichier
SBS_Boltzmann_small_sigma.pdf (38.78 Ko) Télécharger le fichier
ex-bad-kappa.pdf (11.67 Ko) Télécharger le fichier
fun_2.pdf (1.07 Mo) Télécharger le fichier
m_k_2d.pdf (12.93 Ko) Télécharger le fichier
perf_vs_k_Himmelblau.pdf (13.42 Ko) Télécharger le fichier
perf_vs_k_Holder Table.pdf (14.2 Ko) Télécharger le fichier
perf_vs_k_Holder Table.png (148.71 Ko) Télécharger le fichier
phi_0.pdf (205.09 Ko) Télécharger le fichier
phi_700.pdf (1.13 Mo) Télécharger le fichier
time_vs_evals_Himmelblau_ada-cma.pdf (14.13 Ko) Télécharger le fichier
time_vs_evals_Himmelblau_bayes-cma.pdf (13.86 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04442217 , version 1 (06-02-2024)
hal-04442217 , version 2 (15-02-2024)
hal-04442217 , version 3 (27-02-2024)
hal-04442217 , version 4 (11-03-2024)
hal-04442217 , version 5 (03-05-2024)

Identifiants

Citer

Gaëtan Serré, Argyris Kalogeratos, Nicolas Vayatis. Stein Boltzmann Sampling: A Variational Approach for Global Optimization. 2024. ⟨hal-04442217v5⟩
37 Consultations
51 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More