Analysis of Stochastic Algorithms for Sampling and Riemannian Approximation - Archive ouverte HAL
Thèse Année : 2023

Analysis of Stochastic Algorithms for Sampling and Riemannian Approximation

Analyse d'Algorithmes Stochastiques pour l'Échantillonnage et l'Approximation Riemannienne

Résumé

This thesis deals with the analysis of two stochastic algorithms: stochastic approximation on Riemannian manifolds and a Markov chain Monte Carlo method. For both algorithms, we extend the existing theory for a better understanding of the efficiency of these methods. In a first part, we focus on two frameworks for stochastic approximation on Riemannian manifolds. On the one hand, we examine the rate of convergence, by proving non-asymptotic bounds with weaker assumptions than before, as well as with a more flexible set of assumptions for the the noise. On the other hand, we take a close look at the the constant step-size case, in which we are interested in the convergence of the the stationary law of the Markov chain defined by the stochastic scheme. We perform an asymptotic decomposition with a bias-variance equilibrium, and a central limit theorem. We provide applications of our results on classical examples of Riemannian stochastic approximation. In a second part, we focus on the high dimensional behavior of a Markov chain Monte Carlo method which approximates the target distribution smoothly, in order to use its gradient to accelerate convergence. In the classical context of optimal scaling, we find behaviors similar to the existing theory for smooth distributions but new ones for distributions with a discontinuity in their derivative. We illustrate these results with simulations.
Cette thèse porte sur l'analyse de deux algorithmes stochastiques : l'approximation stochastique sur une variété riemannienne et une méthode de Monte Carlo par chaîne de Markov. Pour les deux algorithmes, nous étendons la théorie existante pour une meilleure compréhension de l'efficacité de ces méthodes. Dans une première partie, nous nous intéressons à deux cadres pour l'approximation stochastique sur une variété riemannienne. D'une part, nous examinons le taux de convergence, en mettant en place des majorations non-asymptotiques avec des hypothèses plus faibles qu'auparavant, ainsi qu'avec une modélisation plus souple du bruit. D'une autre part, on s'intéresse de près au cas du pas constant, dans lequel on s'intéresse à la convergence de la loi stationnaire de la chaîne de Markov définie par le schéma stochastique. On effectue une décomposition asymptotique avec un équilibre biais-variance, ainsi qu'un théorème central limite. Nous apportons des applications de nos résultats sur des exemples classiques du domaine. Dans une deuxième partie, on s'intéresse au comportement en grande dimension d'une méthode de Monte Carlo par chaîne de Markov qui approche la distribution cible de façon lisse, afin d'utiliser le gradient pour accélérer la convergence. Dans le contexte classique de l'échelonnement optimal, nous trouvons des comportements similaires à la théorie existante pour des distributions lisses mais nouveaux pour des distributions ayant une dérivée discontinue en un point. Nous illustrons ces résultats par des simulations.
Fichier principal
Vignette du fichier
120250_JIMENEZ_2023_archivage.pdf (11.46 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04214337 , version 1 (21-09-2023)
tel-04214337 , version 2 (21-02-2024)

Identifiants

  • HAL Id : tel-04214337 , version 2

Citer

Pablo Jiménez. Analysis of Stochastic Algorithms for Sampling and Riemannian Approximation. Machine Learning [stat.ML]. Institut Polytechnique de Paris, 2023. English. ⟨NNT : 2023IPPAX051⟩. ⟨tel-04214337v2⟩
107 Consultations
42 Téléchargements

Partager

More