Analysis of Stochastic Algorithms for Sampling and Riemannian Approximation
Analyse d'Algorithmes Stochastiques pour l'Echantillonnage et l'Approximation Riemannienne
Résumé
This thesis deals with the analysis of two stochastic algorithms: stochastic approximation on Riemannian manifolds and a Markov chain Monte Carlo method. For both algorithms, we extend the existing theory for a better understanding of the efficiency of these methods. In a first part, we focus on two frameworks for stochastic approximation on Riemannian manifolds. On the one hand, we examine the rate of convergence, by proving non-asymptotic bounds with weaker assumptions than before, as well as with a more flexible set of assumptions for
the noise. On the other hand, we take a close look at the constant step-size case, in which we are interested in the convergence of the stationary law the Markov chain defined by the stochastic scheme. We perform an asymptotic
ecomposition with a bias-variance equilibrium, and a central limit theorem. We provide applications of our results in classical examples of Riemannian stochastic approximation. In a second part, we focus on the high dimensional behavior of a Markov chain Monte Carlo method which approximates the target distribution smoothly, in order to use its gradient to accelerate convergence. In the classical context of optimal scaling, we find behaviors similar to
the existing theory for smooth distributions but new ones for distributions with a discontinuity in their derivative. We illustrate these results with simulations.
Cette thèse porte sur l’analyse de deux algorithmes stochastiques : l’approximation stochastique sur une variété riemannienne et une méthode de Monte Carlo par chaîne de Markov. Pour les deux algorithmes, nous étendons la
théorie existante pour une meilleure compréhension de l’efficacité de ces méthodes. Dans une première partie, nous nous intéressons à deux cadres pour l’approximation stochastique sur une variété riemannienne. D’une part, nous examinons le taux de convergence, en mettant en place des majorations non-asymptotiques avec des hypothèses plus faibles qu’auparavant, ainsi qu’avec une modélisation plus souple du bruit. D’une autre part, on s’intéresse de près au cas du pas constant, dans lequel on s’intéresse à la convergence de la loi stationnaire de la chaîne de Markov définie par le schéma stochastique. On effectue une décomposition asymptotique avec un équilibre biais-variance, ainsi qu’un théorème central limite. Nous apportons des applications de nos résultats sur des exemples classiques du domaine. Dans une deuxième partie, on s’intéresse au comportement en grande dimension d’une méthode de Monte Carlo par chaı̂ne de Markov qui approche la distribution cible de façon lisse, afin d’utiliser le gradient pour accélérer la convergence. Dans le contexte classique de l’échelonnement optimal, nous trouvons des comportements similaires à la théorie existante pour des distributions lisses mais nouveaux pour des distributions ayant une dérivée discontinue en un point. Nous illustrons ces résultats par des simulations.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
