Stochastic convex optimization from a continuous dynamical system perspective
Résumé
-Afin de résoudre des problèmes d'optimisation non contraints avec des objectives différentiables et convexes, et où le gradient est soumis à des erreurs, nous analysons le comportement des flots de type gradient sous des perturbations stochastiques. Plus précisément, nous étudions une équation différentielle stochastique où le terme de dérivé est l'opposé du gradient de la fonction objective, et le terme de diffusion est borné ou carré-intégrable. Dans ce contexte, sous des conditions de Lipschitz continuité du gradient, en plus d'assurer l'existence standard et l'unicité d'une solution, un premier résultat principal montre la convergence presque sûre de l'objectif et de la solution/processus vers un minimiseur. Nous menons ensuite une étude de complexité et établissons des taux de convergence ponctuels et ergodiques en espérance lorsque l'objective est convexe, fortement convexe ou vérifie (localement) l'inégalité de Polyak-Łojasiewicz. Cette dernière, qui implique une analyse locale, nécessite des arguments fins en théorie de la mesure.
Origine | Fichiers produits par l'(les) auteur(s) |
---|