Convergence d'un algorithme du gradient proximal stochastique à pas constant et généralisation aux opérateurs monotones aléatoires
Abstract
– L'algorithme du gradient proximal permet de trouver les minimiseurs d'une somme F + G de deux fonctions convexes propres et fermées, l'une étant supposée dérivable. Cet article introduit une version stochastique de cet algorithme. Les itérations font intervenir une suite iid de deux fonctions aléatoires, dont les espérances coïncident respectivement avec F et G, ainsi que des projections aléatoires sur des ensembles convexes fermés. L'objectif est de fournir une analyse de convergence, dans un contexte adaptatif où le pas de l'algorithme est supposé constant. On montre que, en moyenne de Césaro, la probabilité pour que les itérées soient hors d'un voisinage des minimiseurs souhaités est arbitrairement faible lorsque le nombre d'itérations tend vers l'infini, et dans la limite de pas faibles. Le comportement ergodique des itérées est également étudié. Enfin, l'algorithme est étendu au contexte plus général des opérateurs maximaux monotones aléatoires. Abstract – The proximal gradient algorithm allows to find the minimizers of a sum F + G of two proper closed convex functions, one of them being differentiable. This paper introduces a stochastic version of the proximal gradient algorithm. The iterations involve an iid sequence of two random functions, whose expectations coincide with F and G respectively, as well as random projections onto closed convex sets. The aim is to provide a convergence analysis in an adaptive context where the step size of the algorithm is constant. We prove that, in Césaro mean, the probability that the iterates are away from the sought minimizers is small when the number of iterations tends to infinity and in the limit of small step sizes. The ergodic behavior is studied as well. Finally, the algorithm is extended to the context of random maximal monotone operators.
Origin | Files produced by the author(s) |
---|
Loading...