Approche de Douglas-Rachford aléatoire par blocs appliquée à la régression logistique parcimonieuse
Résumé
We propose a stochastic optimization algorithm for logistic regression based on a randomized version of Douglas-Rachford splitting method. Our algorithm sweeps the training set by randomly selecting a mini-batch of data at each iteration, and it performs the update step by leveraging the proximity operator of the logistic loss, for which a closed-form expression is derived. Experiments carried out on standard datasets compare the efficiency of our algorithm to stochastic gradient-like methods.
Dans cet article, nous proposons un nouvel algorithme d'optimisation stochastique pour la régression logistique parcimonieuse, basé sur une version aléatoire par blocs de l'algorithme de Douglas-Rachford. Notre algorithme parcourt la base d'apprentissage en sélectionnant aléatoirement un bloc de données à chaque itération, puis réalise l'étape de mise à jour en utilisant l'opérateur proximal de la fonction de coût logistique, dont nous donnons une expression explicite. Les tests réalisés sur plusieurs jeux de données démontrent l'efficacité de notre algorithme par rapport aux méthodes de type gradient stochastique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...