Approche de Douglas-Rachford aléatoire par blocs appliquée à la régression logistique parcimonieuse - Archive ouverte HAL Access content directly
Conference Papers Year : 2017

Approche de Douglas-Rachford aléatoire par blocs appliquée à la régression logistique parcimonieuse

Abstract

We propose a stochastic optimization algorithm for logistic regression based on a randomized version of Douglas-Rachford splitting method. Our algorithm sweeps the training set by randomly selecting a mini-batch of data at each iteration, and it performs the update step by leveraging the proximity operator of the logistic loss, for which a closed-form expression is derived. Experiments carried out on standard datasets compare the efficiency of our algorithm to stochastic gradient-like methods.
Dans cet article, nous proposons un nouvel algorithme d'optimisation stochastique pour la régression logistique parcimonieuse, basé sur une version aléatoire par blocs de l'algorithme de Douglas-Rachford. Notre algorithme parcourt la base d'apprentissage en sélectionnant aléatoirement un bloc de données à chaque itération, puis réalise l'étape de mise à jour en utilisant l'opérateur proximal de la fonction de coût logistique, dont nous donnons une expression explicite. Les tests réalisés sur plusieurs jeux de données démontrent l'efficacité de notre algorithme par rapport aux méthodes de type gradient stochastique.
Fichier principal
Vignette du fichier
chouzenoux71_final.pdf (399.08 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-01634525 , version 1 (14-11-2017)

Identifiers

  • HAL Id : hal-01634525 , version 1

Cite

Giovanni Chierchia, Afef Cherni, Emilie Chouzenoux, Jean-Christophe Pesquet. Approche de Douglas-Rachford aléatoire par blocs appliquée à la régression logistique parcimonieuse. GRETSI 2017, Sep 2017, Juan les Pins, France. pp.1-4. ⟨hal-01634525⟩
370 View
173 Download

Share

Gmail Facebook Twitter LinkedIn More