Learning the distribution with largest mean: two bandit frameworks - Archive ouverte HAL
Pré-Publication, Document De Travail Année : 2017

Learning the distribution with largest mean: two bandit frameworks

Résumé

Over the past few years, the multi-armed bandit model has become increasingly popular in the machine learning community, partly because of applications including online content optimization. This paper reviews two different sequential learning tasks that have been considered in the bandit literature ; they can be formulated as (sequentially) learning which distribution has the highest mean among a set of distributions, with some constraints on the learning process. For both of them (regret minimization and best arm identification) we present recent, asymptotically optimal algorithms. We compare the behaviors of the sampling rule of each algorithm as well as the complexity terms associated to each problem.
Le modèle stochastique dit de bandit à plusieurs bras soulève ces dernières années un grand intérêt dans la communauté de l'apprentissage automatique, du fait notamment de ses applications à l'optimisation de contenu sur le web. Cet article présente deux problèmes d'apprentissage séquentiel dans le cadre d'un modèle de bandit qui peuvent être formulés comme la découverte de la distribution ayant la moyenne la plus élevée dans un ensemble de distributions, avec certaines contraintes sur le processus d'apprentissage. Pour ces deux objectifs (minimisation du regret d'une part et identification du meilleur bras d'autre part), nous présentons des algorithmes optimaux, en un sens asymptotique. Nous comparons les stratégies d’échantillonnages employées par ces deux types d'algorithmes ainsi que les quantités caractérisant la complexité de chacun des problèmes.
Fichier principal
Vignette du fichier
ESAIM16.pdf (438.38 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01449822 , version 1 (30-01-2017)
hal-01449822 , version 2 (23-03-2017)
hal-01449822 , version 3 (06-11-2017)

Identifiants

Citer

Emilie Kaufmann, Aurélien Garivier. Learning the distribution with largest mean: two bandit frameworks. 2017. ⟨hal-01449822v2⟩
522 Consultations
946 Téléchargements

Altmetric

Partager

More