Statistical efficiency of Thompson sampling for combinatorial semi-bandits - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2020

Statistical efficiency of Thompson sampling for combinatorial semi-bandits

Jean-Bastien Grill
  • Fonction : Auteur
  • PersonId : 1105609
Florent Altché
  • Fonction : Auteur
  • PersonId : 1105610
Corentin Tallec
  • Fonction : Auteur
  • PersonId : 1092021
Florian Strub
  • Fonction : Auteur
  • PersonId : 1105611
Andrew Brock
  • Fonction : Auteur
Samuel Smith
  • Fonction : Auteur
Soham De
  • Fonction : Auteur
Razvan Pascanu
  • Fonction : Auteur
Bilal Piot
  • Fonction : Auteur
Michal Valko

Résumé

We investigate stochastic combinatorial multi-armed bandit with semi-bandit feedback (CMAB). In CMAB, the question of the existence of an efficient policy with an optimal asymptotic regret (up to a factor poly-logarithmic with the action size) is still open for many families of distributions, including mutually independent outcomes, and more generally the multivariate sub-Gaussian family. We propose to answer the above question for these two families by analyzing variants of the Combinatorial Thompson Sampling policy (CTS). For mutually independent outcomes in $[0,1]$, we propose a tight analysis of CTS using Beta priors. We then look at the more general setting of multivariate sub-Gaussian outcomes and propose a tight analysis of CTS using Gaussian priors. This last result gives us an alternative to the Efficient Sampling for Combinatorial Bandit policy (ESCB), which, although optimal, is not computationally efficient.
Fichier principal
Vignette du fichier
richemond2020byol.pdf (257.04 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03288983 , version 1 (16-07-2021)

Identifiants

Citer

Pierre H Richemond, Jean-Bastien Grill, Florent Altché, Corentin Tallec, Florian Strub, et al.. Statistical efficiency of Thompson sampling for combinatorial semi-bandits. Neural Information Processing Systems Conference, Dec 2020, Virtual, France. ⟨hal-03288983⟩
51 Consultations
48 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More