Planning in Markov Decision Processes with Gap-Dependent Sample Complexity - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2020

Planning in Markov Decision Processes with Gap-Dependent Sample Complexity

Anders Jonsson
  • Fonction : Auteur
  • PersonId : 1080036
Pierre Ménard
  • Fonction : Auteur
  • PersonId : 1022182
Omar D Domingues
  • Fonction : Auteur
  • PersonId : 1080037
Edouard Leurent
  • Fonction : Auteur
  • PersonId : 1038135
Michal Valko

Résumé

We propose MDP-GapE, a new trajectory-based Monte-Carlo Tree Search algorithm for planning in a Markov Decision Process in which transitions have a finite support. We prove an upper bound on the number of calls to the generative models needed for MDP-GapE to identify a near-optimal action with high probability. This problem-dependent sample complexity result is expressed in terms of the sub-optimality gaps of the state-action pairs that are visited during exploration. Our experiments reveal that MDP-GapE is also effective in practice, in contrast with other algorithms with sample complexity guarantees in the fixed-confidence setting, that are mostly theoretical.
Fichier principal
Vignette du fichier
MDPGapE_hal.pdf (659 Ko) Télécharger le fichier
budget.pdf (188.19 Ko) Télécharger le fichier
simple_regret.pdf (237.85 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-02863486 , version 1 (10-06-2020)
hal-02863486 , version 2 (25-10-2020)

Identifiants

  • HAL Id : hal-02863486 , version 2

Citer

Anders Jonsson, Emilie Kaufmann, Pierre Ménard, Omar D Domingues, Edouard Leurent, et al.. Planning in Markov Decision Processes with Gap-Dependent Sample Complexity. Neural Information Processing Systems, 2020, Vancouver, France. ⟨hal-02863486v2⟩
188 Consultations
153 Téléchargements

Partager

Gmail Facebook X LinkedIn More