Recherche locale de politique dans un espace convexe - UMI 2958 - Axe de recherche : Computer Science Accéder directement au contenu
Article Dans Une Revue Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle Année : 2015

Recherche locale de politique dans un espace convexe

Résumé

En apprentissage par renforcement, la recherche locale de politique est une approche classique permettant de prendre en compte de grands espaces d'état. Formellement, elle consiste à chercher localement dans un espace de politiques paramétrées la solution qui va maximiser la fonction de valeur associée, moyennée selon une loi prédéfinie sur les états. La première contribution de cet article montre que si l'espace de politiques est convexe, \emph{tout optimum local} (approché) présente une \emph{garantie globale de performance}. Malheureusement, supposer la convexité de l'espace de recherche est une hypothèse forte : elle n'est pas satisfaite par les représentations usuelles des politiques et définir une paramétrisation non triviale qui satisfasse cette propriété est difficile. Une solution naturelle pour palier ce problème est d'optimiser la fonction objectif associée grâce à une montée de gradient fonctionnel, la recherche étant contrainte à l'enveloppe convexe de l'espace de politiques. Il s'avère que l'algorithme résultant est une légère généralisation du schéma d'itération conservative de la politique. Ainsi, notre seconde contribution consiste à souligner cette connexion originale entre recherche locale de politique et programmation dynamique approchée.
Fichier principal
Vignette du fichier
ria_lps_hal_v2.pdf (602.76 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01275247 , version 1 (08-03-2016)

Identifiants

Citer

Bruno Scherrer, Matthieu Geist. Recherche locale de politique dans un espace convexe. Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, 2015, 29 (6), pp.685-704. ⟨10.3166/RIA.29.685-706⟩. ⟨hal-01275247⟩
160 Consultations
148 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More