Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise - Archive ouverte HAL
Pré-Publication, Document De Travail Année : 2024

Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise

Analyse complète des erreurs des algorithmes d'apprentissage du gradient politique pour un problème exploratoire de contrôle de champ moyen quadratique linéaire en temps continu avec un bruit commun

Résumé

We consider reinforcement learning (RL) methods for finding optimal policies in linear quadratic (LQ) mean field control (MFC) problems over an infinite horizon in continuous time, with common noise and entropy regularization. We study policy gradient (PG) learning and first demonstrate convergence in a model-based setting by establishing a suitable gradient domination condition. Next, our main contribution is a comprehensive error analysis, where we prove the global linear convergence and sample complexity of the PG algorithm with two-point gradient estimates in a model-free setting with unknown parameters. In this setting, the parameterized optimal policies are learned from samples of the states and population distribution. Finally, we provide numerical evidence supporting the convergence of our implemented algorithms.
Nous analysons des méthodes d'apprentissage par renforcement (RL) pour trouver des politiques optimales dans des problèmes de contrôle de champ moyen (MFC) quadratique linéaire (LQ) sur un horizon infini en temps continu, avec une régularisation commune du bruit et de l'entropie. Nous étudions l'apprentissage par gradient politique (PG) et démontrons d'abord la convergence dans un contexte basé sur un modèle en établissant une condition de domination de gradient appropriée. Ensuite, notre principale contribution est une analyse d'erreur complète, dans laquelle nous prouvons la convergence linéaire globale et la complexité de l'échantillon de l'algorithme PG avec des estimations de gradient à deux points dans un environnement sans modèle avec des paramètres inconnus. Dans ce contexte, les politiques optimales paramétrées sont apprises à partir d’échantillons d’États et de répartition de la population. Enfin, nous fournissons des preuves numériques soutenant la convergence de nos algorithmes implémentés.
Fichier principal
Vignette du fichier
Frikha_Pham_Son_Error_Analysis_MFC.pdf (1.02 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04665587 , version 1 (31-07-2024)

Identifiants

Citer

Noufel Frikha, Huyên Pham, Xuanye Song. Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise. 2024. ⟨hal-04665587⟩
24 Consultations
18 Téléchargements

Altmetric

Partager

More