Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise
Analyse complète des erreurs des algorithmes d'apprentissage du gradient politique pour un problème exploratoire de contrôle de champ moyen quadratique linéaire en temps continu avec un bruit commun
Résumé
We consider reinforcement learning (RL) methods for finding optimal policies in linear quadratic (LQ) mean field control (MFC) problems over an infinite horizon in continuous time, with common noise and entropy regularization. We study policy gradient (PG) learning and first demonstrate convergence in a model-based setting by establishing a suitable gradient domination condition.
Next, our main contribution is a comprehensive error analysis, where we prove the global linear convergence and sample complexity of the PG algorithm with two-point gradient estimates in a model-free setting with unknown parameters. In this setting, the parameterized optimal policies are learned from samples of the states and population distribution.
Finally, we provide numerical evidence supporting the convergence of our implemented algorithms.
Nous analysons des méthodes d'apprentissage par renforcement (RL) pour trouver des politiques optimales dans des problèmes de contrôle de champ moyen (MFC) quadratique linéaire (LQ) sur un horizon infini en temps continu, avec une régularisation commune du bruit et de l'entropie. Nous étudions l'apprentissage par gradient politique (PG) et démontrons d'abord la convergence dans un contexte basé sur un modèle en établissant une condition de domination de gradient appropriée.
Ensuite, notre principale contribution est une analyse d'erreur complète, dans laquelle nous prouvons la convergence linéaire globale et la complexité de l'échantillon de l'algorithme PG avec des estimations de gradient à deux points dans un environnement sans modèle avec des paramètres inconnus. Dans ce contexte, les politiques optimales paramétrées sont apprises à partir d’échantillons d’États et de répartition de la population. Enfin, nous fournissons des preuves numériques soutenant la convergence de nos algorithmes implémentés.
Mots clés
Mean-field control reinforcement learning linear-quadratic two-point gradient estimation Polyak-Lojasiewicz inequality gradient descent sample complexity
Mean-field control
reinforcement learning
linear-quadratic
two-point gradient estimation
Polyak-Lojasiewicz inequality
gradient descent
sample complexity
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|