Article Dans Une Revue Journal of Machine Learning Research Année : 2025

Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability

Résumé

In this paper, we introduce a policy-gradient method for model-based reinforcement learning (RL) that exploits a type of stationary distributions commonly obtained from Markov decision processes (MDPs) in stochastic networks, queueing systems, and statistical mechanics. Specifically, when the stationary distribution of the MDP belongs to an exponential family that is parametrized by policy parameters, we can improve existing policy gradient methods for average-reward RL. Our key identification is a family of gradient estimators, called score-aware gradient estimators (SAGEs), that enable policy gradient estimation without relying on value-function estimation in the aforementioned setting. We show that SAGE-based policy-gradient locally converges, and we obtain its regret. This includes cases when the state space of the MDP is countable and unstable policies can exist. Under appropriate assumptions such as starting sufficiently close to a maximizer and the existence of a local Lyapunov function, the policy under SAGE-based stochastic gradient ascent has an overwhelming probability of converging to the associated optimal policy. Furthermore, we conduct a numerical comparison between a SAGE-based policy-gradient method and an actor–critic method on several examples inspired from stochastic networks, queueing systems, and models derived from statistical physics. Our results demonstrate that a SAGE-based method finds close–to–optimal policies faster than an actor–critic method.

Fichier principal
Vignette du fichier
paper.pdf (8.54 Mo) Télécharger le fichier
Example_1_Actor_critic_Admission_probability_lambda_0_7_k_3.png (549.47 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_0_7_k_0.png (439.57 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_0_7_k_1.png (366.92 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_0_7_k_100.png (278.6 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_0_7_k_1000.png (276.37 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_0_7_k_3.png (288.21 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_1_4_k_0.jpg (605.07 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_1_4_k_100.png (313.85 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_1_4_k_1000.png (314.46 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_1_4_k_2.png (325.79 Ko) Télécharger le fichier
Example_1_Asymptotic_reward_lambda_1_4_k_4.png (329.77 Ko) Télécharger le fichier
Example_1_SAGE_Admission_probability_lambda_0_7_k_3.png (501.83 Ko) Télécharger le fichier
Example_2_Actor_critic_n_4.png (1.06 Mo) Télécharger le fichier
Example_2_SAGE_n_100.png (879.1 Ko) Télécharger le fichier
Example_2_SAGE_n_20.png (1.2 Mo) Télécharger le fichier
Example_2_SAGE_n_4.png (986.22 Ko) Télécharger le fichier
Example_3_SAGE_Magnetization.png (487.02 Ko) Télécharger le fichier
Example_3_SAGE_Magnetization_run_1.png (204.79 Ko) Télécharger le fichier
Example_3_SAGE_Parameters_run_1.png (228.03 Ko) Télécharger le fichier
Example_3_SAGE_Reward.png (319.77 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte
Licence
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04329790 , version 1 (07-12-2023)
hal-04329790 , version 2 (14-06-2024)
hal-04329790 , version 3 (13-10-2025)

Licence

Identifiants

Citer

Céline Comte, Matthieu Jonckheere, Jaron Sanders, Albert Senen-Cerda. Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability. Journal of Machine Learning Research, 2025, 26 (132), pp.1-74. ⟨hal-04329790v3⟩
6097 Consultations
911 Téléchargements

Altmetric

Partager

  • More