Load Balancing with Safe Reinforcement Learning
Equilibrage de charge avec un apprentissage par renforcement sûr
Résumé
Deep Reinforcement Learning (DRL) algorithms have recently made significant strides in improving network performance. Nonetheless, their practical use is still limited in the absence of safe exploration and safe decision-making. In the context of commercial solutions, reliable and safe-to-operate systems are of paramount importance. Taking this problem into account, we propose a safe learning-based load balancing algorithm for Software Defined-Wide Area Network (SD-WAN), which is empowered by Deep Reinforcement Learning (DRL) combined with a Control Barrier Function (CBF). It safely projects unsafe actions into feasible ones during both training and testing, and it guides learning towards safe policies. We successfully implemented the solution on GPU to accelerate training by approximately 110x times and achieve model updates for on-policy methods within a few seconds, making the solution practical. We show that our approach delivers near-optimal Quality-of-Service (QoS performance in terms of end-to-end delay while respecting safety requirements related to link capacity constraints.
Les algorithmes d’apprentissage par renforcement profond (DRL) ont récemment montré des progrès significatifs dans l’amélioration des performances des réseaux. Néanmoins, leur application reste limitée en l’absence d’exploration et de prise de décision sûres. Pour résoudre ce problème, nous proposons un algorithme d’équilibrage de charge sûr pour les réseaux définis par logiciel (SD-WAN), qui s’appuie sur de l’apprentissage par renforcement profond (DRL) combiné à une fonction de barrière de contrôle (CBF). Il projette heuristiquement les actions vers des actions sûres pendant l’entraînement et le test, et il guide l’apprentissage stochastique vers une politique sûre. Nous avons réussi à implémenter la solution sur GPU pour accélérer l’entraînement d’environ 110 fois et effectuer des mises à jour du modèle en quelques secondes, ce qui rend la solution déployable en pratique. Nous montrons que notre approche offre une qualité de service (QoS) quasi optimale en terme de latence de bout en bout, tout en respectant les exigences de la sûreté liées aux contraintes de capacité des liens.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|