Building a Subspace of Policies for Scalable Continual Learning - Archive ouverte HAL Access content directly
Conference Papers Year : 2023

Building a Subspace of Policies for Scalable Continual Learning

Construire un sous-espace de politiques pour l'apprentissage continu évolutif

Abstract

The ability to continuously acquire new knowledge and skills is crucial for autonomous agents. Existing methods are typically based on either fixed-size models that struggle to learn a large number of diverse behaviors, or growing-size models that scale poorly with the number of tasks. In this work, we aim to strike a better balance between an agent's size and performance by designing a method that grows adaptively depending on the task sequence. We introduce Continual Subspace of Policies (CSP), a new approach that incrementally builds a subspace of policies for training a reinforcement learning agent on a sequence of tasks. The subspace's high expressivity allows CSP to perform well for many different tasks while growing sublinearly with the number of tasks. Our method does not suffer from forgetting and displays positive transfer to new tasks. CSP outperforms a number of popular baselines on a wide range of scenarios from two challenging domains, Brax (locomotion) and Continual World (manipulation).
La capacité d'acquérir continuellement de nouvelles connaissances et compétences est cruciale pour les agents autonomes. Les méthodes existantes reposent généralement soit sur des modèles de taille fixe qui ont du mal à apprendre un grand nombre de comportements diversifiés, soit sur des modèles de taille croissante qui ne s'adaptent pas bien au nombre de tâches. Dans ce travail, nous visons à trouver un meilleur équilibre entre la taille et les performances d'un agent en concevant une méthode qui grandit de manière adaptative en fonction de la séquence des tâches. Nous introduisons le Sous-espace Continu de Politiques (CSP), une nouvelle approche qui construit progressivement un sous-espace de politiques pour entraîner un agent d'apprentissage par renforcement sur une séquence de tâches. La grande expressivité de ce sous-espace permet à CSP de bien performer dans de nombreuses tâches différentes tout en augmentant de manière sous-linéaire avec le nombre de tâches. Notre méthode ne souffre pas d'oubli et présente un transfert positif vers de nouvelles tâches. CSP surpasse plusieurs références populaires sur un large éventail de scénarios provenant de deux domaines complexes : Brax (déplacement) et Continual World (manipulation).
Fichier principal
Vignette du fichier
2211.10445 (1).pdf (4.35 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Licence : CC BY - Attribution
Comment : c'est le document principal

Dates and versions

hal-04169933 , version 1 (27-07-2023)

Licence

Attribution

Identifiers

Cite

Jean-Baptiste Gaya, Thang Doan, Lucas Caccia, Laure Soulier, Ludovic Denoyer, et al.. Building a Subspace of Policies for Scalable Continual Learning. International Conference of Learning Representations, May 2023, Kigali, Rwanda. ⟨hal-04169933⟩
14 View
23 Download

Altmetric

Share

Gmail Facebook X LinkedIn More