Cooperation of multiple reinforcement learning algorithms
Coopération de systèmes d’apprentissage par renforcement multiples.
Résumé
Initially developed in the field of artificial intelligence, reinforcement learning methods are an essential component of adaptive robotic control architectures. Two main classes of algorithms have been proposed: with and without internal models of the world. The first one has heavy computational costs but is very adaptive, while the second one is cheap but slow to converge. The combination of these algorithms within a single robotic architecture could possibly benefit from the advantages of each one. We present here these two families of algorithms, as well as the combination methods that have been proposed and tested in the neuroscience and robotics field.
Développées initialement dans le cadre de l’intelligence artificielle, les méthodes d’apprentissage par renforcement sont des composantes essentielles des architectures de contrôle robotique adaptatives. Deux grandes classes d'algorithmes ont été proposées : avec ou sans modèle interne du monde. La première est coûteuse en calculs mais est très adaptative, alors que la seconde est peu coûteuse mais lente à converger. La combinaison de ces différents algorithmes dans une même architecture de contrôle permet donc d’envisager de tirer le meilleur parti des deux mondes. Nous présentons ici ces deux familles d’algorithmes, ainsi que les méthodes de combinaison qui ont été proposées et évaluées, tant en neurosciences qu’en robotique.