Apprentissage par renforcement indirect dans les systèmes de classeurs
Résumé
Les systèmes de classeurs sont des systèmes à base de règles qui combinent une capacité d'apprentissage par renforcement et une capacité de généralisation. Au lieu d'associer des valeurs à des couples (état, action), comme c'est le cas dans le cadre de l'apprentissage par renforcement tabulaire, ils associent des valeurs à des couples (condition, action), dans lesquels la partie condition peut être vérifiée par plusieurs états, ce qui permet la généralisation. Les mécanismes d'apprentissage par renforcement habituels peuvent alors être appliqués à une telle représentation. Récemment, une nouvelle famille de systèmes de classeurs, dits « à anticipation », est apparue, dans laquelle l'apprentissage par renforcement réalisé est un apprentissage indirect, ce qui signifie que l'agent construit un modèle de ses interactions avec son environnement, et se sert de ce modèle pour accélérer la convergence de l'apprentissage. Les architectures de la famille DYNA sont toutes construites sur ce modèle. L'object de cette contribution est de présenter un système de classeurs à anticipation, MACS, et de montrer comment on peut considérer MACS comme un cas particulier de la famille des architectures DYNA.