Mean field reinforcement learning : an optimal control perspective
Apprentissage par renforcement à champ moyen : une perspective de contrôle optimal
Résumé
The goal of the PhD will be to implement a similar mean field approach to handle MARL. This idea was investigated, at least for individual agents, in several recent papers. In all of them, not only Mean field approach to MARL (Multi Agent Reinforcement Learning) does the mean field approach allow for a significant decrease of complexity, but it also provides distributed (or decentralized) solutions, which are of a very convenient use in practice. Numerical implementation using either on-or off-policy learning is discussed in the literature. The first part of the thesis will consist in revisiting the former works from a mathematical point of view. In particular, this will ask for a careful stability analysis addressing both the passage from a finite to an infinite system of agents and the use of approximated (instead of exact) policies. We may expect monotonicity to play a key role in the overall analysis; another, but more prospective, direction is to discuss the influence of a stochastic environment onto the behavior of the algorithms themselves. Another part of the thesis will be dedicated to the cooperative case the analysis of which will rely upon mean field control theory. Potential structures may allow to make the connection between individual and cooperative cases. The connection between the two may indeed play an important role for incentive design or, equivalently, for mimicking a cooperative system with individual agents. In this regard, connection with distributional reinforcement learning, may be an interesting question as well
L'apprentissage par renforcement est un paradigme clé de l'apprentissage machine, dont l'objectif est d'inciter les agents à tirer les leçons de leur propre expérience passée afin qu'ils s'améliorent au fil du temps, voir par exemple la monographie [14]. À cet égard, les systèmes impliquant un grand nombre d'agents sont importants pour les applications, mais restent difficiles à traiter du point de vue numérique, voir par exemple le récent post [12]. Le renforcement de l'apprentissage avec plusieurs agents est généralement appelé "apprentissage de renforcement multi-agents" (MARL). Comme démontré dans la publication antérieure [15], cela peut couvrir diverses situations avec des agents opérant individuellement ou collectivement. L'analyse de l'apprentissage par renforcement s'appuie fortement sur les outils mathématiques de la théorie du contrôle et de la théorie des jeux. Tout comme les MARL, les deux peuvent également être confrontés à des difficultés lorsque la dimension augmente. Cela a incité plusieurs auteurs à mettre en œuvre une approche champ moyen, issue de la physique statistique, afin de réduire la complexité globale, voir entre autres les travaux fondateurs de Lasry and Lions [9] et de Huang, Caines et Malhame [7] et les deux monographies [3, 4] sur les jeux à champ moyen et le contrôle champ moyen. L'objectif du doctorat sera de mettre en œuvre une approche similaire de la gestion des MARL. L'idée a été étudiée, au moins pour les agents individuels, dans plusieurs documents récents, voir [8, 10, 13, 16]. Dans ces derniers, non seulement l'approche champ moyen permet de réduire la complexité de façon significative, mais elle fournit également des solutions distribuées (ou décentralisées), qui sont d'une grande utilité pratique. La mise en œuvre numérique est principalement abordée dans [13, 16]. Le lien avec les notions d'apprentissage dans la théorie des jeux est cité dans [10], sur la base d'idées antérieures, voir [2]. La première partie de la thèse consistera à revisiter les travaux existants. Cela demandera en particulier une analyse soigneuse de la stabilité portant à la fois sur le passage d'un système fini d'agents à un système infini et sur l'utilisation de stratégies approximatives (au lieu de stratégies exactes). À la lumière de [2], on peut s'attendre à ce que la monotonie joue un rôle dans l'analyse globale ; une autre orientation, mais plus prospective, consiste à discuter de l'influence d'un environnement stochastique sur le comportement des algorithmes eux-mêmes. Une autre partie de la thèse sera consacrée au cas de la coopération, voir par exemple [5], dont l'analyse s'appuiera sur la théorie du contrôle en champ moyen. Comme mentionné dans [13], des structures potentielles peuvent permettre de faire le lien entre les cas individuel et coopératif ; comme démontré dans [11], ces liens jouent un rôle dans la construction de politiques incitatives.
Origine | Version validée par le jury (STAR) |
---|