Learning World Models for puzzle like games - Archive ouverte HAL
Rapport Année : 2023

Learning World Models for puzzle like games

Modèles de monde d'apprentissage pour les jeux de type puzzle

Résumé

This work was part of the course Learning and Intelligent Systems during the winter semester 2022-2023 at the TU Berlin. Recently, we have seen a rise of model-based algorithms in reinforcement learning, whose main advantage lies in the training efficiency enabled by representing the world in a compressed latent representation. One such algorithm is Dreamer V2, which has surpassed human-level performance on all Atari games, and has also been used to teach a quadruped to walk using only real-world experience [7]. However, we have not seen the usefulness of the Dreamer V2 algorithm when applied to more complicated logical scenarios, and we cannot really predict the results because we do not really have a deep understanding of the world model. The following is a summary article of the exploration of the Dreamer V2 algorithm applied to complex tasks. We will examine the results of the algorithm when applied to different tasks (puzzles, exploration game...) with different levels of difficulty and logical complexity. And we will also examine the quality of the generated world models, using simple methods to analyse input and output correlations, and laying the groundwork for more advanced world model analysis.
Ce travail a été réalisé dans le cadre du cours Apprentissage et systèmes intelligents pendant le semestre d'hiver 2022-2023 à la TU Berlin. Récemment, nous avons assisté à une montée en puissance des algorithmes basés sur des modèles dans l'apprentissage par renforcement, dont le principal avantage réside dans l'efficacité de l'entraînement permise par la représentation du monde dans une représentation latente comprimée. L'un de ces algorithmes est Dreamer V2, qui a dépassé les performances humaines sur tous les jeux Atari, et a également été utilisé pour apprendre à un quadrupède à marcher en utilisant uniquement l'expérience du monde réel [7]. Cependant, nous n'avons pas vu l'utilité de l'algorithme Dreamer V2 lorsqu'il est appliqué à des scénarios logiques plus compliqués, et nous ne pouvons pas vraiment prédire les résultats parce que nous n'avons pas une compréhension profonde du modèle du monde. L'article suivant est un résumé de l'exploration de l'algorithme Dreamer V2 appliqué à des tâches complexes. Nous examinerons les résultats de l'algorithme lorsqu'il est appliqué à différentes tâches (puzzles, jeux d'exploration...) avec différents niveaux de difficulté et de complexité logique. Nous examinerons également la qualité des modèles de monde générés, en utilisant des méthodes simples pour analyser les corrélations entre les entrées et les sorties, et en jetant les bases d'une analyse plus avancée des modèles de monde.
Fichier principal
Vignette du fichier
Learning_World_Models_for_puzzle_like_games.pdf (419.32 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04175058 , version 1 (15-08-2023)

Licence

Identifiants

  • HAL Id : hal-04175058 , version 1

Citer

Théo Michel, Svetlana Levit. Learning World Models for puzzle like games. TU Berlin. 2023. ⟨hal-04175058⟩

Collections

LARA
120 Consultations
161 Téléchargements

Partager

More