Unsupervised Discovery of Objects Physical Properties Through Maximum Entropy Reinforcement Learning
Résumé
Understanding the environment is crucial for autonomous robots to perform navigation and manipulation tasks. Never-seen-before objects may have complex appearances and dynamics, where only physical interactions can help to identify visually hidden properties like mass or friction. In this work we propose a baseline for the newly defined problem of using physical interactions to discover unknown properties of objects, without prior knowledge of them or any supervision. The agent first uses intrinsically motivated unsupervised reinforcement learning to learn how to interact with objects, so as to get observations with a level of information which eases the physical properties estimation. A self-supervised predictive task is then set up while following the learned behaviour to extract a latent representation of the physical properties of an object. When applied to a simulated mobile robot in presence of varying objects, the proposed baseline identifies and differentiates categorical properties, e.g. shape, and quantifies continuous properties, e.g. mass and friction, with excellent correlations to their true values even from noisy observations. It achieves significantly better results than simple interactions of a policy that performs poor exploration. This work provides an implementation of a functional, object-oriented action-perception cycle for embodied robotic agents.
La compréhension de l'environnement est essentielle pour que les robots autonomes puissent effectuer des tâches de navigation et de manipulation. Des objets jamais vus auparavant peuvent présenter une apparence et une dynamique complexes, où seules les interactions physiques peuvent permettre d'identifier des propriétés visuellement cachées, telles que la masse ou le frottement. Dans cet article, nous décrivons un processus permettant à des agents robotiques incarnés de découvrir et d'évaluer des propriétés inconnues d'objets par le biais d'interactions physiques et sans supervision. L'agent utilise d'abord un apprentissage par renforcement non supervisé, intrinsèquement motivé, pour apprendre à interagir avec les objets, afin d'obtenir des observations avec un niveau d'information facilitant l'estimation des propriétés physiques. Une tâche prédictive auto-supervisée est ensuite mise en place, tout en suivant le comportement appris, afin d'extraire une représentation latente des propriétés physiques d'un objet. Notre méthode, expérimentée avec un robot mobile, permet de classer clairement les types d'objets présentant de fortes corrélations sur des propriétés continues telles que la masse et le frottement. La politique apprise obtient des résultats nettement supérieurs aux simples interactions d'une politique peu exploratoire. Ce travail constitue une tentative de mise en œuvre de la première partie d'un cycle d'action-perception fonctionnel et orienté objet pour des agents robotiques incarnés.