L'apprentissage de comportement dans un contexte multi-agent est un problème difficile, en particulier parce que la prise en compte de la communication avec les autres agents requiert la mémorisation d'informations spécifiques. Dans cet article, nous présentons les modèles de mémoire existants et nous montrons qu'ils ne permettent pas de gérer l'apprentissage de communication. Nous proposons en-suite un modèle de mémoire pour l'apprentissage par renforcement des messages de commande (request) et de contrôle (query). Ce modèle permet de gérer l'asynchronisme du système et les attentes de réponses aux messages. Enfin, nous présentons une évaluation de ce modèle sur un exemple simple et nous montrons qu'il construit une politique en un temps raison-nable et avec un espace mémoire réduit.