Dans ce papier, nous proposons un algorithme pour la communication entre agents dans le but d'apprendre quoi, à qui et quand communiquer. Nous nous appuyons pour cela sur l'utilisation d'agents introspectifs capables de raisonner sur leurs actions et sur leurs états afin de construire les actes de communication. Nous proposons une extension d'algorithmes d'apprentissage par renforcement définis sur les PDM pour la prise en compte de la communication multi-agent. Nous montrons comment il est possible de résoudre les problèmes liés à l'asynchronisme et à la non-markovité des SMA par l'utilisation d'une mémoire des actions et des interactions de l'agent.