Dans cet article, nous nous intéressons à l'exploration d'une zone par un robot mobile au-tonome. Notre approche procède à des re-calculs réguliers des politiques en utilisant des processus décisionnels de Markov, au fur et à mesure que la connaissance du robot est actualisée. Dans la mesure où, l'exploration conduit, à chaque instant, à une explosion combinatoire des possibilités sur les poli-tiques d'actions. Le problème de planification par résolution d'un MDP large décomposé est soulevé avec une contrainte forte sur la rapidité des calculs mis en oeuvre. L'approche proposée cherche à par-titionner l'espace des états du robot de façon à construire, ensuite, une hiérarchie de MDP : un MDP abstrait haut niveau et plusieurs MDPs locaux aux régions construites. L'approche est ensuite évaluée par plusieurs expérimentations statistiques. L'originalité consiste en la capacité de l'agent à hiérarchiser l'intérêt de chaque zone à explorer relativement à toutes les autres pour optimiser la politique construite à chaque modification de la carte.