Dans le cadre de l'optimisation multimodale sans gradient, de nombreux algorithmes sont basés sur des stratégies d'évolution de redémarrage. Un tel algorithme effectue classiquement de nombreuses recherches locales, pour trouver tous les optima globaux de la fonction objectif. La stratégie utilisée pour sélectionner les points de redémarrage (c'est-à-dire les points initiaux des recherches locales) est une étape cruciale de la méthode. Dans les travaux précédents, une stratégie basée sur l'apprentissage par renforcement a été proposée : l'espace de recherche est partitionné et un algorithme de bandit manchot est utilisé pour sélectionner une région intéressante à échantillonner. Cette stratégie améliore considérablement l'algorithme d'optimisation principal mais se limite à des problèmes de petite dimension. Dans cet article, nous proposons un algorithme qui s'attaque à ce problème. Les principales contributions sont (1) un méthode basé sur un arbre pour partitionner hiérarchiquement l'espace de recherche et (2) une stratégie de bandit manchot pour traverser cet arbre. Ainsi, un nœud de l'arbre correspond à une région de l'espace de recherche, et ses enfants partitionnent cette région selon une dimension. La stratégie du bandit manchot est utilisée pour traverser l'arbre en sélectionnant récursivement les enfants intéressants. Nous avons expérimenté notre algorithme sur des fonctions multimodales difficiles, avec de petites et de grandes dimensions. Pour les petites dimensions, nous observons des performances comparables aux algorithmes de pointe précédents. Pour les grandes dimensions, nous observons de meilleurs résultats ainsi qu'une moindre consommation de mémoire.