Upper Confidence Tree for planning restart strategies in Multi-Modal Optimization - Archive ouverte HAL Access content directly
Journal Articles Soft Computing Year : 2021

Upper Confidence Tree for planning restart strategies in Multi-Modal Optimization

Stratégie de redémarrage assisté par recherche arborescente pour l'optimisation multimodal

Abstract

In the context of gradient-free multi-modal optimization, numerous algorithms are based on restarting evolution strategies. Such an algorithm classically performs many local searches, for finding all the global optima of the objective function. The strategy used to select the restarting points (i.e. the initial points of the local searches) is a crucial step of the method. In previous works, a strategy based on reinforcement learning has been proposed: the search space is partitioned and a multi-armed bandit algorithm is used to select an interesting region to sample. This strategy significantly improves the main optimization algorithm but is limited to small dimensional problems. In this paper, we propose an algorithm tackling this problem. The main contributions are (1) a tree-based scheme for hierarchically partition the search-space and (2) a multi-armed bandit strategy for traversing this tree. Thus, a node in the tree corresponds to a region of the search-space, and its children partition this region according to one dimension. The multi-armed bandit strategy is used to traverse the tree by selecting interesting children recursively. We have experimented our algorithm on difficult multi-modal functions, with small and large dimensions. For small dimensions, we observe performances comparable to previous state-of-the-art algorithms. For large dimensions, we observe better results as well as lower memory consumption.
Dans le cadre de l'optimisation multimodale sans gradient, de nombreux algorithmes sont basés sur des stratégies d'évolution de redémarrage. Un tel algorithme effectue classiquement de nombreuses recherches locales, pour trouver tous les optima globaux de la fonction objectif. La stratégie utilisée pour sélectionner les points de redémarrage (c'est-à-dire les points initiaux des recherches locales) est une étape cruciale de la méthode. Dans les travaux précédents, une stratégie basée sur l'apprentissage par renforcement a été proposée : l'espace de recherche est partitionné et un algorithme de bandit manchot est utilisé pour sélectionner une région intéressante à échantillonner. Cette stratégie améliore considérablement l'algorithme d'optimisation principal mais se limite à des problèmes de petite dimension. Dans cet article, nous proposons un algorithme qui s'attaque à ce problème. Les principales contributions sont (1) un méthode basé sur un arbre pour partitionner hiérarchiquement l'espace de recherche et (2) une stratégie de bandit manchot pour traverser cet arbre. Ainsi, un nœud de l'arbre correspond à une région de l'espace de recherche, et ses enfants partitionnent cette région selon une dimension. La stratégie du bandit manchot est utilisée pour traverser l'arbre en sélectionnant récursivement les enfants intéressants. Nous avons expérimenté notre algorithme sur des fonctions multimodales difficiles, avec de petites et de grandes dimensions. Pour les petites dimensions, nous observons des performances comparables aux algorithmes de pointe précédents. Pour les grandes dimensions, nous observons de meilleurs résultats ainsi qu'une moindre consommation de mémoire.
Fichier principal
Vignette du fichier
paper.pdf (902.56 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

hal-02951196 , version 1 (28-09-2020)

Identifiers

Cite

Amaury Dubois, Julien Dehos, Fabien Teytaud. Upper Confidence Tree for planning restart strategies in Multi-Modal Optimization. Soft Computing, 2021, 25 (2), pp.1007-1015. ⟨10.1007/s00500-020-05196-w⟩. ⟨hal-02951196⟩
44 View
121 Download

Altmetric

Share

Gmail Mastodon Facebook X LinkedIn More