Parallel surrogate-based algorithms for solving expensive optimization problems
Algorithmes parallèles et basés sur méta-modèles pour la résolution de problèmes d'optimisation coûteux
Résumé
Combining machine learning, parallel computing and optimization gives rise to Parallel Surrogate-Based Optimization Algorithms (P-SBOAs). These algorithms are useful to solve black-box computationally expensive simulation-based optimization problems where the function to optimize relies on a computationally costly simulator. In addition to the search landscape topography, that may exhibit features complicating the optimization, the search is limited by a computational budget due to the objective function expensiveness.This thesis focuses on the design of P-SBOAs to deal with various search landscape characteristics and computational budgets. The distinction between very and moderately expensive problems is introduced through the definition of the budget as a limited time on a restricted amount of computing resources. The three dimensions of the design space of P-SBOAs as considered in this work are the surrogate model, the definition of promisingness of new candidate solutions and the coupling between the optimizer and the surrogate. On the one hand, machine learning is triggered to build surrogate models that imitate the simulator in order to evaluate and/or locate new promising solutions in a fast way. On the other hand, parallel computing is leveraged to perform multiple simulations simultaneously in order to reduce the execution time. The overall challenge consists in adequately allocating the budget to the tasks of simulation, surrogate training and acquisition of new solutions.Surrogate models should be trained fast especially to handle moderately expensive problems where the training-set size may become significant, they should also provide adequate predictive capacity to approximate rugged landscapes and predictive uncertainty information to guide the search. The Bayesian Neural Network approximated extit{via} Monte-Carlo Dropout (BNN_MCD) is investigated as it gathers all the desired features. Firstly, it is used to build Parallel Surrogate-Assisted Evolutionary Algorithms (P-SAEAs) by evaluating and filtering candidate solutions. Secondly, it is employed along with Gaussian Processes (GPs) to design new Parallel Surrogate-Driven Algorithms (P-SDAs) where sub-surrogates are optimized in parallel to produce multiple new promising solutions. The promisingness of solutions is defined by dynamically changing the trade-off between exploration and exploitation during the search through ensembles of evolution controls.Systematic experiments are conducted on multiple benchmark problems as well as on a real-world application of Covid-19 control to compare an extensive range of algorithm designs. The results demonstrate that P-SAEAs are much more adapted to solve moderately expensive problems while P-SDAs are to be put forward on very expensive ones. In P-SAEAs, the definition of promisingness promoted by the numerical results consists in favoring exploration at the early stage and exploration at the latter stage of the search while more intensification is preferred in P-SDAs. The BNN_MCD surrogate model shows to perform well on multi-modal landscapes with weakly informative global structure and GPs are promoted otherwise. Consequently, a new hybrid algorithm retaining the best of P-SAEAs and P-SDAs is proposed to offer robustness with respect to the computational budgets. The novel method demonstrates a striking parallel scalability and produces the best solutions on the Covid-19 contact reduction problem featuring multi-modality and weak global structure.
De la combinaison de l'apprentissage automatique, du calcul parallèle et de l'optimisation résultent les algorithmes d'optimisation parallèles et basés sur des méta-modèles (P-SBOAs). Ces algorithmes sont utiles à la résolution de problèmes d'optimisation boîte-noire, coûteux en calculs et basés sur la simulation pour lesquels la fonction à optimiser repose sur un simulateur coûteux en calculs. En plus de la topographie du paysage de recherche, la recherche est limitée par un budget de calculs dû au coût de la fonction objectif.Dans cette thèse, l'attention est focalisée sur la conception des P-SBOAs pour traiter divers caractéristiques du paysage de recherche et budgets de calculs. La distinction entre problèmes très et modérément coûteux est introduite au travers de la définition du budget comme étant un temps limité sur une quantité restreinte de ressources de calculs. Les trois dimensions de l'espace de conception des P-SBOAs considéré dans ces travaux sont le méta-modèle, la définition du degré de promesse des solutions candidates et le couplage entre l'optimisateur et le méta-modèle. D'un côté, l'apprentissage automatique est utilisé pour construire un méta-modèle qui imite le simulateur afin d'évaluer et/ou localiser rapidement de nouvelles solutions prometteuses. D'un autre côté, le calcul parallèle est mis à profit pour réaliser simultanément plusieurs simulations afin de réduire le temps d'exécution. Le challenge général consiste à allouer le budget de façon adéquate aux tâches de simulation, entraînement du méta-modèle et acquisition de nouvelles solutions.Le méta-modèle doit être entraînable rapidement surtout dans le cas des problèmes modérément coûteux où la taille de l'ensemble d'entraînement peut devenir significative. Il doit aussi offrir une capacité prédictive adéquate pour se rapprocher des paysages rugueux et fournir de l'information sur l'incertitude prédictive afin de guider la recherche. Les réseaux de neurones bayésiens (Bayesian Neural Network) approchés par Monte-Carlo Dropout (BNN_MCD) sont étudiés car ils rassemblent toutes les caractéristiques désirées. Premièrement, ils sont utilisés pour construire des algorithmes évolutionnaires parallèles assistés parSurrogate modelsen évaluant et filtrant les solutions candidates. Deuxièmement, ils sont employés avec des processus gaussiens (GPs) pour concevoir de nouveaux algorithmes parallèles guidés par méta-modèles (P-SDAs) où des sous-méta-modèles sont optimisés en parallèle pour produire de multiple nouvelles solutions prometteuses. Le degré de promesse des solutions est défini en changeant dynamiquement le compromis entre exploration et exploitation durant la recherche extit{via} des ensembles de contrôles d'évolution.Des expériences systématiques sont menées sur plusieurs problèmes artificiels ainsi que sur une application réelle de contrôle de l'épidémie de Covid-19 afin de comparer une vaste gamme d'algorithmes. Les résultats démontrent que les P-SAEAs sont beaucoup plus adaptés à la résolution de problèmes modérément coûteux alors que les P-SDAs sont à mettre en avant sur des problèmes très coûteux. Avec les P-SAEAs, la définition du degré de promesse promu par les résultats numériques consiste à favoriser d'abord l'exploration et ensuite l'exploitation au cours de la recherche alors que plus d'intensification est préférée avec les P-SDAs. Le méta-modèle BNN_MCD démontre de bonnes performances sur des paysages multi-modales avec une structure globale peu informante et les GPs sont mis en avant dans les autres cas. Par conséquent, un nouvel algorithme hybride retenant le meilleur des P-SAEAs et P-SDAs est proposé pour offrir plus de robustesse quant aux budgets de calculs. La nouvelle méthode démontre une mise à l'échelle frappante à l'augmentation des unités de calculs et produit les meilleures solutions sur le problème lié à la Covid-19 exposant un paysage multi-modal et une structure global peu informante.
| Origine | Version validée par le jury (STAR) |
|---|