Convergence analysis and novel algorithms in bi-objective optimization
Analyse de convergence et nouveaux algorithmes en optimisation bi-objectifs
Résumé
Optimization is the field of applied mathematics concerned with minimizing (or maximizing) one or more objective functions. It has many applications in science and industry, from scheduling power outages through designing cars to describing physical phenomena.
Multi-objective optimization aims at finding a good approximation of the Pareto set, that is the set of feasible solutions that cannot be improved in all objectives simultaneously, and the Pareto front, its image in the objective space.
In this Ph.D. thesis, we seek to improve the understanding of the convergence speed of multi-objective optimization algorithms towards the entire Pareto front. We rely on the hypervolume, a widely used set quality indicator, to quantify the optimality gap between the Pareto front and its approximation provided by an algorithm. The computational cost is typically measured by the number of evaluations of the objective functions.
First, we derive a theoretical upper bound on the speed of convergence. We prove that for a wide class of Pareto fronts, the smallest optimality gap associated with a set of n points is larger than 1/(n+1) multiplied by a constant.
The constant depends on the Pareto front and the reference point used in the definition of the hypervolume.
This result shows that the speed of convergence is sublinear at best, which is worse than the convergence rates that can be achieved by single-objective optimization algorithms.
Then, we introduce an algorithmic framework, HV-ISOOMOO. A meta-iteration of HV-ISOOMOO corresponds to the solving of a single-objective optimization subproblem. We provide lower bounds on the convergence speed of the Pareto front approximation formed by the solutions returned by the single-objective solver (which we call the final incumbents Pareto front approximation) under the assumption that the solver returns a global optimum with infinite precision. For convex Pareto fronts, this ideal algorithm reaches the best achievable convergence rate: Θ(1/n).
Finally, we provide an implementation of HV-ISOOMOO coupled with CMA-ES, a state-of-the-art single-objective optimization algorithm: MO-CMA-ES-II. The MO-CMA-ES-II algorithm presents state-of-the-art performance. On a simple convex problem, we empirically analyze the evolution of the optimality gap of its final incumbents Pareto front approximation with respect to the number of meta-iterations of HV-ISOOMOO and iterations of CMA-ES.
L'optimisation est le domaine des mathématiques appliquées qui s'intéresse à la minimisation (ou la maximisation) d'une ou plusieurs fonctions objectif. Elle a de nombreuses applications industrielles et scientifiques, de la planification des pannes de courant à la conception de voitures en passant par la description de phénomènes physiques.
L'optimisation multi-objectifs s'intéresse à l'approximation de l'ensemble de Pareto, c'est-à-dire l'ensemble des solutions admissibles qui ne peuvent être améliorées suivant tous les objectifs simultanément, et du front de Pareto, son image dans l'espace des objectifs.
Dans cette thèse de doctorat, nous cherchons à approfondir les connaissances sur la vitesse de convergence d'algorithmes d'optimisation multi-objectifs vers la totalité du front de Pareto. Nous nous appuyons sur l'hypervolume, un indicateur de qualité d'ensemble largement utilisé, pour quantifier l'écart entre le front de Pareto et une approximation fournie par un algorithme, autrement dit l'erreur. Le coût est mesuré par le nombre de fois où les fonctions objectif ont été évaluées.
Tout d'abord, nous prouvons une borne supérieure théorique sur la vitesse de convergence. Nous démontrons que pour une vaste catégorie de fronts de Pareto, la plus petite erreur associée à une approximation du front de Pareto composée de $n$ solutions est supérieure à $1/(n+1)$ multiplié par une constante.
Cette constante dépend du front de Pareto et du point de référence utilisé pour définir l'hypervolume.
Cela garantit que la vitesse de convergence est au mieux sous-linéaire, soit plus lente que les vitesses de convergence qui peuvent être atteintes par des algorithmes d'optimisation mono-objectifs.
Ensuite, nous définissons une nouvelle classe d'algorithmes, HV-ISOOMOO. Une méta-itération de HV-ISOOMOO correspond à la résolution d'un sous-problème d'optimisation mono-objectif.
Les solutions renvoyées par le solveur mono-objectif fournissent une approximation du front de Pareto. Nous démontrons des bornes inférieures sur la vitesse de convergence de cette approximation vers le front de Pareto en supposant que le solveur mono-objectif fournisse toujours un optimum global avec exactitude. Pour les fronts de Pareto convexes, cet algorithme idéal a une vitesse de convergence optimale: Θ(1/n).
Finalement, nous détaillons une implémentation de HV-ISOOMOO qui utilise le solveur mono-objectif CMA-ES, MO-CMA-ES-II. Cet algorithme se compare favorablement aux meilleurs algorithmes multi-objectifs connus à ce jour. Sur un problème convexe simple, nous analysons empiriquement l'évolution de l'erreur en fonction du nombre de méta-itérations de MO-CMA-ES-II et du nombre d'itérations de CMA-ES.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|