Algorithms for non-linear constrained continuous optimization: a comparison between gradient-based methods and evolution strategies, and applications to radar antenna design
Algorithmes pour l’optimisation non-linéaire continue sous contraintes : comparaison entre méthodes de gradient et stratégies d’évolution, et applications à la conception d’antennes Radar.
Résumé
This thesis proposes several contributions to the problem of optimizing a nonlinear function of several variables in a continuous search space in the presence of constraints. The approach is called black box in that the considered algorithms have only access to the objective and constraint functions for the search of an optimal solution.
The first contribution is the establishment of a suite of test problems for continuous constrained optimization. The method used to construct these test problems is based on optimality conditions that are general enough to allow defining non-convex problems where the optimum is known. The construction has other practical interests, such as the possibility to vary the number of variables or the number of constraints. We also propose a method for monitoring the performance of an optimization algorithm that can be applied to any such problem.
The second contribution is a thorough study and improvement of a stochastic algorithm for the optimization of a multivariate function. This algorithm combines the principles of an evolution strategy with covariance matrix adaptation (CMA-ES) for non-convex optimization with the augmented Lagrangian (AL) technique to handle constraints. Based on recent work, our experiments reveal that other values of the hyperparameters, and even alternative mechanisms for adapting the penalty parameters, are competitive in a black-box context. We also propose a heuristic for the initialization of the adaptive parameters, and a preliminary study of the use of linear models to replace the constraints. The previously introduced suite of test problems is used as a tool to develop and validate the performance of these algorithmic alternatives.
The third contribution is the generation of extensive experimental data with many popular algorithms for nonlinear optimization operating on our test problem suite. These data highlight concrete use cases where one algorithm is more suitable than the other competitors.
Finally, we illustrate the diversity of optimization problems encountered in practice in the case of Radar signal processing. We address two classical Radar antenna design problems as numerical optimization problems. The first problem is the optimal configuration of a sensor array for the estimation of the direction of arrival of a detected signal. The second one is the phase modulation of an antenna array in order to obtain a radiation pattern with minimum unwanted emission losses. These 2 problems differ in many aspects (regularity of the objective function, dimension, number of constraints) and lead to the selection of different algorithms as the most suitable for each problem.
In addition, some aspects of computer programming for handling and solving optimization problems will be discussed, as well as some avenues for future work in the quest for the best optimization algorithm to solve a given problem.
La thèse propose plusieurs contributions à l’optimisation d’une fonction non linéaire de plusieurs variables dans un espace de recherche continu en présence de contraintes. L’approche est dite boîte noire en cela` que les algorithmes considérés ont seulement accès aux fonctions objectif et contraintes pour la recherche d’une solution optimale. La première contribution est l’établissement d’une suite de problèmes tests pour l’optimisation continue sous contraintes. La méthode utilisée pour construire ces problèmes test se base sur des conditions d’optimalité suffisamment générales pour permettre la construction de problèmes non convexes ou` l’optimum est connu, et présente d’autres intérêts pratiques, comme la possibilité de faire varier le nombre de variables ou le nombre de contraintes. Nous proposons également une méthode de suivi (monitoring) des performances d’un algorithme d’optimisation qui s’applique à n’importe quel problème ou` l’optimum est connu. La seconde contribution est une étude approfondie et l’amélioration d’un algorithme stochastique pour l’optimisation d’une fonction de plusieurs variables. Cet algorithme combine les principes d’une stratégie d’évolution avec adaptation de la matrice de covariance (CMA-ES) pour l’optimisation non convexe avec la technique du Lagrangien augmenté (AL) pour la gestion des contraintes. Sur la base de travaux récents, nos expériences révèlent que d’autres valeurs des hyperparamètres, et même des mécanismes alternatifs d’adaptation des paramètres de pénalités, sont compétitifs dans un contexte boîte-noire. On propose par ailleurs une heuristique pour l’initialisation des paramètres adaptatifs, et une étude préliminaire à l’utilisation de modèles linéaires pour remplacer les contraintes. La suite de problème tests précédemment introduite sert d’outil de développement et de validation des performances de ces alternatives algorithmiques. La troisième contribution est la génération de nombreuses données expérimentales avec de nombreux algorithmes populaires pour l’optimisation non linéaire opérant sur notre suite de problèmes tests. Ces données mettent en lumière des cas d’usages concrets ou` un algorithme est plus adapté que les autres compétiteurs. Enfin, nous illustrons la diversité des problèmes d’optimisation rencontrés en pratique dans le cas du traitement du signal Radar. Nous proposons de traiter deux problèmes classiques de conception d’antenne Radar sous la forme de problèmes d’optimisation numérique. Le premier problème est la configuration optimale d’un réseau de capteurs pour l’estimation de la direction d’arrivée d’un signal détecté. Le second est la modulation en phase d’une antenne réseau afin d’obtenir un diagramme de rayonnement avec le minimum de pertes d’émissions indésirables. Ces 2 problèmes diffèrent par de nombreux aspects (régularité de la fonction objectif, dimension, nombre de contraintes) et donnent lieu a` la sélection d’algorithmes différents comme le plus adapté a` chaque problème. On discutera aussi quelques aspects de programmation informatique pour la manipulation et la résolution de problèmes d’optimisation, ainsi que quelques pistes de travaux futurs dans la quête du meilleur algorithme d’optimisation pour résoudre un problème donné.
Mots clés
Continuous optimization
black-box
constraint handling
gradient descent
algorithm benchmark- ing
Pareto optimality
KKT conditions
Lagrange multipliers
pseudoconvex functions
strict complementarity
evolution strategies
CMA-ES
augmented Lagrangian
radar signal processing
antenna design
spatial filtering.
Optimisation continue
boite-noire
gestion des contraintes
gradient
comparaison d’algorithmes
Pareto-optimalité
conditions KKT
multiplicateurs de Lagrange
fonction pseudoconvexe
stricte complémentarité
stratégies d’évolution
CMA-ES
Lagrangien augmenté
traitement du signal radar
conception d’antenne
filtrage spatial