Machine Learning Algorithms for Regression and Global Optimization of Risk Measures - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2019

Machine Learning Algorithms for Regression and Global Optimization of Risk Measures

Méthodes d’apprentissage statistique pour la régression et l’optimisation globale de mesures de risque

Résumé

This thesis presents methods for estimation and optimization of stochastic black box functions. Motivated by the necessity to take risk-averse decisions in medecine, agriculture or finance, in this study we focus our interest on indicators able to quantify some characteristics of the output distribution such as the variance or the size of the tails. These indicators also known as measure of risk have received a lot of attention during the last decades. Based on the existing literature on risk measures, we chose to focus this work on quantiles, CVaR and expectiles. First, we will compare the following approaches to perform quantile regression on stochastic black box functions: the K-nearest neighbors, the random forests, the RKHS regression, the neural network regression and the Gaussian process regression. Then a new regression model is proposed in this study that is based on chained Gaussian processes inferred by variational techniques. Though our approach has been initially designed to do quantile regression, we showed that it can be easily applied to expectile regression. Then, this study will focus on optimisation of risk measures. We propose a generic approach inspired from the X -armed bandit which enables the creation of an optimiser and an upper bound on the simple regret that can be adapted to any risk measure. The importance and relevance of this approach is illustrated by the optimization of quantiles and CVaR. Finally, some optimisation algorithms for the conditional quantile and expectile are developed based on Gaussian processes combined with UCB and Thompson sampling strategies.
Cette thèse s’inscrit dans le contexte général de l’estimation et de l’optimisation de fonctions de type boîte noire dont la sortie est une variable aléatoire. Motivé par la nécessité de quantifier l’occurrence d’événements extrêmes dans des disciplines comme la médecine, l’agriculture ou la finance, dans cette thèse des indicateurs sur certaines propriétés de la distribution en sortie, comme la variance ou la taille des queues de distribution, sont étudiés. De nombreux indicateurs, aussi connus sous le nom de mesure de risque, ont été proposés dans la littérature ces dernières années. Dans cette thèse nous concentrons notre intérêt sur les quantiles, CVaR et expectiles. Dans un premier temps, nous comparons les approches K-plus proches voisins, forêts aléatoires, régression dans les RKHS, régression par réseaux de neurones et régression par processus gaussiens pour l’estimation d’un quantile conditionnel d’une fonction boite noire. Puis, nous proposons l’utilisation d’un modèle de régression basé sur le couplage de deux processus gaussiens estimés par une méthode variationnelle. Nous montrons que ce modèle, initialement développé pour la régression quantile, est facilement adaptable à la régression d’autres mesures de risque. Nous l’illustrons avec l’expectile. Dans un second temps, nous analysons le problème relatif à l’optimisation d’une mesure de risque. Nous proposons une approche générique inspirée de la littérature X -armed bandits, permettant de fournir un algorithme d’optimisation, ainsi qu’une borne supérieure sur le regret, adaptable au choix de la mesure de risque. L’applicabilité de cette approche est illustrée par l’optimisation d’un quantile ou d’une CVaR. Enfin, nous proposons des algorithmes d’optimisation utilisant des processus gaussiens associés aux stratégies UCB et Thompson sampling, notre objectif étant l’optimisation d’un quantile ou d’un expectile.
Fichier principal
Vignette du fichier
these_hal.pdf (9.01 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03255973 , version 1 (09-06-2021)

Identifiants

  • HAL Id : tel-03255973 , version 1

Citer

Léonard Torossian. Machine Learning Algorithms for Regression and Global Optimization of Risk Measures. Statistics [math.ST]. MITT, 2019. English. ⟨NNT : ⟩. ⟨tel-03255973⟩
113 Consultations
195 Téléchargements

Partager

Gmail Facebook X LinkedIn More