Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning - Archive ouverte HAL Accéder directement au contenu
Rapport Année : 2023

Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning

Minimisation du Risque Empirique avec Régularisation par f-Divergences dans l’Apprentissage Statistique

Résumé

This report presents the solution to the empirical risk minimization with $f$-divergence regularization, under mild conditions on $f$. Under such conditions, the optimal measure is shown to be unique and to always exist. The solution is presented as a closed-form expression of the Radon-Nikodym derivative of the optimal probability measure with respect to the reference measure. Examples for particular choices of the function $f$ are presented. For some choices, existing results are obtained as special cases of the main result. These include the unique solutions to the empirical risk minimization with relative entropy regularization (Type-I and Type-II).
Ce rapport présente la solution au problème de minimisation du risque empirique avec régularisation par une $f$-divergence dans des faibles contraintes sur $f$. Dans ces conditions, la mesure optimale s’avère unique et existe toujours. La solution est présentée comme une expression sous forme fermée de la dérivée de Radon-Nikodym de la mesure de probabilité optimale par rapport à la mesure de référence. Des exemples de choix particuliers de la fonction $f$ sont présentés. Pour certains choix, des résultats existants sont obtenus comme cas particuliers du résultat principal. Il s'agit notamment des solutions uniques aux problèmes de minimisation du risque empirique avec régularisation par entropie relative (Type-I et Type-II).
Fichier principal
Vignette du fichier
HAL-V3-RR9521.pdf (846.88 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04258765 , version 1 (25-10-2023)
hal-04258765 , version 2 (02-11-2023)
hal-04258765 , version 3 (07-02-2024)

Licence

Paternité

Identifiants

  • HAL Id : hal-04258765 , version 3

Citer

Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor. Empirical Risk Minimization with f-Divergence Regularization in Statistical Learning. RR-9521, Inria. 2023. ⟨hal-04258765v3⟩
148 Consultations
85 Téléchargements

Partager

Gmail Facebook X LinkedIn More