Empirical Risk Minimization with Relative Entropy Regularization Type-II
Minimisation du Risque Empirique avec Régularisation par l'Entropie Relative de Type-II
Résumé
The effect of relative entropy asymmetry is analyzed in the context of empirical risk minimization (ERM) with relative entropy regularization (ERM-RER). Two regularizations are considered: (a) the relative entropy of the measure to be optimized with respect to a reference measure (Type-I ERM-RER); or (b) the relative entropy of the reference measure with respect to the measure to be optimized (Type-II ERM-RER). The main result is the characterization of the solution to the Type-II ERM-RER problem and its key properties. By comparing the well- understood Type-I ERM-RER with Type-II ERM-RER, the effects of entropy asymmetry are highlighted. The analysis shows that in both cases, regularization by relative entropy forces the solution’s support to collapse into the support of the reference measure, introducing a strong inductive bias that can overshadow the evidence provided by the training data. Finally, it is shown that Type-II regularization is equivalent to Type-I regularization with an appropriate transformation of the empirical risk function.
L’effet de l’asymétrie de l’entropie relative est analysé dans le contexte de la minimisation du risque empirique (ERM) avec régularisation par entropie relative (ERM-RER). Deux régularisations sont considérées : (a) l’entropie relative de la mesure à optimiser par rapport à une mesure de référence (ERM-RER Type-I) ; ou (b) l’entropie relative de la mesure de référence par rapport à la mesure à optimiser (ERM-RER Type-II). Le principal résultat est la caractérisation de la solution au problème de ERM-RER Type-II et de ses propriétés clés. En comparant le ERM-RER Type-I, avec le ERM-RER Type-II, les effets de l’asymétrie de l’entropie sont mis en évidence. L’analyse montre que dans les deux cas, la régularisation par entropie relative force le support de la solution à se restreindre au support de la mesure de référence, introduisant un biais inductif fort qui peut éclipser les preuves fournies par les données d’entraînement. Enfin, il est démontré que la régularisation de Type-II est équivalente à la régularisation de Type-I avec une transformation appropriée de la fonction de risque empirique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|