Régularisation implicite des factorisations de faible rang pénalisées - Archive ouverte HAL
Communication Dans Un Congrès Année : 2023

Régularisation implicite des factorisations de faible rang pénalisées

Résumé

Scale invariance is a well-known property of matrix and tensor factorization models. It is usually considered only as a source of ambiguity during inference. However, when regularizations which are not scale-invariant are added to the cost function, scale-invariance induces an implicit regularization that balances the estimated factors. These behaviors have been partially documented formally, but have not been accounted for practically. In this work, I further discuss this implicit regularization and show empirically how to adapt existing algorithms for improved robustness to hyperparameter choice and improved precision.
L'invariance d'échelle des modèles de factorisation matriciels et tensoriels est une propriété bien connue, habituellement perçue comme une source d'ambiguïté lors de l'inférence des paramètres de ces modèles. Cependant, lorsque ces modèles de factorisation sont employés dans une approche variationnelle, typiquement lorsque de la parcimonie est imposée, l'invariance d'échelle induit une régularisation implicite qui équilibre les solutions. En adaptant un algorithme d'optimisation classique, je montre empiriquement que l'estimation des paramètres pour des décompositions tensorielles pénalisées devient plus précise et fiable.
Fichier principal
Vignette du fichier
2023-Scale-Invariant-LRA-Gretsi2023.pdf (633.96 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04058775 , version 1 (05-04-2023)
hal-04058775 , version 2 (30-06-2023)
hal-04058775 , version 3 (20-09-2023)

Identifiants

  • HAL Id : hal-04058775 , version 3

Citer

Jérémy E Cohen. Régularisation implicite des factorisations de faible rang pénalisées. GRETSI, Aug 2023, Grenoble, France. ⟨hal-04058775v3⟩
25 Consultations
61 Téléchargements

Partager

More