Efficient approximations of the fisher matrix in neural networks using kronecker product singular value decomposition - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue ESAIM: Proceedings and Surveys Année : 2023

Efficient approximations of the fisher matrix in neural networks using kronecker product singular value decomposition

Ani Anciaux-Sedrakian
  • Fonction : Auteur
  • PersonId : 1050419
Valérie Garès
  • Fonction : Auteur
  • PersonId : 1010316
Mounir Haddou
  • Fonction : Auteur
  • PersonId : 1094769
Quang Huy Tran

Résumé

We design four novel approximations of the Fisher Information Matrix (FIM) that plays a central role in natural gradient descent methods for neural networks. The newly proposed are aimed at improving Martens and Grosse’s Kronecker-factored block diagonal (KFAC) one. They rely on direct minimization problem, solution which can be computed via Kronecker product singular value decomposition technique. Experimental results three standard deep auto-encoder benchmarks showed they provide more accurate to FIM. Furthermore, outperform KFAC state-of-the-art first-order terms optimization speed.
Nous élaborons quatre nouvelles approximations de la matrice d’information de Fisher (FIM) qui joue un rôle central dans les méthodes de gradient naturel pour les réseaux de neurones. Les approximations proposées visent à améliorer celle introduite par Martens et Grosse qui est de type bloc diagonal avec factorisation de Kronecker (KFAC). Elles reposent sur un problème de minimisation directe, dont la solution peut être calculée par la technique de décomposition de la valeur singulière par produit de Kronecker. Les résultats expérimentaux sur les trois problèmes standards d’auto-encodeurs profonds ont montré qu’elles fournissent des approximations plus précises de la FIM. En outre, elles surpassent KFAC et les méthodes de premier ordre de l’état de l’art en termes de vitesse d’optimisation.
Fichier principal
Vignette du fichier
proc2307311.pdf (1.05 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Licence : CC BY - Paternité

Dates et versions

hal-04266143 , version 1 (31-10-2023)

Licence

Paternité

Identifiants

Citer

Abdoulaye Koroko, Ani Anciaux-Sedrakian, Ibtihel Gharbia, Valérie Garès, Mounir Haddou, et al.. Efficient approximations of the fisher matrix in neural networks using kronecker product singular value decomposition. ESAIM: Proceedings and Surveys, 2023, 73, pp.218-237. ⟨10.1051/proc/202373218⟩. ⟨hal-04266143⟩
109 Consultations
72 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More