Efficient approximations of the fisher matrix in neural networks using kronecker product singular value decomposition
Résumé
We design four novel approximations of the Fisher Information Matrix (FIM) that plays a central role in natural gradient descent methods for neural networks. The newly proposed are aimed at improving Martens and Grosse’s Kronecker-factored block diagonal (KFAC) one. They rely on direct minimization problem, solution which can be computed via Kronecker product singular value decomposition technique. Experimental results three standard deep auto-encoder benchmarks showed they provide more accurate to FIM. Furthermore, outperform KFAC state-of-the-art first-order terms optimization speed.
Nous élaborons quatre nouvelles approximations de la matrice d’information de Fisher (FIM) qui joue un rôle central dans les méthodes de gradient naturel pour les réseaux de neurones. Les approximations proposées visent à améliorer celle introduite par Martens et Grosse qui est de type bloc diagonal avec factorisation de Kronecker (KFAC). Elles reposent sur un problème de minimisation directe, dont la solution peut être calculée par la technique de décomposition de la valeur singulière par produit de Kronecker. Les résultats expérimentaux sur les trois problèmes standards d’auto-encodeurs profonds ont montré qu’elles fournissent des approximations plus précises de la FIM. En outre, elles surpassent KFAC et les méthodes de premier ordre de l’état de l’art en termes de vitesse d’optimisation.
Mots clés
Singular value decomposition
Kronecker product
Singular value
Kronecker delta
Artificial neural network
Mathematics
Matrix decomposition
Algorithm
Gradient descent
Matrix (chemical analysis)
Applied mathematics
Approximations of π
Product (mathematics)
Block (permutation group theory)
Diagonal
Computer science
Mathematical optimization
Artificial intelligence
Combinatorics
Materials science
Composite material
Eigenvalues and eigenvectors
Physics
Geometry
Quantum mechanics
Domaines
Mathématiques [math]Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|---|
Licence |