Élagage de réseaux profond de neurones par dégradation sélective des pondérations - Archive ouverte HAL Access content directly
Conference Papers Year : 2022

Élagage de réseaux profond de neurones par dégradation sélective des pondérations

Abstract

Deep neural networks are the standard in machine learning. However, to achieve the best performance, they require millions of trainable parameters, resulting in computationally and memory intensive architectures, and therefore not well suited to certain application contexts such as embedded systems. Parameter pruning during training is a frequently used methodology to reduce these costs, but it induces new problems: sudden performance collapse at high pruning rates, discontinuities between training phases... In this paper we introduce Selective Weight Decay (SWD), a method inspired by Lagrangian smoothing and allowing a progressive and continuous pruning during training. We show on standard datasets the ability of this method to achieve the best performances, especially at the highest pruning rates.
Les réseaux de neurones profonds sont le standard incontournable de l'apprentissage automatique. Cependant, pour atteindre les meilleures performances, ils requièrent des millions de paramètres entraînables, résultant en des architectures lourdes en calculs et en mémoire, et donc peu adaptées à certains contextes applicatifs comme l'embarqué. L'élagage des paramètres pendant l'entraînement est une méthodologie fréquemment mise en oeuvre pour réduire ces coûts, mais il induit de nouveaux problèmes : effondrement soudain des performances à fort taux d'élagage, discontinuités entre les phases de l'entraînement... Dans ce papier nous introduisons la Pénalisation Sélective des Pondérations (PSP), une méthode inspirée du lissage lagrangien et permettant un élagage progressif et continu pendant l'entraînement. Nous montrons sur des jeux de données standards la capacité de cette méthode à atteindre les meilleures performances, notamment aux plus forts taux d'élagage.
Fichier principal
Vignette du fichier
swd_paper.pdf (163.99 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03695958 , version 1 (15-06-2022)

Identifiers

  • HAL Id : hal-03695958 , version 1

Cite

Hugo Tessier, Vincent Gripon, Mathieu Léonardon, Matthieu Arzel, Thomas Hannagan, et al.. Élagage de réseaux profond de neurones par dégradation sélective des pondérations. GRETSI 2022 : 28ème colloque du Groupement de Recherche en Traitement du Signal et des Images, Sep 2022, Nancy, France. ⟨hal-03695958⟩
122 View
108 Download

Share

Gmail Facebook X LinkedIn More