Communication Dans Un Congrès Année : 2019

Learning with Random Learning Rates

Résumé

In neural network optimization, the learning rate of the gradient descent strongly affects performance. This prevents reliable out-of-the-box training of a model on a new problem. We propose the All Learning Rates At Once (Alrao) algorithm for deep learning architectures: each neuron or unit in the network gets its own learning rate, randomly sampled at startup from a distribution spanning several orders of magnitude. The network becomes a mixture of slow and fast learning units. Surprisingly, Alrao performs close to SGD with an optimally tuned learning rate, for various tasks and network architectures. In our experiments, all Alrao runs were able to learn well without any tuning.

Fichier principal
Vignette du fichier
randomLR.pdf (3.1 Mo) Télécharger le fichier
50epochs.png (203.34 Ko) Télécharger le fichier
DataBox_Exp_2018_08_25_prop_lr_VGG16_p_test_nll.pdf (11.11 Ko) Télécharger le fichier
DataBox_Exp_2018_09_23_prop_lr_GoogLeNet_p_test_nll.pdf (10.16 Ko) Télécharger le fichier
K1K3GoogLeNet-eps-converted-to.pdf (14.9 Ko) Télécharger le fichier
K1K3MobileNetV2-eps-converted-to.pdf (14.89 Ko) Télécharger le fichier
Same_lr_cmp_interval.pdf (12.85 Ko) Télécharger le fichier
adamalraogoogle-eps-converted-to.pdf (13.07 Ko) Télécharger le fichier
adamalraomobile-eps-converted-to.pdf (11.17 Ko) Télécharger le fichier
adamalraovgg-eps-converted-to.pdf (17.91 Ko) Télécharger le fichier
beforealrao-eps-converted-to.pdf (34.85 Ko) Télécharger le fichier
learningcurvesGooglenet-eps-converted-to.pdf (18.07 Ko) Télécharger le fichier
learningcurvesmobilenet-eps-converted-to.pdf (18.47 Ko) Télécharger le fichier
lr_sampler_rnn-eps-converted-to.pdf (16.47 Ko) Télécharger le fichier
newalrao-eps-converted-to.pdf (59.21 Ko) Télécharger le fichier
randomLR2de0.png (33.89 Ko) Télécharger le fichier
switchplot-eps-converted-to.pdf (2.35 Mo) Télécharger le fichier
triangle-eps-converted-to.pdf (18.03 Ko) Télécharger le fichier

Dates et versions

hal-01888352 , version 1 (05-10-2018)

Licence

Identifiants

Citer

Léonard Blier, Pierre Wolinski, Yann Ollivier. Learning with Random Learning Rates. ECML PKDD 2019 – European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, Sep 2019, Würzburg, Germany. pp.449-464, ⟨10.1007/978-3-030-46147-8_27⟩. ⟨hal-01888352⟩
208 Consultations
748 Téléchargements

Altmetric

Partager

  • More