Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation
Résumé
Stochastic Gradient Descent (SGD) with adaptive steps is now widely used for training deep neural networks. Most theoretical results assume access to unbiased gradient estimators, which is not the case in several recent deep learning and reinforcement learning applications that use Monte Carlo methods. This paper provides a comprehensive non-asymptotic analysis of SGD with biased gradients and adaptive steps for non-convex smooth functions. Our study incorporates time-dependent bias and emphasizes the importance of controlling the bias of the gradient estimator. In particular, we establish that Adagrad, RMSProp, and Adam with biased gradients converge to critical points for smooth non-convex functions at a rate similar to existing results in the literature for the unbiased case. Finally, we provide experimental results using Variational Autoenconders (VAE) that illustrate our convergence results and show how the effect of bias can be reduced by appropriate hyperparameter tuning.
Fichier principal
main2.pdf (1.2 Mo)
Télécharger le fichier
CIFAR100_RMSProp_grad_mean_traj5.pdf (48.05 Ko)
Télécharger le fichier
CIFAR100_RMSProp_loss_mean_traj5.pdf (20.64 Ko)
Télécharger le fichier
CIFAR100_grad_mean_traj5.pdf (51.56 Ko)
Télécharger le fichier
CIFAR100_loss_mean_traj5.pdf (24.11 Ko)
Télécharger le fichier
CIFAR10_Adam_epsilon.pdf (17.23 Ko)
Télécharger le fichier
CIFAR10_RMSProp_time_mean_traj5.pdf (19.23 Ko)
Télécharger le fichier
CIFAR10_time_mean_traj5.pdf (18.64 Ko)
Télécharger le fichier
CIFAR_all_loss_mean_traj5.pdf (38.67 Ko)
Télécharger le fichier
CIFAR_grad_mean_traj5.pdf (51.38 Ko)
Télécharger le fichier
CIFAR_grad_mean_traj5_0.001.pdf (53.1 Ko)
Télécharger le fichier
CIFAR_grad_mean_traj5_0_001.pdf (53.1 Ko)
Télécharger le fichier
CIFAR_loss_mean_traj5.pdf (31.54 Ko)
Télécharger le fichier
CIFAR_loss_mean_traj5_0.001_all.pdf (32.37 Ko)
Télécharger le fichier
CIFAR_loss_mean_traj5_0_001_all.pdf (32.37 Ko)
Télécharger le fichier
FMNIST_Adam_grad_mean_traj5.pdf (47.41 Ko)
Télécharger le fichier
FMNIST_Adam_loss_mean_traj5.pdf (19.86 Ko)
Télécharger le fichier
FMNIST_RMSProp_grad_mean_traj5.pdf (47.63 Ko)
Télécharger le fichier
FMNIST_RMSProp_loss_mean_traj5.pdf (20.71 Ko)
Télécharger le fichier
FMNIST_RMSProp_test_loss_mean_traj5.pdf (19.68 Ko)
Télécharger le fichier
FMNIST_all_test_loss_mean_traj5.pdf (19.45 Ko)
Télécharger le fichier
FMNIST_all_train_loss_mean_traj5.pdf (21.71 Ko)
Télécharger le fichier
FMNIST_grad_mean_traj5.pdf (50.05 Ko)
Télécharger le fichier
FMNIST_loss_mean_traj5.pdf (23.08 Ko)
Télécharger le fichier
New_Adam_RMSProp.pdf (78.52 Ko)
Télécharger le fichier
Test_zoom.pdf (22.27 Ko)
Télécharger le fichier
Train_zoom.pdf (21.28 Ko)
Télécharger le fichier
VAE_IWAE_BR_IWAE_CIFAR_all_loss_mean_traj5.pdf (36.26 Ko)
Télécharger le fichier
VAE_IWAE_BR_IWAE_CIFAR_loss_mean_traj5.pdf (29.09 Ko)
Télécharger le fichier
bias_test_plot_zoom.pdf (20.19 Ko)
Télécharger le fichier
bias_train_plot_zoom.pdf (21.65 Ko)
Télécharger le fichier
main2.synctex.gz (445.78 Ko)
Télécharger le fichier
simu_Adagrad.pdf (443.25 Ko)
Télécharger le fichier
simu_Adagrad_values.pdf (31.43 Ko)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|