A multilevel approach to accelerate the training of Transformers
Résumé
In this article, we investigate the potential of multilevel approaches to accelerate the training of transformer architectures. Using an ordinary differential equation (ODE) interpretation of these architectures, we propose an appropriate way of varying the discretization of these ODE Transformers in order to accelerate the training. We validate our approach experimentally by a comparison with the standard training procedure.
Dans cet article, nous étudions le potentiel des approches multiniveaux pour accélérer l'entraînement des Transformers. En utilisant une interprétation de ces architectures sous forme d'équations différentielles ordinaires (EDO), nous proposons une manière appropriée de varier la discrétisation de l'EDO décrivant ces transformers afin d'accélérer l'apprentissage. Nous validons le potentiel de notre approche en la comparant à un apprentissage standard.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |