Communication Dans Un Congrès Année : 2025

A multilevel approach to accelerate the training of Transformers

Résumé

In this article, we investigate the potential of multilevel approaches to accelerate the training of transformer architectures. Using an ordinary differential equation (ODE) interpretation of these architectures, we propose an appropriate way of varying the discretization of these ODE Transformers in order to accelerate the training. We validate our approach experimentally by a comparison with the standard training procedure.

Dans cet article, nous étudions le potentiel des approches multiniveaux pour accélérer l'entraînement des Transformers. En utilisant une interprétation de ces architectures sous forme d'équations différentielles ordinaires (EDO), nous proposons une manière appropriée de varier la discrétisation de l'EDO décrivant ces transformers afin d'accélérer l'apprentissage. Nous validons le potentiel de notre approche en la comparant à un apprentissage standard.

Fichier principal
Vignette du fichier
gretsi.pdf (2.21 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05044666 , version 1 (23-04-2025)

Licence

Identifiants

  • HAL Id : hal-05044666 , version 1

Citer

Guillaume Lauga, Maël Chaumette, Edgar Desainte-Maréville, Étienne Lasalle, Arthur Lebeurrier. A multilevel approach to accelerate the training of Transformers. GRETSI'25, XXème Colloque Francophone de Traitement du Signal et des Images, GRETSI, Aug 2025, Strasbourg, France. ⟨hal-05044666⟩
158 Consultations
225 Téléchargements

Partager

  • More