Apprentissage de sous-espaces de préfixes - Archive ouverte HAL Access content directly
Conference Papers Year : 2023

Apprentissage de sous-espaces de préfixes

Abstract

Cet article propose une nouvelle façon d'ajuster des modèles de langue en "Few-shot learning" se basant sur une méthode d'optimisation récemment introduite en vision informatique, l'apprentissage de sous-espaces de modèles. Cette méthode, permettant de trouver non pas un point minimum local de la fonction coût dans l'espace des paramètres du modèle, mais tout un simplexe associé à des valeurs basses, présente typiquement des capacités de généralisation supérieures aux solutions obtenues par ajustement traditionnel. L'adaptation de cette méthode aux gros modèles de langue n'est pas triviale mais son application aux méthodes d'ajustement dites "Parameter Efficient" est quant à elle relativement naturelle. On propose de plus une façon innovante d'utiliser le simplexe de solution étudié afin de revisiter la notion de guidage de l'ajustement d'un modèle par l'inférence d'une métrique de validation, problématique d'actualité en "few-shot learning". On montre finalement que ces différentes contributions centrées autour de l'ajustement de sous-espaces de modèles est empiriquement associée à un gain considérable en performances de généralisation sur les tâches de compréhension du langage du benchmark GLUE, dans un contexte de "few-shot learning".
Fichier principal
Vignette du fichier
461982.pdf (448.73 Ko) Télécharger le fichier
Origin Publisher files allowed on an open archive

Dates and versions

hal-04131562 , version 1 (20-06-2023)

Identifiers

  • HAL Id : hal-04131562 , version 1

Cite

Louis Falissard, Vincent Guigue, Laure Soulier. Apprentissage de sous-espaces de préfixes. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.59-73. ⟨hal-04131562⟩
80 View
68 Download

Share

Gmail Mastodon Facebook X LinkedIn More