Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot - Archive ouverte HAL
Conference Papers Year : 2024

Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot

Abstract

Ce travail s’inscrit dans le débat sur l’efficacité des grands modèles de langue par rapport aux petits pour la classification de texte par amorçage (prompting). Nous évaluons ici le potentiel des petits modèles de langue dans la classification de texte sans exemples, remettant en question la prédominance des grands modèles. À travers un ensemble diversifié de jeux de données, notre étude compare les petits et les grands modèles utilisant différentes architectures et données de pré-entraînement. Nos conclusions révèlent que les petits modèles peuvent générer efficacement des étiquettes et, dans certains contextes, rivaliser ou surpasser les performances de leurs homologues plus grands. Ce travail souligne l’idée que le modèle le plus grand n’est pas toujours le meilleur, suggérant que les petits modèles économes en ressources peuvent offrir des solutions viables pour des défis spécifiques de classification de données
Fichier principal
Vignette du fichier
paper_TALN_lepagnol.pdf (1.9 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-04623012 , version 1 (01-07-2024)
hal-04623012 , version 2 (01-07-2024)

Licence

Identifiers

  • HAL Id : hal-04623012 , version 2

Cite

Pierre Lepagnol, Thomas Gerald, Sahar Ghannay, Christophe Servan, Sophie Rosset. Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.113-129. ⟨hal-04623012v2⟩
110 View
76 Download

Share

More