Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification - Archive ouverte HAL Access content directly
Conference Papers Year : 2024

Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification

Les petits modèles de langue sont bons aussi : Une étude empirique de classification sans-exemples

Abstract

This study is part of the debate on the efficiency of large versus small language models for text classification by prompting. We assess the performance of small language models in zero-shot text classification, challenging the prevailing dominance of large models. Across 15 datasets, our investigation benchmarks language models from 77M to 40B parameters using different architectures and scoring functions. Our findings reveal that small models can effectively classify texts, getting on par with or surpassing their larger counterparts. We developed and shared a comprehensive open-source repository that encapsulates our methodologies. This research underscores the notion that bigger isn't always better, suggesting that resource-efficient small models may offer viable solutions for specific data classification challenges.
Ce travail s'inscrit dans le débat sur l'efficacité des grands modèles de langue par rapport aux petits pour la classification de texte par amorcage (prompting). Nous évaluons les performances des petits modèles de langage pour la classification de textes sans exemples, remettant en question la prédominance des grands modèles. Sur 15 jeux de données, notre étude compare des modèles de langage de 77M à 40B paramètres en utilisant différentes architectures et données de pré-entraînement. Nous partageons librement le code complet qui encapsule nos méthodologies pour permettre une reproductibilité de notre travail. Nos concluons que les petits modèles peuvent générer efficacement des étiquettes en se rapprochant ou en dépassant les performanes de leurs homologues plus grands. Ce travail souligne l'idée que le modèle le plus grand n'est pas toujours le meilleur, suggérant que les petits modèles économes en ressources peuvent offrir des solutions viables pour des défis spécifiques de classification de données.
Fichier principal
Vignette du fichier
paper_coling_lepagnol_FINAL.pdf (1.79 Mo) Télécharger le fichier

Dates and versions

hal-04519930 , version 1 (25-03-2024)
hal-04519930 , version 2 (16-04-2024)

Licence

Public Domain

Identifiers

  • HAL Id : hal-04519930 , version 2

Cite

Pierre Lepagnol, Thomas Gerald, Sahar Ghannay, Christophe Servan, Sophie Rosset. Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification. LREC-COLING 2024, May 2024, TURIN, Italy. ⟨hal-04519930v2⟩
99 View
42 Download

Share

Gmail Mastodon Facebook X LinkedIn More