Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification
Les petits modèles de langue sont bons aussi : Une étude empirique de classification sans-exemples
Résumé
This study is part of the debate on the efficiency of large versus small language models for text classification by prompting.
We assess the performance of small language models in zero-shot text classification, challenging the prevailing dominance of large models.
Across 15 datasets, our investigation benchmarks language models from 77M to 40B parameters using different architectures and scoring functions. Our findings reveal that small models can effectively classify texts, getting on par with or surpassing their larger counterparts.
We developed and shared a comprehensive open-source repository that encapsulates our methodologies. This research underscores the notion that bigger isn't always better, suggesting that resource-efficient small models may offer viable solutions for specific data classification challenges.
Ce travail s'inscrit dans le débat sur l'efficacité des grands modèles de langue par rapport aux petits pour la classification de texte par amorcage (prompting).
Nous évaluons les performances des petits modèles de langage pour la classification de textes sans exemples, remettant en question la prédominance des grands modèles.
Sur 15 jeux de données, notre étude compare des modèles de langage de 77M à 40B paramètres en utilisant différentes architectures et données de pré-entraînement.
Nous partageons librement le code complet qui encapsule nos méthodologies pour permettre une reproductibilité de notre travail.
Nos concluons que les petits modèles peuvent générer efficacement des étiquettes en se rapprochant ou en dépassant les performanes de leurs homologues plus grands.
Ce travail souligne l'idée que le modèle le plus grand n'est pas toujours le meilleur, suggérant que les petits modèles économes en ressources peuvent offrir des solutions viables pour des défis spécifiques de classification de données.