When Small Wins Big: Classification Tasks Where Compact Models Outperform Original GPT-4
Quand les petits gagnent les grands : tâches de classification pour lesquelles les modèles compacts sont plus performants que les modèles originaux GPT-4
Résumé
This paper evaluates Large Language Models (LLMs) on financial text classification, comparing GPT-4 (1.76 trillion parameters) against FinBERT (110 million parameters) and FinDROBERTA (82.1 million parameters). We achieved a classification task on short financial sentences involving multiple divergent insights with both textual and numerical data. We developed a market-based large dataset that enabled us to fine-tune the models on a real-world ground truth. Utilizing a marketbased dataset for fine-tuning on extensive datasets, we achieved significant enhancements with Fin-BERT and FinDROBERTA over GPT-4. However, the use of a bagging majority classifier did not yield performance improvements, demonstrating that the principles of Condorcet's jury Theorem do not apply, suggesting a lack of independence among the models and similar behavior patterns across all evaluated models. Our results indicate that for complex sentiment classification, compact models match larger models, even with fine-tuning. The fine-tuned models are made available as opensource for additional research.
Cet article évalue les grands modèles de langage (LLM) pour la classification de textes financiers, en comparant GPT-4 (1,76 trillion de paramètres) à FinBERT (110 millions de paramètres) et FinDROBERTA (82,1 millions de paramètres). Nous avons réalisé une tâche de classification sur de courtes phrases financières impliquant de multiples idées divergentes avec des données textuelles et numériques. Nous avons développé un grand ensemble de données basé sur le marché qui nous a permis d'affiner les modèles sur une vérité de terrain du monde réel. L'utilisation d'un ensemble de données basé sur le marché pour le réglage fin sur des ensembles de données étendus nous a permis d'obtenir des améliorations significatives avec Fin-BERT et FinDROBERTA par rapport à GPT-4. Cependant, l'utilisation d'un classificateur majoritaire de type bagging n'a pas permis d'améliorer les performances, ce qui démontre que les principes du théorème du jury de Condorcet ne s'appliquent pas, suggérant un manque d'indépendance entre les modèles et des modèles de comportement similaires pour tous les modèles évalués. Nos résultats indiquent que pour la classification complexe des sentiments, les modèles compacts sont comparables aux modèles plus grands, même avec un réglage fin. Les modèles affinés sont mis à disposition en tant que source ouverte pour des recherches supplémentaires.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|