Évaluation des Grands Modèles de Langage pour la Reconnaissance d'Entités Nommées
Résumé
Cet article présente une expérimentation des grands modèles de langage (LLMs) pour la reconnaissance d'entités nommées (NER). Les systèmes NER traditionnels reposent principalement sur des méthodes supervisées et sur des grands ensembles de données annotées, qui sont coûteux et longs à obtenir. Dans cette étude, nous nous sommes intéressé à évaluer la capacité des LLMs pour la tâche de NER en faisant appel au Few-Shot Prompting, ou apprentissage contextuel, qui permet aux modèles de répondre à une requête avec un minimum d'exemples. Les modèles GPTs d'OpenAI ont été évalué et comparé ainsi que certains modèles open source. Les résultats montrent que, bien qu'il y ait un écart de performance avec des modèles supervisés, les grands modèles excellent dans l'adaptation à de nouveaux types d'entités et de domaines avec des données très limitées. Nous explorons également les effets du format de sortie imposé pour les tâches de classification de tokens ou de segments (ou spans).
Cette étude souligne le potentiel du few-shot learning (ou prompting) à réduire le besoin de grands ensembles de données annotées, améliorant ainsi l'évolutivité et l'accessibilité du NER et met également en lumière les difficultés pour les modèles génératifs à réaliser ce type de tâche.
Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
Licence |