Évaluation des Grands Modèles de Langage pour la Reconnaissance d'Entités Nommées - Archive ouverte HAL
Communication Dans Un Congrès Année : 2024

Évaluation des Grands Modèles de Langage pour la Reconnaissance d'Entités Nommées

Hédi Zeghidi
  • Fonction : Auteur
  • PersonId : 1320790
Ludovic Moncla

Résumé

Cet article présente une expérimentation des grands modèles de langage (LLMs) pour la reconnaissance d'entités nommées (NER). Les systèmes NER traditionnels reposent principalement sur des méthodes supervisées et sur des grands ensembles de données annotées, qui sont coûteux et longs à obtenir. Dans cette étude, nous nous sommes intéressé à évaluer la capacité des LLMs pour la tâche de NER en faisant appel au Few-Shot Prompting, ou apprentissage contextuel, qui permet aux modèles de répondre à une requête avec un minimum d'exemples. Les modèles GPTs d'OpenAI ont été évalué et comparé ainsi que certains modèles open source. Les résultats montrent que, bien qu'il y ait un écart de performance avec des modèles supervisés, les grands modèles excellent dans l'adaptation à de nouveaux types d'entités et de domaines avec des données très limitées. Nous explorons également les effets du format de sortie imposé pour les tâches de classification de tokens ou de segments (ou spans). Cette étude souligne le potentiel du few-shot learning (ou prompting) à réduire le besoin de grands ensembles de données annotées, améliorant ainsi l'évolutivité et l'accessibilité du NER et met également en lumière les difficultés pour les modèles génératifs à réaliser ce type de tâche.
Fichier principal
Vignette du fichier
LLM_NER_Zeghidi.pdf (192.19 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04770715 , version 1 (07-11-2024)

Licence

Identifiants

  • HAL Id : hal-04770715 , version 1

Citer

Hédi Zeghidi, Ludovic Moncla. Évaluation des Grands Modèles de Langage pour la Reconnaissance d'Entités Nommées. L'impact des larges modèles de langue et des agents conversationnels sur les études du texte, Nov 2024, Auberviliers, France. ⟨hal-04770715⟩
14 Consultations
2 Téléchargements

Partager

More