Oui mais... ChatGPT peut-il identifier des entités dans des documents historiques ? - Archive ouverte HAL
Communication Dans Un Congrès Année : 2023

Oui mais... ChatGPT peut-il identifier des entités dans des documents historiques ?

Emanuela Boros
Nancy Girdhar
Ahmed Hamdi
Jose Moreno
Antoine Doucet

Résumé

Les modèles de langage de grande taille (LLM) sont exploités depuis plusieurs années maintenant, obtenant des performances de pointe dans la reconnaissance d'entités à partir de documents modernes. Depuis quelques mois, l'agent conversationnel ChatGPT a suscité beaucoup d'intérêt auprès de la communauté scientifique et du grand public en raison de sa capacité à générer des réponses plausibles. Dans cet article, nous explorons cette compétence à travers la tâche de reconnaissance et de classification d'entités nommées (NERC) dans des sources primaires (des journaux historiques et des commentaires classiques) d'une manière zero-shot et en la comparant avec les systèmes de pointe basés sur des modèles de langage. Nos résultats indiquent plusieurs lacunes dans l'identification des entités dans le texte historique, qui concernant la cohérence des guidelines d'annotation des entités, la complexité des entités et du changement de code et la spécificité du prompt. De plus, comme prévu, l'inaccessibilité des archives historiques a également un impact sur les performances de ChatGPT.
Fichier principal
Vignette du fichier
458893.pdf (212.74 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04130217 , version 1 (20-06-2023)

Identifiants

  • HAL Id : hal-04130217 , version 1

Citer

Carlos-Emiliano González-Gallardo, Emanuela Boros, Nancy Girdhar, Ahmed Hamdi, Jose Moreno, et al.. Oui mais... ChatGPT peut-il identifier des entités dans des documents historiques ?. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.74-82. ⟨hal-04130217⟩
140 Consultations
105 Téléchargements

Partager

More