Communication Dans Un Congrès Année : 2024

Fine-grained linguistic properties and interpretation of system performance for named entity recognition

Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées

Résumé

La profusion actuelle de modèles toujours plus performants dans le domaine du TAL rend difficile l’identification (i) des cas particuliers qui affectent leurs performances, et (ii) de ce qui les différencie. L’évaluation avec des métriques uniques telles que la F-mesure ou le score BLEU ne permet pas une lecture fine de la performance. Par ailleurs, les scores issus d’évaluations sur des données de validation réduites ne permettent pas de rendre compte avec fiabilité de leurs performances sur des données nouvelles et inconnues du système. Nous nous intéressons ici à la tâche de reconnaissance des entités nommées (REN), pour laquelle un système doit repérer dans le texte les portions contenant une entité nommée (d’un ou plusieurs tokens) et les typer parmi les étiquettes du jeu d’étiquettes choisi. Un outil est ainsi évalué sur les frontières de chaque segment annoté (segmentation) et sur l’étiquette qui lui est attribué (typage). Les systèmes étant de plus en plus opaques et les données d’entraînement n’étant pas systématiquement accessibles, nous nous proposons ici d’étudier la corrélation entre performances des outils de REN et traits linguistiques caractéristiques de la variation observée.

Fichier principal
Vignette du fichier
Article_LIFT_2___Marina_Seghier.pdf (1010.32 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05115242 , version 1 (16-06-2025)

Licence

Identifiants

  • HAL Id : hal-05115242 , version 1

Citer

Marina Seghier, Alice Millour, Jean-Yves Antoine. Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées. LIFT-2, Nov 2024, Orléans, France. ⟨hal-05115242⟩
402 Consultations
102 Téléchargements

Partager

  • More