Fine-grained linguistic properties and interpretation of system performance for named entity recognition
Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées
Résumé
La profusion actuelle de modèles toujours plus performants dans le domaine du TAL rend difficile l’identification (i) des cas particuliers qui affectent leurs performances, et (ii) de ce qui les différencie. L’évaluation avec des métriques uniques telles que la F-mesure ou le score BLEU ne permet pas une lecture fine de la performance. Par ailleurs, les scores issus d’évaluations sur des données de validation réduites ne permettent pas de rendre compte avec fiabilité de leurs performances sur des données nouvelles et inconnues du système. Nous nous intéressons ici à la tâche de reconnaissance des entités nommées (REN), pour laquelle un système doit repérer dans le texte les portions contenant une entité nommée (d’un ou plusieurs tokens) et les typer parmi les étiquettes du jeu d’étiquettes choisi. Un outil est ainsi évalué sur les frontières de chaque segment annoté (segmentation) et sur l’étiquette qui lui est attribué (typage). Les systèmes étant de plus en plus opaques et les données d’entraînement n’étant pas systématiquement accessibles, nous nous proposons ici d’étudier la corrélation entre performances des outils de REN et traits linguistiques caractéristiques de la variation observée.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |