Do the standard scores of evaluation of coreference resolution constitute metrics ?
Comment arpenter sans mètre : les scores de résolution de chaines de coréférences sont-ils des métriques ?
Résumé
Cet article présente un travail qui consiste à étudier si les scores les plus utilisés pour l'évaluation de la résolution des coréférences constituent des métriques de similarité normalisées. En adoptant une démarche purement expérimentale, nous avons vérifié si les scores MUC, B3 , CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonnes propriétés qui définissent une telle métrique. Notre étude montre que seul le score CEAFm est potentiellement une métrique de similarité normalisée.
Fichier principal
arpenter_sans_mètre.pdf (155.51 Ko)
Télécharger le fichier
2020_06_TALN_ETERNAL_Eval_Coref.pdf (869.86 Ko)
Télécharger le fichier
2020_ETERNAL_SCORES_COREF_COMPRESSE.mp4 (45.12 Mo)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
| Format | Présentation |
|---|
Loading...