Task 2: ShARe/CLEF eHealth Evaluation Lab 2014 - Archive ouverte HAL
Communication Dans Un Congrès Année : 2014

Task 2: ShARe/CLEF eHealth Evaluation Lab 2014

Sumithra Velupillai
  • Fonction : Auteur
  • PersonId : 961740
David Martinez
  • Fonction : Auteur
  • PersonId : 961741
Noemie Elhadad
  • Fonction : Auteur
  • PersonId : 961742
Sameer Pradhan
  • Fonction : Auteur
  • PersonId : 961743
Guergana Savova
  • Fonction : Auteur
  • PersonId : 961744
Wendy Chapman
  • Fonction : Auteur

Résumé

This paper reports on Task 2 of the 2014 ShARe/CLEF eHealth evaluation lab which extended Task 1 of the 2013 ShARe/CLEF eHealth evaluation lab by focusing on template filling of disorder at-tributes. The task was comprised of two subtasks: attribute normaliza-tion (task 2a) and cue identification (task 2b). We instructed participants to develop a system which either kept or updated a default attribute value for each task. Participant systems were evaluated against a blind reference standard of 133 discharge summaries using Accuracy (task 2a) and F-score (task 2b). In total, ten teams participated in task 2a, and three teams in task 2b. For task 2a and 2b, the HITACHI team systems (run 2) had the highest performances, with an overall average average accuracy of 0.868 and F1-score (strict) of 0.676, respectively.
Fichier principal
Vignette du fichier
CLEF2014wn-eHealth-MoweryEt2014.pdf (707.5 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01086544 , version 1 (24-11-2014)

Identifiants

  • HAL Id : hal-01086544 , version 1

Citer

Danielle L. Mowery, Sumithra Velupillai, Brett R. South, Lee Christensen, David Martinez, et al.. Task 2: ShARe/CLEF eHealth Evaluation Lab 2014. Proceedings of CLEF 2014, Sep 2014, Sheffield, United Kingdom. ⟨hal-01086544⟩

Collections

LIG_TDCGE_MRIM
286 Consultations
156 Téléchargements

Partager

More