Analyse automatique de textes littéraires et scientifiques : présentation et résultats du défi fouille de texte DEFT2014
Résumé
Dans cet article, nous présentons l'édition 2014 du défi fouille de texte (DEFT) consacrée à l'analyse de textes littéraires (corpus Short Edition) et scientifiques (archives TALN) au travers de quatre tâches : catégoriser le genre littéraire d'une œuvre, évaluer la qualité littéraire, déterminer l'aspect consensuelle d'une œuvre auprès des relecteurs, et identifier la session d'appartenance d'un article scientifique dans une conférence. Afin dévaluer les résultats des participants, nous avons utilisé le gain cumulé normalisé (NDCG, tâche 1), l'exactitude en distance relative à la solution moyenne (EDRM, tâche 2), la précision (tâche 3), et la correction (tâcheé4). Les résultats obtenus par les participants sont fortement contrastés et témoignent de la difficulté de chacune des tâches, bien qu'un système ait obtenu une performance maximale dans la tâche 4.D