Évaluation d'un système d'extraction de réponses multiples sur le Web par comparaison à des humains - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2014

User evaluation of a multiple answer extraction system on the Web

Évaluation d'un système d'extraction de réponses multiples sur le Web par comparaison à des humains

Résumé

In this paper, we propose a user evaluation of Citron, a question-answering system in French which extracts answers for multiple answer questions (expecting different correct answers) in open domain from Web docu- ments. We present here our experimental protocol and results for user evaluations which aim at (1) comparing multiple answer extraction performances of Citron and users, and (2) knowing user preferences about multiple answer presentation.
Dans cet article, nous proposons une évaluation dans un cadre utilisateur de Citron, un système de question-réponse en français capable d’extraire des réponses à des questions à réponses multiples (questions possédant plusieurs réponses correctes différentes) en domaine ouvert à partir de documents provenant du Web. Nous présentons ici le protocole expérimental et les résultats pour nos deux expériences utilisateurs qui visent à (1) comparer les performances de Citron par rapport à celles d’un être humain pour la tâche d’extraction de réponses multiples et (2) connaître la satisfaction d’un utilisateur devant différents formats de présentation de réponses.
Fichier principal
Vignette du fichier
EvaluationSystemeExtractionReponsesMultiplesWEBcomparaisonHumains_TALN_2014.pdf (335.22 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02951026 , version 1 (29-09-2020)

Identifiants

  • HAL Id : hal-02951026 , version 1

Citer

Mathieu-Henri Falco, Véronique Moriceau, Anne Vilnat. Évaluation d'un système d'extraction de réponses multiples sur le Web par comparaison à des humains. 21éme Conférence Traitement Automatique des Langues Naturelles (TALN 2014), Jul 2014, Marseille, France. pp.449-454. ⟨hal-02951026⟩
51 Consultations
15 Téléchargements

Partager

Gmail Facebook X LinkedIn More