Principles of Evaluation in Natural Language Processing - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Revue TAL : traitement automatique des langues Année : 2007

Principles of Evaluation in Natural Language Processing

Résumé

In this special issue of TAL, we look at the fundamental principles underlying evaluation in natural language processing. We adopt a global point of view that goes beyond the horizon of a single evaluation campaign or a particular protocol. After a brief review of history and terminology, we will address the topic of a gold standard for natural language processing, of annotation quality, of the amount of data, of the difference between technology evaluation and usage evaluation, of dialog systems, and of standards, before concluding with a short discussion of the articles in this special issue and some prospective remarks
Dans ce numéro spécial de TAL nous nous intéressons aux principes fondamentaux qui sous-tendent l'évaluation pour le traitement automatique du langage naturel, que nous abordons de manière globale, c'est à dire au delà de l'horizon d'une seule campagne d'évaluation ou d'un protocole particulier. Après un rappel historique et terminologique, nous aborderons le sujet de la référence pour le traitement du langage naturel, de la qualité des annotations, de la quantité des données, des différence entre évaluation de technologie et évaluation d'usage, de l'évaluation des systèmes de dialogue, des standards avant de conclure sur une bref présentation des articles du numéro et quelques remarques prospectives
Fichier principal
Vignette du fichier
Intro_TAL_48_1.pdf (173.81 Ko) Télécharger le fichier
Origine : Accord explicite pour ce dépôt
Loading...

Dates et versions

hal-00502700 , version 1 (19-07-2010)

Identifiants

  • HAL Id : hal-00502700 , version 1

Citer

Patrick Paroubek, Stéphane Chaudiron, Lynette Hirschman. Principles of Evaluation in Natural Language Processing. Revue TAL : traitement automatique des langues, 2007, 48 (1), pp.7-31. ⟨hal-00502700⟩
762 Consultations
5207 Téléchargements

Partager

Gmail Facebook X LinkedIn More