CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions
CASIMIR: Un corpus d'Articles Scientifiques Incluant les MultIples Revisions des auteurs
Résumé
Writing a scientific article is a challenging task as it is a highly codified and specific genre, consequently proficiency in written communication is essential for effectively conveying research findings and ideas. In this article, we propose an original textual resource on the revision step of the writing process of scientific articles. This new dataset, called CASIMIR, contains the multiple revised versions of 15,646 scientific articles from OpenReview, along with their peer reviews. Pairs of consecutive versions of an article are aligned at sentence-level while keeping paragraph location information as metadata for supporting future revision studies at the discourse level. Each pair of revised sentences is enriched with automatically extracted edits and associated revision intention. To assess the initial quality on the dataset, we conducted a qualitative study of several state-of-the-art text revision approaches and compared various evaluation metrics. Our experiments led us to question the relevance of the current evaluation methods for the text revision task.
La rédaction d'un article scientifique est une tâche difficile car il s'agit d'un genre hautement codifié. Par conséquent, la maîtrise de la communication écrite est essentielle pour transmettre efficacement les résultats et le contenu de ses recherche. Dans cet article, nous proposons une ressource textuelle originale sur l'étape de révision du processus de rédaction des articles scientifiques. Ce nouveau jeu de données, appelé CASIMIR, contient les multiples versions révisées de 15 646 articles scientifiques d'OpenReview, ainsi que leurs évaluations par les pairs. Les paires de versions consécutives d'un article sont alignées au niveau de la phrase tout en conservant les informations sur l'emplacement du paragraphe comme métadonnées pour soutenir les futures études sur la révision au niveau du discours. Chaque paire de phrases révisées est enrichie des modifications extraites automatiquement et de l'intention de révision associée. Pour évaluer la qualité initiale de l'ensemble de données, nous avons mené une étude qualitative de plusieurs approches de révision de texte état de l'art et comparé diverses mesures d'évaluation. Nos expériences nous ont amenés à nous interroger sur la pertinence des méthodes d'évaluation actuelles pour la tâche de révision de texte.
Domaines
Informatique et langage [cs.CL]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
