Errors in coordinated sentences in academic writing : typology and detection
Erreurs dans les phrases coordonnées au sein des rédactions universitaires : typologie et détection
Résumé
By blending NLP, didactics, and corpus linguistics, this study focuses on investigating and automatically detecting errors in coordinated constructions from students’ essays as part of the écri+ project (ANR17NCUN0015). We first built a corpus composed of dissertations, internship reports, exercises, and homework. We then conducted a manual analysis of the data in order to develop a typology of the errors made in the coordinated sentences. The analysis revealed that the most frequent errors are observed in unprepared productions, such as exercises. Moreover, the errors are determined by the sentences length and the number of coordinators in the sentence. The corpus was then annotated according to a proposed typology and was used to develop the tool for automatically detecting these errors. The first step is to predict the correct or erroneous class for a given coordinative sentence. We obtained the highest F-measure of 0.75 using the French language model CamemBERT (Martin et al., 2019). The tool then categorizes the recognized error; it classifies the error among the 11 suggested types. For multi-label learning, we achieved the best performance with CamemBERT having an LRAP of 0.70.
En mêlant TAL, didactique et linguistique de corpus, cette recherche porte sur l’étude et la détection automatique des erreurs dans les constructions coordonnées issues des rédactions des étudiants dans le cadre du projet écri+ (ANR17NCUN0015). Après avoir constitué le corpus de rédactions composé de mémoires, rapports de stage, exercices et devoirs maison, nous avons procédé à l’analyse manuelle des données afin d’élaborer une typologie des erreurs réalisées dans les phrases coordonnées. La recherche réalisée a montré que les erreurs sont les plus présentes dans les productions non-préparées telles que les exercices, et sont conditionnées par la taille des phrases mais également par le nombre de coordonnants présents dans la phrase. Ensuite, le corpus a été annoté selon une typologie proposée et a été exploité pour le développement de l’outil de la détection automatique de ces erreurs. Dans un premier temps, l’outil développé prédit la classe correcte ou erronée pour une phrase coordonnée donnée. Les meilleurs résultats sont obtenus avec une F-mesure de 0,81 en utilisant le modèle de langue français CamemBERT (Martin et al., 2019). Dans un second temps, l’outil catégorise l’erreur reconnue, c’est-à-dire qu’il classe l’erreur parmi les 11 types proposés. Les meilleurs résultats sont également obtenus avec CamemBERT avec un LRAP de 0,70 pour l’apprentissage multi-labels