La question de la normalisation des écrits scolaires pour leur traitement automatique. Le cas de l'omission de mots. - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

La question de la normalisation des écrits scolaires pour leur traitement automatique. Le cas de l'omission de mots.

Résumé

Plusieurs projets récents comme E-Calm (Doquet & Ponton, 2021) ou Scoledit (Wolfarth et al., 2017) s’appuient sur le traitement automatique des langues (TAL) pour assister la description linguistique d’écrits scolaires. Toutefois, ces technologies TAL ne peuvent pas traiter directement les textes produits par les élèves car ils présentent souvent un éloignement fort par rapport à la norme. Une étape de normalisation de ces textes est donc nécessaire pour pouvoir les appréhender d’un point de vue automatique. Dans nos projets et études précédentes, cette normalisation est vue comme la production d’un écrit orthographiquement normé restant au plus près de la production initiale (Wolfarth, 2019). Elle permet à la fois des comparaisons avec la production de l’élève sur différents niveaux (lexical, orthographique, morphologique...) et le recours aux outils TAL (Wolfarth et al., 2018). S’appuyant sur cette même méthodologie, le projet Scolinter (Ponton et al., 2021) vise la constitution d’un corpus d’élèves du primaire en France, Italie et Espagne avec un suivi longitudinal des mêmes cohortes d’élèves. Le corpus Scolinter comprend en l’état actuel : 1820 textes transcrits, normalisés et vérifiés en français issus du corpus Scoledit ; 1086 textes en italien ; 764 textes en espagnol. Notons que le corpus français est complet sur les 5 niveaux de primaire alors qu’une partie des textes des corpus italien et espagnol est encore en phase de transcription et de normalisation notamment pour les niveaux 3 et 4 (CE2/CM1). L’un des objectifs de Scolinter est d’étudier et de comparer l’évolution des compétences à l’écrit des élèves dans ces trois pays. Actuellement, nous nous intéressons plus particulièrement aux aspects cohérence/cohésion des textes à travers l’étude des chaînes de coréférence portant sur les personnages des histoires produites par les élèves (Barletta, 2022). Ces personnages (le loup, la sorcière, le chat et le robot) sont induits par la consigne donnée qui est la même dans les trois langues du CE1 au CM2. Cette étude de la coréférence requiert une analyse morphosyntaxique et en dépendances préalable. Bien que menée sur les textes normalisés, elle se heurte au phénomène assez classique, notamment dans les petits niveaux, d’omission de mots. Dans notre corpus français, il est à noter que ces omissions (274 au total) portent principalement sur les pronoms (51%), les verbes (26%) et les noms (14%). Dans l’exemple suivant, l’élève a omis la préposition entre “tombé” et “une terrasse” : il été une fois un peti chat qui été tonbé une térase et qui pleré [normalisation : il était une fois un petit chat qui était tombé une terrasse et qui pleurait.] Ces omissions sont délicates à normaliser car, dans la plupart des cas, plusieurs solutions sont possibles. Ainsi, au moment de la constitution du corpus, nous avons fait le choix de ne pas les normaliser, mais simplement de les marquer en précisant la catégorie grammaticale du mot manquant. Dans l’exemple normalisé suivant, l’élève a omis un nom. On peut penser ici qu’il s’agit du “cri”, du “bêlement” ou du “bruit” d’un mouton. tout était calme, mais tout à coup le loup entendit le d’un mouton Pour permettre une analyse en dépendances la plus précise possible (réduire le bruit), plusieurs approches sont envisageables. On se propose dans cette communication de tester quatre scénarios différents. Nous effectuerons une analyse automatique, à l’aide de l’outil Spacy , sur le même corpus de travail issu des niveaux du CE1 au CM2 du corpus français dans chacun des cas suivants : 1.Sans ajout des mots omis (suppression simple de la balise) ; 2.Avec ajout automatique d’un mot prototypique de la catégorie grammaticale du mot manquant ; ce choix pourra s’appuyer ou non sur le contexte proche (ex. prise en compte du genre et du nombre du déterminant pour un nom). 3.Avec ajout d’un token placeholder de forme xxx à la place du mot cible. 4.Avec ajout manuel du mot le plus probable selon le contexte (ie. choix du mot “cri” dans l’exemple précédent). Les trois premiers scénarios présentent l’avantage d’être entièrement automatique alors que le quatrième nécessite une intervention humaine très coûteuse en temps. Le scénario 2 peut être abordé avec un coût nul (remplacement automatique quel que soit le contexte par un même mot pour chaque catégorie) ou peut demander un développement spécifique pour proposer automatiquement un mot adapté au contexte. Pour cette communication, nous allons traiter les différences des résultats du parseur sur la base des quatre scénarios abordés. A titre d’illustration de la démarche proposée voici un exemple d’analyse en dépendances pour le texte normalisé de l’élève 831 en CE2 : [Il était tombé à la cave!] Et était remplie de diamants! Dans le cas du scénario 1 (suppression de la balise), l’analyse de la deuxième phrase produit le résultat erroné ci-dessous dans lequel le sujet de “remplir” n’est pas trouvé. Cette étude, effectué sur un corpus de travail composé de 59 textes contenants 70 omissions, nous permettra de mesurer le rapport entre la précision de l’analyse selon le scénario et le temps d’intervention humaine afin d’opérer le choix le plus adéquat pour la suite de notre recherche sur les chaines de coréférences dans les écrits scolaires. Bibliographie Barletta, M. (2022). DeCorScol : Conception d’un outil d’assistance à l’annotation des chaînes de coréférence dans les écrits scolaires [Mémoire de master 2]. Université Grenoble Alpes. Doquet, C., & Ponton, C. (2021). Écrire de l’école à l’université : Corpus, traitements, analyses outillées. Présentation. Langue francaise, 211, 11‑20. https://doi-org.sidnomade-2.grenet.fr/10.3917/lf.211.0011 Ponton, C., Gutiérrez-Caceres, R., Teruggi, L., Farina, E., Brissaud, C., & Wolfarth, C. (2021). Scolinter : Un corpus trilingue. L’exemple de la segmentation en mots. Langue française, 211, 37‑50. https://doi.org/10.3917/lf.211.0037 Wolfarth, C. (2019). Apport du TAL à l’exploitation linguistique d’un corpus scolaire longitudinal [Thèse de doctorat, Université Grenoble Alpes]. https://tel.archives-ouvertes.fr/tel-02517320 Wolfarth, C., Ponton, C., & Brissaud, C. (2018). Gestion de la morphographie verbale en production d’écrits : Que peut nous apprendre un corpus longitudinal ? Repères. Recherches en didactique du français langue maternelle, 57. 209-226 https://doi.org/10.4000/reperes.1576 Wolfarth, C., Ponton, C., & Totereau, C. (2017). Apports du TAL à la constitution et à l’exploitation d’un corpus scolaire au travers du développement d’un outil d’annotation orthographique. Corpus, Bases, Corpus, Langage-UMR 7320, 2017, Spécificités et contraintes des grands corpus de textes scolaires : problèmes de transcription, d’annotation et de traitement, 16. https://doi.org/10.4000/corpus.2796
Fichier non déposé

Dates et versions

Identifiants

  • HAL Id : hal-04090669 , version 1

Citer

Martina Barletta, Claude Ponton. La question de la normalisation des écrits scolaires pour leur traitement automatique. Le cas de l'omission de mots.. Bruit de fond ou valeur ajoutée? Gérer le bruit lors des traitements informatiques des corpus linguistiques, Apr 2023, Grenoble, France. ⟨hal-04090669⟩

Collections

UGA LIDILEM
28 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More