Exploitation de mesures de complexité linguistique pour la visualisation de textes d’apprenants d’anglais
Résumé
Les étudiants de LANgues pour Spécialistes d'Autres Disciplines (LANSAD) arrivent à l’université avec des niveaux très hétérogènes. Ils sont inscrits dans des parcours d’étude spécialisés laissant peu de place à l’apprentissage de leur langue étrangère. Dans ce contexte, des stratégies de regroupement par niveau sont mises en œuvre par les centres de langues afin d’ajuster les contenus en fonction des profils d’étudiants. Cependant, si l'approche par groupe permet une adaptation par profils, elle ne permet pas une individualisation nécessaire des enseignements.
Individualiser les enseignements implique notamment de mettre les apprenants en situation de production le plus fréquemment possible. Cela permet aux enseignants de les renseigner sur leur progression et de leur fournir des recommandations. Or les volumes horaires et les effectifs ne permettent pas aux enseignants d’offrir des corrections individualisées répétitives et systématiques. Au cours de leurs semestres, les étudiants ne sont pas en mesure d’effectuer suffisamment d’expressions écrites qui soient accompagnées de retours qualitatifs rapides et précis (Li & Vuono, 2019; Shute, 2008). Les étudiants se trouvent projetés dans un système d’évaluations purement sommatives au détriment d’une évaluation formative, pourtant davantage gage de motivation. Ils n’arrivent donc pas à objectiver leur progression.
Notre question de recherche porte donc sur l’exploitation de mesures textuelles permettant des comparaisons visuelles entre apprenants classés en fonction des niveaux du Cadre Européen Commun de Référence en Langues (CECR) (Conseil de l’Europe, 2018). A partir d’un corpus de 274 textes écrits par des apprenants LANSAD et annotés en niveaux CECR, on constitue un jeu de données étalon. Les données textuelles sont enrichies par annotation automatique (syntaxique et lexicale) (Manning et al., 2014) avant d’être formatées pour calculer des indicateurs de richesse linguistique (Benoit et al., 2018; Lu, 2010). A l’aide de méthodes statistiques (ANOVA et regression logistique), ces données sont modélisées en fonction des niveaux CECR. Le test de Fisher permet d’identifier les indicateurs les plus significatifs (p-value <0.05, n = 274). La classification des textes par regression logistique multinomiale sur trois classes A, B, C retourne une précision globale de 59.88 % .
Ces indicateurs et données servent ensuite de référence comparative avec de nouveaux textes d’apprenants ayant subi le même traitement. Les étudiants sont alors en mesure de visualiser et comparer les profils linguistiques de leurs écrits avec l’étalon constitué (cf. Figure 1). La boîte à moustache du haut à droite montre que le texte de l’étudiant est parmi les plus riches, pour ce qui concerne le nombre de mots différents, comparé à la cohorte de textes de niveau B2. Bien que relativement limité, un tel système1 s’inscrit dans la dynamique des learning analytics en permettant des diagnostics rapides pour traiter de larges quantités d’écrits.