Factors for dashboards design and use to inform teachers’ practices in situ - Archive ouverte HAL
Thèse Année : 2020

Factors for dashboards design and use to inform teachers’ practices in situ

Facteurs pour la conception et l'usage des tableaux de bord afin d'informer les pratiques des enseignants in situ

Résumé

Information dashboards, Visualization, Blended learning, Multimodality, Emotion awareness, Feedback, Design Studies, Field studies, Qualitative and quantitative studies Tableaux de bords, Visualisation, Apprentissage hybride, Multimodalité, Emotion, Feedback, Études de design, Études de terrain, Études qualitatives et quantitatives
Information dashboards have great potential in informing teachers’ and learners’ work, decisions, and practices. In this dissertation, we study the design and use of dashboards to inform teachers’ practices when assisting learners in using online learning platforms. We seek to examine not only what teachers are supposed to do or can do with dashboards, but more importantly what they actually do with such technologies in their everyday work and in the long run. We argue that this research draws social, pedagogical, and technical ramifications, which are crucial to articulate. On the one hand, to understand the social factors, we need a critical inquiry into the pedagogical practices and the technical challenges underpinned by teachers’ dashboards. On the other hand, to properly design such technologies, we need a profound understanding and consideration of the social interactions of users in the context of classroom situations. We collaborated with teachers and designers of two online language learning platforms to design two dashboards, Emodash and Progdash. We then conducted two longitudinal field studies, lasting two and three months, respectively, to examine the impact of our dashboards on 34 teachers in authentic settings. First, we studied dashboards in the context of video-conferencing language learning. Teachers face one main challenge: lack of emotional awareness in online learning due to distant and technology- mediated interactions. We conducted a case study examining a multimodal approach of learners’ emotions awareness, i.e., applying two theoretical models of emotion: discrete and dimensional, in online learning. We demonstrated this approach by using audio and video streams when inferring emotions along with learners’ self-reported emotions, as well as teachers’ and learners’ contextual interaction traces on the platform. We qualitatively and quantitatively analyzed a total of more than 7 hours’ recording. We compared emotional cues from the two modalities, audio, and video. We proposed an approach for combining discrete and dimensional emotional cues to capture learners’ emotional states. Early results highlighted the pertinence of rendering multimodal and contextual emotional awareness information for teachers in such settings. Second, we built upon our case study and adopted an iterative design process in which we interviewed five teachers and collaborated with a pedagogical manager, a language researcher, and two teachers. During the design, we conducted two formal formative evaluations leading to the design of Emodash. We conducted a two-month in-the-wild field study with five teacher- learner pairs, to examine how Emodash supports teachers’ retrospective awareness of learners’ emotions in online learning and how it impacts feedback reports that teachers write to learners after each learning session. The results showed that Emodash led teachers to write significantly more affective and formative feedback as well as less summative feedback, suggesting a stronger awareness of learners’ emotions. Also, the dashboard led teachers to reflect on the way they conduct their lessons, using learners’ emotions as a proxy to evaluate their conduct of teaching. Third, we studied dashboards in the context of remote and blended learning. Teachers face one main challenge: lack of actionable insights to devise and engage in informed interventions with learners. We designed Progdash based on interviews with seven teachers and refined it through collaborative design prototypes. We implemented and integrated Progdash into an online French vocabulary, grammar, spelling learning platform. We conducted a three-month in- the-wild field study with 29 teachers to evaluate whether Progdash provides useful indicators to teachers about learners’ progression, and how it informs teachers’ practices to engage in informed interventions. The results showed that teachers found Progdash actionable to inform: monitoring, assessments, planning, information sharing, feedback, and lesson provision. Based on our findings, we discussed implications aimed at improving dashboards to bridge online and in-class learning as well as to foster teachers’ and learners’ dialog and reflection. Finally, we took a reflexive inquiry building upon the results of the studies of Emodash and Prog- dash. We articulated the social factors —monitoring, awareness, and reflection, the pedagogical practices —planning, feedback, and coaching, as well as the technical challenges interacting with the design and use of teachers’ dashboards. In each dimension we structured and discussed practical assumptions to inform the design and use of teachers’ dashboards. Together, these dimensions, serve as a wider conceptual umbrella for the design of information-driven technologies and macro-implications for dashboards fitting teachers’ and learners’ everyday situations.
Les tableaux de bord ont un grand potentiel pour informer les décisions et pratiques des en- seignants et des apprenants. Dans cette thèse, nous étudions le design et l’utilisation des tableaux de bord pour informer les pratiques des enseignants quand ils assistent les apprenants dans lu- tilisation de plateformes d’apprentissage en ligne. Nous cherchons spécifiquement à examiner non seulement ce que les enseignants sont censés faire ou peuvent faire avec les tableaux de bord, mais surtout ce qu’ils en font réellement au quotidien et sur le long terme. Nous argumentons que cette recherche impose des ramifications sociales, pédagogiques et techniques, qui sont cruciales à articuler. D’une part, pour éliciter nos réflexions sur les facteurs sociaux, nous avons besoin d’une enquête critique des pratiques pédagogiques et les challenges techniques engendrés par les tableaux de bord. D’autre part, pour bien désigner ces technologies, nous avons besoin d’une compréhension et dune considération profonde des interactions sociales des utilisateurs dans les contextes et situations d’apprentissage et d’enseignement en classe. Nous avons collaboré avec des enseignants et des designers de deux plateformes d’apprentissage de langues en ligne pour concevoir deux tableaux de bord, Emodash et Progdash. Nous avons ensuite mené deux études longitudinales sur le terrain, d’une durée de deux et trois mois respectivement, pour examiner l’impact de nos tableaux de bord sur 34 enseignants en situations réelles. Dans un premier temps, nous avons étudié les tableaux de bord dans le cadre de l’apprentissage de langues étrangères par visioconférence. Les enseignants sont confrontés à un challenge central à savoir le manque d’awareness (conscience) émotionnelle dans les échanges qu’ils ont avec les apprenants en ligne, dû aux interactions distantes et médiées par la technologie. Nous avons mené une étude de cas examinant une approche multimodale, c’est-à-dire en appliquant deux modèles théoriques des émotions à savoir discrets et dimensionnels. Nous avons démontré cette approche en utilisant les flux audio et vidéo pour inférer automatiquement des émotions ainsi que des émotions auto-rapportées ou “self-reported” par apprenants. Nous avons contextualisé les émotions moyennant les traces d’interaction d’enseignants et d’apprenants sur la plateforme. Nous avons analysé 10 sessions d’apprentissage de 45 minutes chacune —un total de plus de 7 heures d’enregistrement. Nous avons proposé une approche pour combiner ces deux modèles d’émotion discrets et dimensionnels pour capturer les états émotionnels des apprenants de manière globale. Les premiers résultats soulignent la pertinence de l’approche multimodale pour inférer les émotions dans un contexte éducatif à distance. Deuxièmement, en s’appuyant sur la première étude, nous avons adopté un processus de de- sign itératif dans lequel nous avons interviewé cinq enseignants et collaboré avec un responsable pédagogique, un chercheur linguiste et deux enseignants durant la conception de Emodash. Au cours du design, nous avons effectué deux évaluations formelles d’utilisabilité menant au de- sign final d’Emodash. Nous avons ensuite mené une étude longitudinale sur le terrain de deux mois avec cinq paires enseignant-apprenant, pour examiner comment Emodash facilite l’awareness d’enseignants par rapport aux émotions des apprenants et comment cela impacte les bilans péda- gogiques que les enseignants écrivent aux apprenants après chaque session d’apprentissage. Les résultats ont montré que Emodash a conduit les enseignants à rédiger significativement plus de feedback affectif et formatif et moins de feedback sommatif, suggérant une meilleure awareness des émotions d’apprenants. De plus, le tableau de bord a conduit les enseignants à réfléchir sur la façon dont ils mènent leurs séances de cours, en utilisant les émotions d’apprenants comme un proxy pour évaluer l’expérience d’apprentissage. Troisièmement, nous avons étudié les tableaux de bord dans le contexte de l’apprentissage mixte où les enseignants articulent des activités d’apprentissage à distance et en face-à-face. Les enseignants sont confrontés à un défi principal à savoir le manque d’informations précises pour informer des interventions pédagogiques afin de mieux assister les apprenants. Nous avons conçu et affiné Progdash sur une base d’entretiens et de design collaboratif avec sept enseignants. Nous avons implémenté et intégré Progdash dans une plateforme dédiée à l’apprentissage du vocabulaire, la grammaire et l’orthographe du français en ligne. Nous avons mené une étude longitudinale sur le terrain de trois mois avec 29 enseignants pour évaluer si Progdash fournit aux enseignants des indicateurs utiles sur la progression des apprenants et comment cela impacte les pratiques enseignantes. Les résultats ont montré que les enseignants ont trouvé Progdash utile pour informer plusieurs interventions : le suivi des apprenants, les évaluations de l’apprentissage, la planification des interventions, le partage d’informations, la provision du feedback. Sur la base de nos résultats, nous avons discuté des implications visant à améliorer les tableaux de bord pour faciliter l’apprentissage en ligne et en classe ainsi que pour favoriser le dialogue et la réflexion des enseignants et des apprenants. Enfin, nous avons mené une étude réflexive sur la base des résultats des études Emodash et de Progdash. Nous avons articulé les facteurs sociaux —mointoring (suivi et régulation), awareness et réflexion, les pratiques pédagogiques —planification, feedback et coaching, ainsi que les challenges techniques liés aux tableaux de bord dans un contexte éducatif en ligne. Pour chaque dimension, nous avons structuré et discuté des pratiques d’appropriations pour informer le design et les usages des tableaux de bord. Ces dimensions articulent un cadre conceptuel global pour la technologie d’information en éducation et ainsi des macro-implications pour des tableaux de bord adaptés aux besoins et situations d’apprentissage et d’enseignement.
Fichier principal
Vignette du fichier
Mohamed_Ezzaouia-Thesis.pdf (23.87 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04745734 , version 1 (21-10-2024)

Identifiants

  • HAL Id : tel-04745734 , version 1

Citer

Mohamed Ez-Zaouia. Factors for dashboards design and use to inform teachers’ practices in situ. Human-Computer Interaction [cs.HC]. Université de Lyon, 2020. English. ⟨NNT : ⟩. ⟨tel-04745734⟩
18 Consultations
4 Téléchargements

Partager

More