Factors for dashboards design and use to inform teachers’ practices in situ
Facteurs pour la conception et l'usage des tableaux de bord afin d'informer les pratiques des enseignants in situ
Résumé
Information dashboards, Visualization, Blended learning, Multimodality, Emotion awareness, Feedback, Design Studies, Field studies, Qualitative and quantitative studies
Tableaux de bords, Visualisation, Apprentissage hybride, Multimodalité, Emotion, Feedback, Études de design, Études de terrain, Études qualitatives et quantitatives
Information dashboards have great potential in informing teachers’ and learners’ work, decisions,
and practices. In this dissertation, we study the design and use of dashboards to inform teachers’
practices when assisting learners in using online learning platforms. We seek to examine not only
what teachers are supposed to do or can do with dashboards, but more importantly what they
actually do with such technologies in their everyday work and in the long run. We argue that
this research draws social, pedagogical, and technical ramifications, which are crucial to articulate.
On the one hand, to understand the social factors, we need a critical inquiry into the pedagogical
practices and the technical challenges underpinned by teachers’ dashboards. On the other hand,
to properly design such technologies, we need a profound understanding and consideration of the
social interactions of users in the context of classroom situations. We collaborated with teachers
and designers of two online language learning platforms to design two dashboards, Emodash
and Progdash. We then conducted two longitudinal field studies, lasting two and three months,
respectively, to examine the impact of our dashboards on 34 teachers in authentic settings.
First, we studied dashboards in the context of video-conferencing language learning. Teachers face
one main challenge: lack of emotional awareness in online learning due to distant and technology-
mediated interactions. We conducted a case study examining a multimodal approach of learners’
emotions awareness, i.e., applying two theoretical models of emotion: discrete and dimensional, in
online learning. We demonstrated this approach by using audio and video streams when inferring
emotions along with learners’ self-reported emotions, as well as teachers’ and learners’ contextual
interaction traces on the platform. We qualitatively and quantitatively analyzed a total of more
than 7 hours’ recording. We compared emotional cues from the two modalities, audio, and video.
We proposed an approach for combining discrete and dimensional emotional cues to capture
learners’ emotional states. Early results highlighted the pertinence of rendering multimodal and
contextual emotional awareness information for teachers in such settings.
Second, we built upon our case study and adopted an iterative design process in which we
interviewed five teachers and collaborated with a pedagogical manager, a language researcher,
and two teachers. During the design, we conducted two formal formative evaluations leading
to the design of Emodash. We conducted a two-month in-the-wild field study with five teacher-
learner pairs, to examine how Emodash supports teachers’ retrospective awareness of learners’
emotions in online learning and how it impacts feedback reports that teachers write to learners
after each learning session. The results showed that Emodash led teachers to write significantly
more affective and formative feedback as well as less summative feedback, suggesting a stronger
awareness of learners’ emotions. Also, the dashboard led teachers to reflect on the way they
conduct their lessons, using learners’ emotions as a proxy to evaluate their conduct of teaching.
Third, we studied dashboards in the context of remote and blended learning. Teachers face
one main challenge: lack of actionable insights to devise and engage in informed interventions
with learners. We designed Progdash based on interviews with seven teachers and refined it
through collaborative design prototypes. We implemented and integrated Progdash into an
online French vocabulary, grammar, spelling learning platform. We conducted a three-month in-
the-wild field study with 29 teachers to evaluate whether Progdash provides useful indicators to
teachers about learners’ progression, and how it informs teachers’ practices to engage in informed
interventions. The results showed that teachers found Progdash actionable to inform: monitoring,
assessments, planning, information sharing, feedback, and lesson provision. Based on our findings,
we discussed implications aimed at improving dashboards to bridge online and in-class learning
as well as to foster teachers’ and learners’ dialog and reflection.
Finally, we took a reflexive inquiry building upon the results of the studies of Emodash and Prog-
dash. We articulated the social factors —monitoring, awareness, and reflection, the pedagogical
practices —planning, feedback, and coaching, as well as the technical challenges interacting with
the design and use of teachers’ dashboards. In each dimension we structured and discussed
practical assumptions to inform the design and use of teachers’ dashboards. Together, these dimensions,
serve as a wider conceptual umbrella for the design of information-driven technologies
and macro-implications for dashboards fitting teachers’ and learners’ everyday situations.
Les tableaux de bord ont un grand potentiel pour informer les décisions et pratiques des en-
seignants et des apprenants. Dans cette thèse, nous étudions le design et l’utilisation des tableaux
de bord pour informer les pratiques des enseignants quand ils assistent les apprenants dans lu-
tilisation de plateformes d’apprentissage en ligne. Nous cherchons spécifiquement à examiner
non seulement ce que les enseignants sont censés faire ou peuvent faire avec les tableaux de bord,
mais surtout ce qu’ils en font réellement au quotidien et sur le long terme. Nous argumentons que
cette recherche impose des ramifications sociales, pédagogiques et techniques, qui sont cruciales
à articuler. D’une part, pour éliciter nos réflexions sur les facteurs sociaux, nous avons besoin
d’une enquête critique des pratiques pédagogiques et les challenges techniques engendrés par les
tableaux de bord. D’autre part, pour bien désigner ces technologies, nous avons besoin d’une
compréhension et dune considération profonde des interactions sociales des utilisateurs dans les
contextes et situations d’apprentissage et d’enseignement en classe. Nous avons collaboré avec
des enseignants et des designers de deux plateformes d’apprentissage de langues en ligne pour
concevoir deux tableaux de bord, Emodash et Progdash. Nous avons ensuite mené deux études
longitudinales sur le terrain, d’une durée de deux et trois mois respectivement, pour examiner
l’impact de nos tableaux de bord sur 34 enseignants en situations réelles.
Dans un premier temps, nous avons étudié les tableaux de bord dans le cadre de l’apprentissage
de langues étrangères par visioconférence. Les enseignants sont confrontés à un challenge central
à savoir le manque d’awareness (conscience) émotionnelle dans les échanges qu’ils ont avec les
apprenants en ligne, dû aux interactions distantes et médiées par la technologie. Nous avons
mené une étude de cas examinant une approche multimodale, c’est-à-dire en appliquant deux
modèles théoriques des émotions à savoir discrets et dimensionnels. Nous avons démontré cette
approche en utilisant les flux audio et vidéo pour inférer automatiquement des émotions ainsi
que des émotions auto-rapportées ou “self-reported” par apprenants. Nous avons contextualisé
les émotions moyennant les traces d’interaction d’enseignants et d’apprenants sur la plateforme.
Nous avons analysé 10 sessions d’apprentissage de 45 minutes chacune —un total de plus de
7 heures d’enregistrement. Nous avons proposé une approche pour combiner ces deux modèles
d’émotion discrets et dimensionnels pour capturer les états émotionnels des apprenants de manière
globale. Les premiers résultats soulignent la pertinence de l’approche multimodale pour inférer
les émotions dans un contexte éducatif à distance.
Deuxièmement, en s’appuyant sur la première étude, nous avons adopté un processus de de-
sign itératif dans lequel nous avons interviewé cinq enseignants et collaboré avec un responsable
pédagogique, un chercheur linguiste et deux enseignants durant la conception de Emodash. Au
cours du design, nous avons effectué deux évaluations formelles d’utilisabilité menant au de-
sign final d’Emodash. Nous avons ensuite mené une étude longitudinale sur le terrain de deux
mois avec cinq paires enseignant-apprenant, pour examiner comment Emodash facilite l’awareness
d’enseignants par rapport aux émotions des apprenants et comment cela impacte les bilans péda-
gogiques que les enseignants écrivent aux apprenants après chaque session d’apprentissage. Les
résultats ont montré que Emodash a conduit les enseignants à rédiger significativement plus de
feedback affectif et formatif et moins de feedback sommatif, suggérant une meilleure awareness
des émotions d’apprenants. De plus, le tableau de bord a conduit les enseignants à réfléchir sur
la façon dont ils mènent leurs séances de cours, en utilisant les émotions d’apprenants comme un
proxy pour évaluer l’expérience d’apprentissage.
Troisièmement, nous avons étudié les tableaux de bord dans le contexte de l’apprentissage mixte où
les enseignants articulent des activités d’apprentissage à distance et en face-à-face. Les enseignants
sont confrontés à un défi principal à savoir le manque d’informations précises pour informer des
interventions pédagogiques afin de mieux assister les apprenants. Nous avons conçu et affiné
Progdash sur une base d’entretiens et de design collaboratif avec sept enseignants. Nous avons
implémenté et intégré Progdash dans une plateforme dédiée à l’apprentissage du vocabulaire,
la grammaire et l’orthographe du français en ligne. Nous avons mené une étude longitudinale
sur le terrain de trois mois avec 29 enseignants pour évaluer si Progdash fournit aux enseignants
des indicateurs utiles sur la progression des apprenants et comment cela impacte les pratiques
enseignantes. Les résultats ont montré que les enseignants ont trouvé Progdash utile pour
informer plusieurs interventions : le suivi des apprenants, les évaluations de l’apprentissage, la
planification des interventions, le partage d’informations, la provision du feedback. Sur la base
de nos résultats, nous avons discuté des implications visant à améliorer les tableaux de bord pour
faciliter l’apprentissage en ligne et en classe ainsi que pour favoriser le dialogue et la réflexion des
enseignants et des apprenants.
Enfin, nous avons mené une étude réflexive sur la base des résultats des études Emodash et de
Progdash. Nous avons articulé les facteurs sociaux —mointoring (suivi et régulation), awareness et
réflexion, les pratiques pédagogiques —planification, feedback et coaching, ainsi que les challenges
techniques liés aux tableaux de bord dans un contexte éducatif en ligne. Pour chaque dimension,
nous avons structuré et discuté des pratiques d’appropriations pour informer le design et les usages
des tableaux de bord. Ces dimensions articulent un cadre conceptuel global pour la technologie
d’information en éducation et ainsi des macro-implications pour des tableaux de bord adaptés aux
besoins et situations d’apprentissage et d’enseignement.
Origine | Fichiers produits par l'(les) auteur(s) |
---|