eOSCE stations live versus remote evaluation and scores variability
Donia Bouzid
(1)
,
Jimmy Mullaert
(1)
,
Aiham Ghazali
(1)
,
Valentine Marie Ferré
(1)
,
France Mentré
(1)
,
Cédric Lemogne
(2)
,
Philippe Ruszniewski
(3)
,
Albert Faye
(4)
,
Alexy Tran Dinh
(5)
,
Tristan Mirault
(6)
,
Nathan Peiffer Smadja
,
Léonore Muller
,
Laure Falque Pierrotin
,
Michael Thy
,
Maksud Assadi
,
Sonia Yung
,
Christian de Tymowski
,
Quentin Le Hingrat
,
Xavier Eyer
,
Paul Henri Wicky
,
Mehdi Oualha
,
Véronique Houdouin
,
Patricia Jabre
,
Dominique Vodovar
,
Marco Dioguardi Burgio
,
Noémie Zucman
,
Rosy Tsopra
(7, 8, 6)
,
Asmaa Tazi
,
Quentin Ressaire
,
Yann Nguyen
,
Muriel Girard
,
Adèle Frachon
,
François Depret
,
Anna Pellat
,
Adèle de Masson
,
Henri Azais
,
Nathalie de Castro
,
Caroline Jeantrelle
,
Nicolas Javaud
,
Alexandre Malmartel
,
Constance Jacquin de Margerie
,
Benjamin Chousterman
,
Ludovic Fournel
,
Mathilde Holleville
,
Stéphane Blanche
1
IAME (UMR_S_1137 / U1137) -
Infection, Anti-microbiens, Modélisation, Evolution
2 IPNP - U1266 Inserm - Institut de psychiatrie et neurosciences de Paris
3 Hôpital Beaujon [AP-HP]
4 AP-HP Hôpital universitaire Robert-Debré [Paris]
5 CIC Hôpital Bichat
6 HEGP - Hôpital Européen Georges Pompidou [APHP]
7 CRC (UMR_S_1138 / U1138) - Centre de Recherche des Cordeliers
8 HeKA - Health data- and model- driven Knowledge Acquisition
2 IPNP - U1266 Inserm - Institut de psychiatrie et neurosciences de Paris
3 Hôpital Beaujon [AP-HP]
4 AP-HP Hôpital universitaire Robert-Debré [Paris]
5 CIC Hôpital Bichat
6 HEGP - Hôpital Européen Georges Pompidou [APHP]
7 CRC (UMR_S_1138 / U1138) - Centre de Recherche des Cordeliers
8 HeKA - Health data- and model- driven Knowledge Acquisition
Tristan Mirault
- Fonction : Auteur
- PersonId : 764162
- IdHAL : tristan-mirault
- ORCID : 0000-0001-8690-1093
- IdRef : 144101599
Nathan Peiffer Smadja
- Fonction : Auteur
Léonore Muller
- Fonction : Auteur
Laure Falque Pierrotin
- Fonction : Auteur
Michael Thy
- Fonction : Auteur
Maksud Assadi
- Fonction : Auteur
Sonia Yung
- Fonction : Auteur
Christian de Tymowski
- Fonction : Auteur
Quentin Le Hingrat
- Fonction : Auteur
Xavier Eyer
- Fonction : Auteur
Paul Henri Wicky
- Fonction : Auteur
Mehdi Oualha
- Fonction : Auteur
Véronique Houdouin
- Fonction : Auteur
Patricia Jabre
- Fonction : Auteur
Dominique Vodovar
- Fonction : Auteur
Marco Dioguardi Burgio
- Fonction : Auteur
Noémie Zucman
- Fonction : Auteur
Rosy Tsopra
- Fonction : Auteur
- PersonId : 770202
- IdHAL : rosy-tsopra
- ORCID : 0000-0002-9406-5547
Asmaa Tazi
- Fonction : Auteur
Quentin Ressaire
- Fonction : Auteur
Yann Nguyen
- Fonction : Auteur
Muriel Girard
- Fonction : Auteur
Adèle Frachon
- Fonction : Auteur
François Depret
- Fonction : Auteur
Anna Pellat
- Fonction : Auteur
Adèle de Masson
- Fonction : Auteur
Henri Azais
- Fonction : Auteur
Nathalie de Castro
- Fonction : Auteur
Caroline Jeantrelle
- Fonction : Auteur
Nicolas Javaud
- Fonction : Auteur
Alexandre Malmartel
- Fonction : Auteur
Constance Jacquin de Margerie
- Fonction : Auteur
Benjamin Chousterman
- Fonction : Auteur
- PersonId : 778677
- ORCID : 0000-0002-9592-7014
- IdRef : 194373789
Ludovic Fournel
- Fonction : Auteur
Mathilde Holleville
- Fonction : Auteur
Stéphane Blanche
- Fonction : Auteur
Résumé
Abstract Background Objective structured clinical examinations (OSCEs) are known to be a fair evaluation method. These recent years, the use of online OSCEs (eOSCEs) has spread. This study aimed to compare remote versus live evaluation and assess the factors associated with score variability during eOSCEs. Methods We conducted large-scale eOSCEs at the medical school of the Université de Paris Cité in June 2021 and recorded all the students’ performances, allowing a second evaluation. To assess the agreement in our context of multiple raters and students, we fitted a linear mixed model with student and rater as random effects and the score as an explained variable. Results One hundred seventy observations were analyzed for the first station after quality control. We retained 192 and 110 observations for the statistical analysis of the two other stations. The median score and interquartile range were 60 out of 100 (IQR 50–70), 60 out of 100 (IQR 54–70), and 53 out of 100 (IQR 45–62) for the three stations. The score variance proportions explained by the rater (ICC rater) were 23.0, 16.8, and 32.8%, respectively. Of the 31 raters, 18 (58%) were male. Scores did not differ significantly according to the gender of the rater ( p = 0.96, 0.10, and 0.26, respectively). The two evaluations showed no systematic difference in scores ( p = 0.92, 0.053, and 0.38, respectively). Conclusion Our study suggests that remote evaluation is as reliable as live evaluation for eOSCEs.