« 82 études mais seulement 9 sans biais majeur » : quels constats et enjeux dans l’évaluation du risque de biais dans les méta-analyses en psychologie sociale ?
Résumé
Alors que les études en psychologie sociale sont régulièrement critiquées pour leurs biais méthodologiques, évaluer le risque que leurs conclusions soient biaisées représente un enjeu central dans notre discipline. Dans une méta-analyse pré-enregistrée (provisoirement accepté comme RR: https://osf.io/v8953) portant sur les effets de la distance psychologique au changement climatique sur l’action climatique, nous avons évalué le risque de biais de 82 études (40 corrélationnelles, 42 expérimentales) à l’aide du Cochrane Risk of Bias (RoB2, Sterne et al., 2018), un outil classique dans les études médicales randomisées mais peu utilisé en psychologie sociale.
Cet outil a permis de souligner que les études incluses, majoritairement réalisées en ligne, présentent fréquemment des risques liés aux exclusions visant à contrôler le contexte de passation (temps de réponse, attention…) ainsi qu’aux données manquantes, souvent nombreuses.
Nous avons également constaté que peu d’entre elles bénéficient d’un pré-enregistrement, indiquant un risque dans la sélection des résultats rapportés. Au total, seulement 11% des études de notre échantillon présentent un risque de biais globalement faible (53% moyen, 36% élevé).
Si ces premiers résultats soulignent que des enjeux méthodologiques majeurs subsistent dans ce domaine pour établir des conclusions robustes, des doutes persistent également concernant la pertinence de l’outil pour mesurer finement le risque de biais. En s’appuyant sur les analyses méta-analytiques intégrant l’évaluation du risque de biais (le traitement des données s’achevant fin janvier), nous discuterons de l’utilité du ROB2 en comparaison d’autres échelles mesurant la qualité des études (CONSORT-SPU, AXIS tool…) pour discriminer les études en psychologie sociale.