Artificial Intelligence in Emergency Structures: the Role of Training and Human Oversight
L’intelligence artificielle dans les structures d’urgences : place de la formation et de la garantie humaine
Résumé
The research on artificial intelligence (AI) applied to emergency medicine and its daily use in emergency departments has significantly increased in recent years. AI should be considered as a tool to assist in the diagnosis and therapeutic management of patients and to improve the organization of the emergency departments, particularly considering contextual constraints from several aspects. AI has not only advantages (reproducibility, speed) but also risks (error, loss of critical thinking). Like the General Data Protection Regulation, especially for health, the European Commission has published a draft regulation called “AI Act” for the design, development, and use of AI algorithms. It wishes to impose, among other things, a human guarantee, in other words, human supervision to ensure the safety of patients, caregivers, and institutions. The establishment of a multiprofessional human guarantee college aiming to guarantee the supervision of AI tools from design, development, deployment, and daily use will thus ensure the long-term safety of patients.
La recherche sur l’intelligence artificielle (IA) appliquée à la médecine d’urgence et son utilisation au quotidien dans les structures d’urgences (SU) ont augmenté significativement ces dernières années. L’IA doit être considérée comme un outil d’aide à la prise en charge diagnostique et thérapeutique des patients et d’amélioration de l’organisation des SU, notamment par la prise en compte de contraintes « métiers », contextuelles, relatives aux patients et plus généralement structurelles. L’IA comporte des avantages (reproductibilité, rapidité) mais aussi des risques (erreur, perte d’esprit critique). À l’image du Règlement général sur la protection des données et notamment de santé, la Commission européenne a publié un projet de règlement nommé « AI Act » pour la conception, le développement et l’utilisation des algorithmes d’IA. Elle souhaite imposer, entre autres, une garantie humaine, autrement dit une supervision humaine pour assurer la sécurité des patients, des soignants et des institutions. La mise en place d’un collège de garantie humaine pluriprofessionnel visant à garantir la supervision des outils d’IA de la conception au développement, au déploiement et à l’utilisation quotidienne permettra ainsi d’assurer durablement la sécurité des patients.