FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain - Archive ouverte HAL Accéder directement au contenu
Poster De Conférence Année : 2022

FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain

FrenchMedMCQA : Un jeu de données de questions à choix multiple en français pour le domaine médical

Résumé

This paper introduces FrenchMedMCQA, the first publicly available Multiple-Choice Question Answering (MCQA) dataset in French for medical domain. It is composed of 3,105 questions taken from real exams of the French medical specialization diploma in pharmacy, mixing single and multiple answers. Each instance of the dataset contains an identifier, a question, five possible answers and their manual correction(s). We also propose first baseline models to automatically process this MCQA task in order to report on the current performances and to highlight the difficulty of the task. A detailed analysis of the results showed that it is necessary to have representations adapted to the medical domain or to the MCQA task: in our case, English specialized models yielded better results than generic French ones, even though FrenchMedMCQA is in French. Corpus, models and tools are available online.
Cet article présente FrenchMedMCQA, le premier jeu de données de questions à choix multiple (MCQA) en français disponible publiquement pour le domaine médical. Il est composé de 3 105 questions tirées d'examens réels du diplôme de spécialisation médicale française en pharmacie, mélangeant des réponses simples et multiples. Chaque instance du jeu de données contient un identifiant, une question, cinq réponses possibles et leur(s) correction(s) manuelle(s). Nous proposons également des modèles de référence pour traiter automatiquement cette tâche MCQA afin de signaler les performances actuelles et de mettre en évidence la difficulté de la tâche. Une analyse détaillée des résultats a montré qu'il est nécessaire d'avoir des représentations adaptées au domaine médical ou à la tâche MCQA : dans notre cas, les modèles spécialisés en anglais ont donné de meilleurs résultats que les modèles génériques en français, même si FrenchMedMCQA est en français. Le corpus, les modèles et les outils sont disponibles en ligne.
Fichier principal
Vignette du fichier
LABRAK_YANIS_LIA_POSTER_Format_A0.pdf (594.38 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03913329 , version 1 (30-12-2022)

Licence

Copyright (Tous droits réservés)

Identifiants

  • HAL Id : hal-03913329 , version 1

Citer

Yanis Labrak, Adrien Bazoge, Richard Dufour, Béatrice Daille, Pierre‐antoine Gourraud, et al.. FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain. Empirical Methods in Natural Language Processing 2022, Dec 2022, Abu Dhabi, United Arab Emirates. , 2022. ⟨hal-03913329⟩
85 Consultations
72 Téléchargements

Partager

Gmail Facebook X LinkedIn More