FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain
FrenchMedMCQA : Un jeu de données de questions à choix multiple en français pour le domaine médical
Résumé
This paper introduces FrenchMedMCQA, the first publicly available Multiple-Choice Question Answering (MCQA) dataset in French for medical domain. It is composed of 3,105 questions taken from real exams of the French medical specialization diploma in pharmacy, mixing single and multiple answers. Each instance of the dataset contains an identifier, a question, five possible answers and their manual correction(s). We also propose first baseline models to automatically process this MCQA task in order to report on the current performances and to highlight the difficulty of the task. A detailed analysis of the results showed that it is necessary to have representations adapted to the medical domain or to the MCQA task: in our case, English specialized models yielded better results than generic French ones, even though FrenchMedMCQA is in French. Corpus, models and tools are available online.
Cet article présente FrenchMedMCQA, le premier jeu de données de questions à choix multiple (MCQA) en français disponible publiquement pour le domaine médical. Il est composé de 3 105 questions tirées d'examens réels du diplôme de spécialisation médicale française en pharmacie, mélangeant des réponses simples et multiples. Chaque instance du jeu de données contient un identifiant, une question, cinq réponses possibles et leur(s) correction(s) manuelle(s). Nous proposons également des modèles de référence pour traiter automatiquement cette tâche MCQA afin de signaler les performances actuelles et de mettre en évidence la difficulté de la tâche. Une analyse détaillée des résultats a montré qu'il est nécessaire d'avoir des représentations adaptées au domaine médical ou à la tâche MCQA : dans notre cas, les modèles spécialisés en anglais ont donné de meilleurs résultats que les modèles génériques en français, même si FrenchMedMCQA est en français. Le corpus, les modèles et les outils sont disponibles en ligne.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|