SPQR@Deft2023 : Automatically answering to MCQ in the medical domain with similarity measures and domain-specific corpora
SPQR@Deft2023: Résolution automatique de QCM médicaux à partir de corpus de domaine et de mesures de similarité
Résumé
We exhibit the approach of the SPQR team in the 2023 French Text Mining Challenge (DEFT). This
challenge focused on automatically answering Multiple Choice Questions (MCQ) in the pharmacology domain. We proposed an approach that takes advantage of domain-specific corpora in order to find similarities between possible answers and sentences in the corpora.We compute a cosine similarity on character n-gram vectors to compare them. The best scores we obtained were 0,294 for the Hammingscore on the test set (0,305 on the dev set) and 0,997 for the Exact Match ratio ( 0,16 on the dev set).
Nous présentons le travail de SPQR (Sorbonne Question-Réponses) au DÉfi Fouille de Textes 2023 sur la réponse automatique à des questionnaires à choix multiples dans le domaine de la pharmacologie. Nous proposons une approche fondée sur la constitution de corpus de spécialité et la recherche de phrases similaires entre ces corpus et les différentes réponses possibles à une question. Nous calculons une similarité cosinus sur des vecteurs en n-grammes de caractères pour déterminer les bonnes réponses. Cette approche a obtenu un score maximal en Hamming de 0,249 sur les données de test (0,305 sur le dev) et de 0,0997 en Exact Match Ratio (0,16 sur le dev).
| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|---|
| Licence |
