SPQR@Deft2023: Résolution automatique de QCM médicaux à partir de corpus de domaine et de mesures de similarité - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

SPQR@Deft2023 : Automatically answering to MCQ in the medical domain with similarity measures and domain-specific corpora

SPQR@Deft2023: Résolution automatique de QCM médicaux à partir de corpus de domaine et de mesures de similarité

Résumé

We exhibit the approach of the SPQR team in the 2023 French Text Mining Challenge (DEFT). This challenge focused on automatically answering Multiple Choice Questions (MCQ) in the pharmacology domain. We proposed an approach that takes advantage of domain-specific corpora in order to find similarities between possible answers and sentences in the corpora.We compute a cosine similarity on character n-gram vectors to compare them. The best scores we obtained were 0,294 for the Hammingscore on the test set (0,305 on the dev set) and 0,997 for the Exact Match ratio ( 0,16 on the dev set).
Nous présentons le travail de SPQR (Sorbonne Question-Réponses) au DÉfi Fouille de Textes 2023 sur la réponse automatique à des questionnaires à choix multiples dans le domaine de la pharmacologie. Nous proposons une approche fondée sur la constitution de corpus de spécialité et la recherche de phrases similaires entre ces corpus et les différentes réponses possibles à une question. Nous calculons une similarité cosinus sur des vecteurs en n-grammes de caractères pour déterminer les bonnes réponses. Cette approche a obtenu un score maximal en Hamming de 0,249 sur les données de test (0,305 sur le dev) et de 0,0997 en Exact Match Ratio (0,16 sur le dev).
Fichier principal
Vignette du fichier
Deft2023-2-13.pdf (245.59 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Licence : CC BY NC - Paternité - Pas d'utilisation commerciale

Dates et versions

hal-04131847 , version 1 (17-06-2023)

Licence

Paternité - Pas d'utilisation commerciale

Identifiants

  • HAL Id : hal-04131847 , version 1

Citer

Julien Bezançon, Toufik Boubehziz, Corina Chutaux, Oumaima Zine, Laurie Acensio, et al.. SPQR@Deft2023: Résolution automatique de QCM médicaux à partir de corpus de domaine et de mesures de similarité. Actes du Défi Fouille de Textes@TALN2023, ATALA, Jun 2023, Paris, France. https://coria-taln-2023.sciencesconf.org/data/proceedings_DEFT.pdf. ⟨hal-04131847⟩
54 Consultations
26 Téléchargements

Partager

Gmail Facebook X LinkedIn More