CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé

Résumé

Les données cliniques dans les hôpitaux sont de plus en plus accessibles pour la recherche à travers les entrepôts de données de santé, cependant ces documents sont non-structurés. Il est donc nécessaire d'extraire les informations des comptes-rendus médicaux. L'utilisation du transfert d'apprentissage grâce à des modèles de type BERT comme CamemBERT ont permis des avancées majeures, notamment pour la reconnaissance d'entités nommées. Cependant, ces modèles sont entraînés pour le langage courant et sont moins performants sur des données biomédicales. C'est pourquoi nous proposons un nouveau jeu de données biomédical public français sur lequel nous avons poursuivi le pré-entraînement de CamemBERT. Ainsi, nous présentons une première version de CamemBERT-bio, un modèle public spécialisé pour le domaine biomédical français qui montre un gain de 2,54 points de F-mesure en moyenne sur différents jeux d'évaluations de reconnaissance d'entités nommées biomédicales.
Fichier principal
Vignette du fichier
461902.pdf (209.35 Ko) Télécharger le fichier
Licence : CC BY - Paternité

Dates et versions

hal-04130187 , version 1 (29-06-2023)

Licence

Paternité

Identifiants

  • HAL Id : hal-04130187 , version 1

Citer

Rian Touchent, Laurent Romary, Eric De La Clergerie. CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé. Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, Jun 2023, Paris, France. pp.323-334. ⟨hal-04130187⟩
575 Consultations
313 Téléchargements

Partager

Gmail Facebook X LinkedIn More