DrBERT: Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

DrBERT: Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique

Résumé

Ces dernières années, les modèles de langage pré-entraînés ont obtenu les meilleures performances sur un large éventail de tâches de traitement automatique du langage naturel (TALN). Alors que les premiers modèles ont été entraînés sur des données issues de domaines généraux, des modèles spécialisés sont apparus pour traiter plus efficacement des domaines spécifiques. Dans cet article, nous proposons une étude originale de modèles de langue dans le domaine médical en français. Nous comparons pour la première fois les performances de modèles entraînés sur des données publiques issues du web et sur des données privées issues d'établissements de santé. Nous évaluons également différentes stratégies d'apprentissage sur un ensemble de tâches biomédicales. Enfin, nous publions les premiers modèles spécialisés pour le domaine biomédical en français, appelés DrBERT, ainsi que le plus grand corpus de données médicales sous licence libre sur lequel ces modèles sont entraînés.
Fichier principal
Vignette du fichier
458407.pdf (318.94 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04130214 , version 1 (20-06-2023)

Identifiants

  • HAL Id : hal-04130214 , version 1

Citer

Yanis Labrak, Adrien Bazoge, Richard Dufour, Mickael Rouvier, Emmanuel Morin, et al.. DrBERT: Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.109-120. ⟨hal-04130214⟩
124 Consultations
34 Téléchargements

Partager

Gmail Facebook X LinkedIn More