ALIBERT: A PRETRAINED LANGUAGE MODEL FOR FRENCH BIOMEDICAL TEXT - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail (Preprint/Prepublication) Année : 2023

ALIBERT: A PRETRAINED LANGUAGE MODEL FOR FRENCH BIOMEDICAL TEXT

AliBERT: UN MODÈLE DE LANGAGE PRÉ-ENTRAÎNÉ POUR LES TEXTES BIOMÉDICAUX EN FRANÇAIS

Aman Berhe
  • Fonction : Auteur
  • PersonId : 1209387
Guillaume Draznieks
  • Fonction : Auteur
  • PersonId : 1209384
Vincent Martenot
  • Fonction : Auteur
  • PersonId : 1131265
Valentin Masdeu
  • Fonction : Auteur
  • PersonId : 1131266
Lucas Davy
  • Fonction : Auteur
  • PersonId : 1209385
Jean-Daniel Zucker

Résumé

Over the past few years, domain specific pretrained language models have been investigated and have shown remarkable achievements in different downstream tasks, especially in biomedical domain. These achievements stem on the well known BERT architecture which uses an attention based self-supervision for context learning of textual documents. However, these domain specific biomedical pretrained language models mainly use English corpora. Therefore, non-English, domain-specific pretrained models remain quite rare, both of these requirements being hard to achieve. In this work, we proposed AliBERT, a biomedical pretrained language model for French and investigated different learning strategies. AliBERT is trained using regularized Unigram based tokenizer trained for this purpose. AliBERT has achieved state of the art F1 and accuracy scores in different down-stream biomedical tasks. Our pretrained model manages to outperform some French non domain-specific models such as CamemBERT and FlauBERT on diverse down-stream tasks, with less pretraining and training time and with much smaller corpora.
Au cours des dernières années, des modèles de langage pré-entraînés spécifiques à un domaine ont été étudiés et ont montré des résultats remarquables dans différentes tâches, en particulier dans le domaine biomédical. Ces résultats découlent de l'architecture bien connue de BERT qui utilise un apprentissage auto-supervisé basé sur l'attention pour l'apprentissage contextuel de documents textuels. Cependant, ces modèles de langage pré-entraînés spécifiques au domaine biomédical utilisent principalement des corpus anglais. Par conséquent, les modèles pré-entraînés spécifiques à un domaine et non anglophones restent assez rares, ces deux exigences étant difficiles à satisfaire. Dans ce travail, nous proposons AliBERT, un modèle de langage pré-entraîné biomédical pour le français et avons exploré différentes stratégies d'apprentissage. AliBERT est entraîné à l'aide d'un tokenizer régularisé basé sur unigram. AliBERT a obtenu des scores F1 et de précision à l'état de l'art dans différentes tâches biomédicales où il a été utilisé. Notre modèle pré-entraîné parvient à surpasser certains modèles français non spécifiques à un domaine, tels que CamemBERT et FlauBERT, dans diverses tâches biomédicales, avec moins de pré-entraînement et de temps d'apprentissage et avec des corpus beaucoup plus petits.
Fichier principal
Vignette du fichier
AliBERT_HAL_V2.pdf (520.42 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03911564 , version 1 (23-12-2022)
hal-03911564 , version 2 (03-02-2023)

Identifiants

  • HAL Id : hal-03911564 , version 2

Citer

Aman Berhe, Guillaume Draznieks, Vincent Martenot, Valentin Masdeu, Lucas Davy, et al.. ALIBERT: A PRETRAINED LANGUAGE MODEL FOR FRENCH BIOMEDICAL TEXT. 2023. ⟨hal-03911564v2⟩
476 Consultations
356 Téléchargements

Partager

Gmail Facebook X LinkedIn More