ALIBERT: A PRETRAINED LANGUAGE MODEL FOR FRENCH BIOMEDICAL TEXT
AliBERT: UN MODÈLE DE LANGAGE PRÉ-ENTRAÎNÉ POUR LES TEXTES BIOMÉDICAUX EN FRANÇAIS
Résumé
Over the past few years, domain specific pretrained language models have been investigated and have shown remarkable achievements in different downstream tasks, especially in biomedical domain. These achievements stem on the well known BERT architecture which uses an attention based self-supervision for context learning of textual documents. However, these domain specific biomedical pretrained language models mainly use English corpora. Therefore, non-English, domain-specific pretrained models remain quite rare, both of these requirements being hard to achieve. In this work, we proposed AliBERT, a biomedical pretrained language model for French and investigated different learning strategies. AliBERT is trained using regularized Unigram based tokenizer trained for this purpose. AliBERT has achieved state of the art F1 and accuracy scores in different down-stream biomedical tasks. Our pretrained model manages to outperform some French non domain-specific models such as CamemBERT and FlauBERT on diverse down-stream tasks, with less pretraining and training time and with much smaller corpora.
Au cours des dernières années, des modèles de langage pré-entraînés spécifiques à un domaine ont été étudiés et ont montré des résultats remarquables dans différentes tâches, en particulier dans le domaine biomédical. Ces résultats découlent de l'architecture bien connue de BERT qui utilise un apprentissage auto-supervisé basé sur l'attention pour l'apprentissage contextuel de documents textuels. Cependant, ces modèles de langage pré-entraînés spécifiques au domaine biomédical utilisent principalement des corpus anglais. Par conséquent, les modèles pré-entraînés spécifiques à un domaine et non anglophones restent assez rares, ces deux exigences étant difficiles à satisfaire. Dans ce travail, nous proposons AliBERT, un modèle de langage pré-entraîné biomédical pour le français et avons exploré différentes stratégies d'apprentissage. AliBERT est entraîné à l'aide d'un tokenizer régularisé basé sur unigram. AliBERT a obtenu des scores F1 et de précision à l'état de l'art dans différentes tâches biomédicales où il a été utilisé. Notre modèle pré-entraîné parvient à surpasser certains modèles français non spécifiques à un domaine, tels que CamemBERT et FlauBERT, dans diverses tâches biomédicales, avec moins de pré-entraînement et de temps d'apprentissage et avec des corpus beaucoup plus petits.
Origine | Fichiers produits par l'(les) auteur(s) |
---|