FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2020

FlauBERT : Unsupervised Language Model Pre-training for French

FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français

Hang Le
  • Fonction : Auteur
  • PersonId : 1072766
Loïc Vial
Jibril Frej
  • Fonction : Auteur
  • PersonId : 1072767
Vincent Segonne
  • Fonction : Auteur
  • PersonId : 1070098
Alexandre Allauzen
  • Fonction : Auteur
  • PersonId : 1072793
Benoît Crabbé
Didier Schwab

Résumé

Language models have become a key step to achieve state-of-the art results in many NLP tasks. Leveraging the huge amount of unlabeled texts available, they provide an efficient way to pretrain continuous word representations that can be fine-tuned for downstream tasks, along with theircontextualization at the sentence level. This has been widely demonstrated for English. In this paper, we introduce and share FlauBERT, a model learned on a very large and heterogeneous French corpus. We train models of different sizes using the new CNRS Jean Zay supercomputer. We apply our French language models to several NLP tasks (text classification, paraphrasing, natural language inference, parsing, word sense disambiguation) and show that they often outperform other pre-training approaches on the FLUE benchmark also presented in this article.
Les modèles de langue pré-entraînés sont désormais indispensables pour obtenir des résultats à l’état-de-l’art dans de nombreuses tâches du TALN. Tirant avantage de l’énorme quantité de textes bruts disponibles, ils permettent d’extraire des représentations continues des mots, contextualisées au niveau de la phrase. L’efficacité de ces représentations pour résoudre plusieurs tâches de TALN a été démontrée récemment pour l’anglais. Dans cet article, nous présentons et partageons FlauBERT, un ensemble de modèles appris sur un corpus français hétérogène et de taille importante. Des modèles de complexité différente sont entraînés à l’aide du nouveau supercalculateur Jean Zay du CNRS. Nous évaluons nos modèles de langue sur diverses tâches en français (classification de textes, paraphrase, inférence en langage naturel, analyse syntaxique, désambiguïsation automatique) et montrons qu’ils surpassent souvent les autres approches sur le référentiel d’évaluation FLUE également présenté ici.
Fichier principal
Vignette du fichier
66.pdf (570.4 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Loading...

Dates et versions

hal-02784776 , version 1 (07-06-2020)
hal-02784776 , version 2 (18-06-2020)
hal-02784776 , version 3 (23-06-2020)

Identifiants

  • HAL Id : hal-02784776 , version 2

Citer

Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, et al.. FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition), Jun 2020, Nancy, France. pp.268-278. ⟨hal-02784776v2⟩
953 Consultations
2227 Téléchargements

Partager

Gmail Facebook X LinkedIn More