Un modèle Transformer Génératif Pré-entrainé pour le ______ français - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Un modèle Transformer Génératif Pré-entrainé pour le ______ français

Antoine Simoulin
Benoit Crabbé
  • Fonction : Auteur
  • PersonId : 1098477

Résumé

Nous proposons une adaptation en français du fameux modèle Generative Pre-trained Transformer (GPT). Ce dernier appartient à la catégorie des architectures transformers qui ont significativement transformé les méthodes de traitement automatique du langage. Ces architectures sont en particulier pré-entraînées sur des tâches auto-supervisées et sont ainsi spécifiques pour une langue donnée. Si certaines sont disponibles en français, la plupart se déclinent avant tout en anglais. GPT est particulièrement efficace pour les tâches de génération de texte. Par ailleurs, il est possible de l’appliquer à de nombreux cas d’usages. Ses propriétés génératives singulières permettent de l’utiliser dans des conditions originales comme l’apprentissage sans exemple qui ne suppose aucune mise à jour des poids du modèle, ou modification de l’architecture.
Fichier principal
Vignette du fichier
7.pdf (389.64 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03265900 , version 1 (23-06-2021)

Identifiants

  • HAL Id : hal-03265900 , version 1

Citer

Antoine Simoulin, Benoit Crabbé. Un modèle Transformer Génératif Pré-entrainé pour le ______ français. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.246-255. ⟨hal-03265900⟩
817 Consultations
587 Téléchargements

Partager

Gmail Facebook X LinkedIn More