Tri-apprentissage génératif : génération de données pour de la reconnaissance d'entitées nommées semi-supervisé - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Tri-apprentissage génératif : génération de données pour de la reconnaissance d'entitées nommées semi-supervisé

Résumé

Le développement de solutions de traitement automatique de la langue pour de nouvelles tâches nécessite des données, dont l'obtention est coûteuses. L'accès aux données peut être limité en raison de la nature sensible des données. La plupart des travaux récents ont exploité de grands modèles pré-entraînés pour initialiser des versions spécialisées de ceux-ci. La spécialisation d'un tel modèle nécessite toujours une quantité élevée de données étiquetées spécifiques à la tâche cible. Nous utilisons l'apprentissage semi-supervisé pour entraîner des modèles dans un contexte où le nombre d'exemples étiquetés est limité et le nombre de données non étiquetées est nul. Nous étudions plusieurs méthodes pour générer le corpus non étiqueté nécessaire à l'utilisation de l'apprentissage semi-supervisé. Nous introduisons les méthodes de génération entre les épisodes d'entraînement et utilisons les modèles entraînés pour filtrer les exemples générés. Nous testons cette génération avec le tri-apprentissage et l'auto-apprentissage sur des corpus Anglais et Français.
Fichier principal
Vignette du fichier
459392 (1).pdf (203.88 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04130130 , version 1 (23-06-2023)

Identifiants

  • HAL Id : hal-04130130 , version 1

Citer

Hugo Boulanger, Thomas Lavergne, Sophie Rosset. Tri-apprentissage génératif : génération de données pour de la reconnaissance d'entitées nommées semi-supervisé. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.68-79. ⟨hal-04130130⟩
50 Consultations
31 Téléchargements

Partager

Gmail Facebook X LinkedIn More