Impact de l'apprentissage multi-labels actif appliqué aux transformers - Archive ouverte HAL
Communication Dans Un Congrès Année : 2023

Impact de l'apprentissage multi-labels actif appliqué aux transformers

Résumé

L'Apprentissage Actif (AA) est largement utilisé en apprentissage automatique afin de réduire l'effort d'annotation. Bien que la plupart des travaux d'AA soient antérieurs aux transformers, le succès récent de ces architectures a conduit la communauté à revisiter l'AA dans le contexte des modèles de langues pré-entraînés.De plus, le mécanisme de fine-tuning, où seules quelques données annotées sont utilisées pour entraîner le modèle sur une nouvelle tâche, est parfaitement en accord avec l'objectif de l'AA. Nous proposons d'étudier l'impact de l'AA dans le contexte des transformers pour la tâche de classification multi-labels. Or la plupart des stratégies AA, lorsqu'elles sont appliquées à ces modèles, conduisent à des temps de calcul excessifs, ce qui empêche leur utilisation au cours d'une interaction homme-machine en temps réel. Afin de pallier ce problème, nous utilisons des stratégies d'AA basées sur l'incertitude. L'article compare six stratégies d'AA basées sur l'incertitude dans le contexte des transformers et montre que si deux stratégies améliorent invariablement les performances, les autres ne surpassent pas l'échantillonnage aléatoire. L'étude montre également que les stratégies performantes ont tendance à sélectionner des ensembles d'instances plus diversifiées pour l'annotation.
Fichier principal
Vignette du fichier
461766.pdf (1.51 Mo) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04131550 , version 1 (20-06-2023)

Licence

Identifiants

  • HAL Id : hal-04131550 , version 1

Citer

Maxime Arens, Charles Teissèdre, Lucile Callebert, Jose G. Moreno, Mohand Boughanem. Impact de l'apprentissage multi-labels actif appliqué aux transformers. 18ème Conférence en Recherche d'Information et Applications (CORIA 2023), Jun 2023, Paris, France. pp.2-17. ⟨hal-04131550⟩
119 Consultations
69 Téléchargements

Partager

More