On the Usability of Transformers-based models for a French Question-Answering task - Archive ouverte HAL Access content directly
Conference Papers Year : 2021

On the Usability of Transformers-based models for a French Question-Answering task

De l'utilisabilité des modèles Transformers appliqués à une tâche de réponse aux questions en français

Abstract

For many tasks, state-of-the-art results have been achieved with Transformer-based architectures, resulting in a paradigmatic shift in practices from the use of task-specific architectures to the fine-tuning of pre-trained language models. The ongoing trend consists in training models with an ever-increasing amount of data and parameters, which requires considerable resources. It leads to a strong search to improve resource efficiency based on algorithmic and hardware improvements evaluated only for English. This raises questions about their usability when applied to small-scale learning problems, for which a limited amount of training data is available, especially for underresourced languages tasks. The lack of appropriately sized corpora is a hindrance to applying data-driven and transfer learning-based approaches with strong instability cases. In this paper, we establish a state-of-the-art of the efforts dedicated to the usability of Transformerbased models and propose to evaluate these improvements on the question-answering performances of French language which have few resources. We address the instability relating to data scarcity by investigating various training strategies with data augmentation, hyperparameters optimization and cross-lingual transfer. We also introduce a new compact model for French FrALBERT which proves to be competitive in low-resource settings.
Pour de nombreuses tâches, des résultats à l'état de l'art ont été atteints avec des architectures de type Transformer, opérant un changement paradigmatique des pratiques caractérisé par le passage de l'utilisation d'architectures spécifiques aux tâches au réglage fin de modèles de langues pré-entraînés. L'apprentissage de modèles avec une quantité de données ou de paramètres en constante augmentation implique des ressources considérables. Cette tendance a induit une dynamique de recherche forte de stratégies de réduction des ressources reposant sur des améliorations algorithmiques et matérielles évaluées uniquement pour l'anglais. Cela soulève des questions quant à leur efficacité lorsqu'ils sont appliqués à des problèmes d'apprentissage à faible échelle, pour lesquels une quantité limitée de données d'entraînement est disponible, en particulier pour les tâches liées aux langues peu dotées. L'absence de corpus de taille appropriée est un obstacle à l'application des approches basées sur l'apprentissage par transfert et l'apprentissage guidé par les données avec des cas de forte instabilité. Dans cet article, nous établissons un état de l'art des efforts dédiés à l'utilisabilité des modèles Transformers et nous proposons d'évaluer ces améliorations sur les performances d'une tâche de réponse aux questions en français avec peu de ressources. Nous abordons l'instabilité liée à la rareté des données en examinant diverses stratégies d'entraînement avec augmentation des données, optimisation des hyperparamètres et transfert translingue. Nous introduisons également un nouveau modèle compact pour le français FrALBERT qui s'avère compétitif dans des contextes à faibles ressources.
Fichier principal
Vignette du fichier
RANLP_2021_transformers_usability.pdf (198.62 Ko) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-03336060 , version 1 (06-09-2021)

Identifiers

  • HAL Id : hal-03336060 , version 1

Cite

Oralie Cattan, Christophe Servan, Sophie Rosset. On the Usability of Transformers-based models for a French Question-Answering task. Recent Advances in Natural Language Processing (RANLP), Sep 2021, Varna, Bulgaria. ⟨hal-03336060⟩
448 View
504 Download

Share

Gmail Mastodon Facebook X LinkedIn More