On the Usability of Transformers-based models for a French Question-Answering task - Archive ouverte HAL
Conference Papers Year : 2022

On the Usability of Transformers-based models for a French Question-Answering task

Utilisabilité des modèles Transformers pour une tâche de Question-Réponse - résumé

Oralie Cattan
  • Function : Author
  • PersonId : 1144213
Christophe Servan
Sophie Rosset

Abstract

Transformers have sparked a paradigmatic shift in question-answering training practices by simplifying its architectures. As models became larger and better important usability shortcomings appeared. This includes their computational costs and degraded performance with limited training data (e.g., domainspecific or low-resourced language tasks). Considering this resource trade-off, we (i) explore training strategies such as data augmentation, hyperparameter optimization, cross-lingual transfers and crossdataset mixing, (ii) perform an in-depth analysis to understand the contribution of each on model performance maintenance and (iii) provide a question-answering corpus and a compressed pre-trained model for French. Our experimental results attest to the merit of a flexible paradigm for a low-resource scenario.
Les Transformers ont suscité un changement paradigmatique dans les pratiques d'apprentisage aux questions-réponses en simplifiant les architectures. Avec des modèles devenus plus grands et plus performants, d'importants défauts d'utilisation sont apparus. Il s'agit notamment de leurs coûts de calcul et de la dégradation de leurs performances avec des quantités de données d'entraînement limitées (par exemple, des tâches linguistiques spécifiques à un domaine ou à faibles ressources). En tenant compte de ce compromis de ressources, nous (i) explorons des stratégies d'entraînement telles que l'augmentation des données, l'optimisation des hyperparamètres, les transferts interlingues et le mélange de jeux de données, (ii) effectuons une analyse approfondie pour comprendre la contribution de chacune sur le maintien de la performance du modèle et (iii) fournissons un corpus de questions-réponses et un modèle pré-entraîné compressé pour le français. Nos résultats expérimentaux attestent du mérite d'un paradigme flexible pour un scénario à faibles ressources.
Fichier principal
Vignette du fichier
CIRCLE_2022___extended_abstract_paper__RANLP__2_col_CEUR.pdf (696 Ko) Télécharger le fichier
Origin Publisher files allowed on an open archive

Dates and versions

hal-03701740 , version 1 (05-07-2022)

Identifiers

  • HAL Id : hal-03701740 , version 1

Cite

Oralie Cattan, Christophe Servan, Sophie Rosset. On the Usability of Transformers-based models for a French Question-Answering task. Joint Conference of the Information Retrieval Communities in Europe (CIRCLE) 2022, Jul 2022, Samatan, France. ⟨hal-03701740⟩
86 View
55 Download

Share

More