Pour de nombreuses tâches, des résultats à l'état de l'art ont été atteints avec des architectures de type Transformer, opérant un changement paradigmatique des pratiques caractérisé par le passage de l'utilisation d'architectures spécifiques aux tâches au réglage fin de modèles de langues pré-entraînés. L'apprentissage de modèles avec une quantité de données ou de paramètres en constante augmentation implique des ressources considérables. Cette tendance a induit une dynamique de recherche forte de stratégies de réduction des ressources reposant sur des améliorations algorithmiques et matérielles évaluées uniquement pour l'anglais. Cela soulève des questions quant à leur efficacité lorsqu'ils sont appliqués à des problèmes d'apprentissage à faible échelle, pour lesquels une quantité limitée de données d'entraînement est disponible, en particulier pour les tâches liées aux langues peu dotées. L'absence de corpus de taille appropriée est un obstacle à l'application des approches basées sur l'apprentissage par transfert et l'apprentissage guidé par les données avec des cas de forte instabilité. Dans cet article, nous établissons un état de l'art des efforts dédiés à l'utilisabilité des modèles Transformers et nous proposons d'évaluer ces améliorations sur les performances d'une tâche de réponse aux questions en français avec peu de ressources. Nous abordons l'instabilité liée à la rareté des données en examinant diverses stratégies d'entraînement avec augmentation des données, optimisation des hyperparamètres et transfert translingue. Nous introduisons également un nouveau modèle compact pour le français FrALBERT qui s'avère compétitif dans des contextes à faibles ressources.