Les Transformers ont suscité un changement paradigmatique dans les pratiques d'apprentisage aux questions-réponses en simplifiant les architectures. Avec des modèles devenus plus grands et plus performants, d'importants défauts d'utilisation sont apparus. Il s'agit notamment de leurs coûts de calcul et de la dégradation de leurs performances avec des quantités de données d'entraînement limitées (par exemple, des tâches linguistiques spécifiques à un domaine ou à faibles ressources). En tenant compte de ce compromis de ressources, nous (i) explorons des stratégies d'entraînement telles que l'augmentation des données, l'optimisation des hyperparamètres, les transferts interlingues et le mélange de jeux de données, (ii) effectuons une analyse approfondie pour comprendre la contribution de chacune sur le maintien de la performance du modèle et (iii) fournissons un corpus de questions-réponses et un modèle pré-entraîné compressé pour le français. Nos résultats expérimentaux attestent du mérite d'un paradigme flexible pour un scénario à faibles ressources.