Les modèles Bloom pour le traitement automatique de la langue française - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2024

Les modèles Bloom pour le traitement automatique de la langue française

Résumé

The development of very large language models, capable of performing a large range of automatic language processing tasks, simultaneously requires to develop the infrastructure needed to evaluate these models, ideally covering as many tasks as possible. Numerous benchmarks have already been compiled for the English language, making it possible to evaluate these large models from multiple angles. Several multilingual test sets are also available, with a much lesser coverage, which are used to measure the ability of these models to handle multiple languages. In this paper, we present our efforts to assemble a multi-task evaluation set for French, which is then used to evaluate models from the BLOOM family. Our results confirm and complement the main evaluation results for BLOOM in English; they allow us to conclude that the performances obtained in French and English are very similar and even better when the prompts used at inference are written in the same language as the texts to analyze.
Le développement de très grands modèles de langue, capables de prendre en charge de multiples analyses automatiques de textes, implique de développer en parallèle l'infrastructure requise pour évaluer ces modèles, en couvrant idéalement le plus de tâches possible. De nombreux ensembles de données de référence ont ainsi été rassemblés pour la langue anglaise, permettant d'évaluer ces gigas modèles sous de multiples facettes. Il existe également des jeux de test multilingues, avec une couverture bien moindre, qui sont utilisés pour mesurer la capacité de ces modèles à traiter plusieurs langues. Dans cet article, nous présentons nos propres efforts pour assembler un ensemble d'évaluation multi-tâche pour le français, qui est ensuite utilisé pour évaluer les modèles de la famille BLOOM. Les résultats présentés ici confirment et complémentent les principaux résultats d'évaluation de BLOOM en anglais; ils permettent de conclure que les performances obtenues en français et en anglais sont très voisines, et encore meilleures lorsque les amorces utilisés pour l'inférence en contexte sont rédigées dans la même langue que les textes soumis à l'analyse.
Fichier principal
Vignette du fichier
bloominfrance.pdf (551.12 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Licence : CC BY ND - Paternité - Pas de modifications

Dates et versions

hal-04435371 , version 1 (02-02-2024)

Licence

Paternité - Partage selon les Conditions Initiales

Identifiants

  • HAL Id : hal-04435371 , version 1

Citer

Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, et al.. Les modèles Bloom pour le traitement automatique de la langue française. 2024. ⟨hal-04435371⟩
133 Consultations
73 Téléchargements

Partager

Gmail Facebook X LinkedIn More