EvalLLM 2025: presentation of the second edition of the workshop on LLM evaluation and its challenges
EvalLLM 2025 : présentation de la deuxième édition de l'atelier Évaluation des LLM et des challenges
Résumé
The second edition of the EvalLLM workshop, organized by AMIAD, aims to explore methods for evaluating large generative language models (LLMs), particularly for French and specialized domains. The workshop brought together researchers and industry professionals around scientific presentations and two challenges : a few-shot information extraction challenge in the field of healthcare and an LLM fine-tuning challenge on texts from the field of defense. The work presented addresses the evaluation of LLMs from various angles : benchmark creation, new metrics, cultural biases, robustness, and the use of LLMs as judges. The results of the challenges highlight both methodological advances and persistent difficulties in adapting and evaluating these models in French and in a domain-specific context.
La deuxième édition de l'atelier EvalLLM, organisée par l'AMIAD, poursuit l'objectif d'explorer les méthodes d'évaluation des grands modèles de langue (LLM) génératifs, en particulier pour le français et les domaines spécialisés. L'atelier a réuni chercheurs et industriels autour de communications scientifiques et de deux challenges : un défi d'extraction d'information few-shot dans le domaine de la santé et un défi de fine-tuning de LLM sur des textes du domaine de la défense. Les travaux présentés abordent l'évaluation des LLM sous des angles variés : création de benchmarks, nouvelles métriques, biais culturels, robustesse, et utilisation des LLM comme juges. Les résultats des challenges soulignent à la fois les avancées méthodologiques et les difficultés persistantes dans l'adaptation et l'évaluation de ces modèles en français et en contexte métier.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|