Communication Dans Un Congrès Année : 2025

EvalLLM 2025: presentation of the second edition of the workshop on LLM evaluation and its challenges

EvalLLM 2025 : présentation de la deuxième édition de l'atelier Évaluation des LLM et des challenges

Résumé

The second edition of the EvalLLM workshop, organized by AMIAD, aims to explore methods for evaluating large generative language models (LLMs), particularly for French and specialized domains. The workshop brought together researchers and industry professionals around scientific presentations and two challenges : a few-shot information extraction challenge in the field of healthcare and an LLM fine-tuning challenge on texts from the field of defense. The work presented addresses the evaluation of LLMs from various angles : benchmark creation, new metrics, cultural biases, robustness, and the use of LLMs as judges. The results of the challenges highlight both methodological advances and persistent difficulties in adapting and evaluating these models in French and in a domain-specific context.

La deuxième édition de l'atelier EvalLLM, organisée par l'AMIAD, poursuit l'objectif d'explorer les méthodes d'évaluation des grands modèles de langue (LLM) génératifs, en particulier pour le français et les domaines spécialisés. L'atelier a réuni chercheurs et industriels autour de communications scientifiques et de deux challenges : un défi d'extraction d'information few-shot dans le domaine de la santé et un défi de fine-tuning de LLM sur des textes du domaine de la défense. Les travaux présentés abordent l'évaluation des LLM sous des angles variés : création de benchmarks, nouvelles métriques, biais culturels, robustesse, et utilisation des LLM comme juges. Les résultats des challenges soulignent à la fois les avancées méthodologiques et les difficultés persistantes dans l'adaptation et l'évaluation de ces modèles en français et en contexte métier.

Fichier principal
Vignette du fichier
Claveau_atelier_EvalLLM2025.pdf (1.07 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-05378525 , version 1 (23-11-2025)

Identifiants

  • HAL Id : hal-05378525 , version 1

Citer

Nihel Kooli, Vincent Claveau, Julianne Flament, Lorenzo Gerardi, Maxime Poulain, et al.. EvalLLM 2025 : présentation de la deuxième édition de l'atelier Évaluation des LLM et des challenges. Actes de l'atelier EvalLLM 2025, AMIAD, Jun 2025, Marseille, France. ⟨hal-05378525⟩

Collections

0 Consultations
0 Téléchargements

Partager

  • More