Communication Dans Un Congrès Année : 2025

Role-Playing Evaluation for Large Language Models

Évaluation du jeu de rôle pour les grands modèles de langage

Résumé

Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval

Les grands modèles de langage (LLM) démontrent une capacité notable à adopter des personas et à s’engager dans des jeux de rôle. Cependant, l’évaluation de cette aptitude pose des défis importants, dans la mesure où les évaluations humaines sont coûteuses en ressources et où les évaluations automatisées peuvent être biaisées. Pour répondre à ces enjeux, nous proposons Role-Playing Eval (RPEval), un nouveau benchmark conçu pour évaluer les capacités de jeu de rôle des LLM selon quatre dimensions clés : la compréhension émotionnelle, la prise de décision, l’alignement moral et la cohérence du personnage incarné. Cet article détaille la construction de RPEval et présente des évaluations de référence (baselines). Le code et le jeu de données sont disponibles à l’adresse suivante : https://github.com/yelboudouri/RPEval .

Fichier principal
Vignette du fichier
2505.13157v1.pdf (309.19 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte
Licence
HAL

Est complété par hal-05217795 Objet présenté à une conférence Yassine El Boudouri, Julian Alvarez, Yvan Peter. L'utilisation des Modèles de Langage dans l'Enseignement des Compétences Douces en Relation Client. Atelier Ludopédagogie et Intelligence Artificielle : innovations, limites et perspectives - conférence EIAH, Jun 2025, Lille, France. ⟨hal-05217795⟩

HAL

Est complété par hal-05196939 Objet présenté à une conférence Yassine El Boudouri, Walter Nuninger, Frederic Hoogstoel, Luigi Lancieri, Julian Alvarez, et al.. Formation aux compétences douces : vers un outil auteur pour la création d’agents conversationnels basés sur des LLM. 12ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain, Jul 2025, Lille, France. ⟨hal-05196939⟩

HAL

Est complété par hal-05321787 Objet présenté à une conférence Julian Alvarez, Olivier Chabiron, Yassine El Boudouri, Brenda Hardy, Frédéric Hoogstoel, et al.. RVRC 4.0, un dispositif associant RV et IAG au service de la Relation Client. Forum de l'Innovation, RRI, Oct 2025, Paris, France. pp.95-95, ⟨10.3917/inno.hs1.2025.0095⟩. ⟨hal-05321787⟩

Dates et versions

hal-05223655 , version 1 (03-01-2026)

Licence

Identifiants

Citer

Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter. Role-Playing Evaluation for Large Language Models. International Conference on Methodologies and Intelligent Systems for Technology Enhanced Learning, Jun 2025, Lille, France. ⟨10.48550/arXiv.2505.13157⟩. ⟨hal-05223655⟩
452 Consultations
244 Téléchargements

Altmetric

Partager

  • More