Role-Playing Evaluation for Large Language Models
Évaluation du jeu de rôle pour les grands modèles de langage
Résumé
Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval
Les grands modèles de langage (LLM) démontrent une capacité notable à adopter des personas et à s’engager dans des jeux de rôle. Cependant, l’évaluation de cette aptitude pose des défis importants, dans la mesure où les évaluations humaines sont coûteuses en ressources et où les évaluations automatisées peuvent être biaisées. Pour répondre à ces enjeux, nous proposons Role-Playing Eval (RPEval), un nouveau benchmark conçu pour évaluer les capacités de jeu de rôle des LLM selon quatre dimensions clés : la compréhension émotionnelle, la prise de décision, l’alignement moral et la cohérence du personnage incarné. Cet article détaille la construction de RPEval et présente des évaluations de référence (baselines). Le code et le jeu de données sont disponibles à l’adresse suivante : https://github.com/yelboudouri/RPEval .
| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|---|
| Licence |
![]()
Est complété par hal-05217795 Objet présenté à une conférence Yassine El Boudouri, Julian Alvarez, Yvan Peter. L'utilisation des Modèles de Langage dans l'Enseignement des Compétences Douces en Relation Client. Atelier Ludopédagogie et Intelligence Artificielle : innovations, limites et perspectives - conférence EIAH, Jun 2025, Lille, France. ⟨hal-05217795⟩
![]()
Est complété par hal-05196939 Objet présenté à une conférence Yassine El Boudouri, Walter Nuninger, Frederic Hoogstoel, Luigi Lancieri, Julian Alvarez, et al.. Formation aux compétences douces : vers un outil auteur pour la création d’agents conversationnels basés sur des LLM. 12ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain, Jul 2025, Lille, France. ⟨hal-05196939⟩
![]()
Est complété par hal-05321787 Objet présenté à une conférence Julian Alvarez, Olivier Chabiron, Yassine El Boudouri, Brenda Hardy, Frédéric Hoogstoel, et al.. RVRC 4.0, un dispositif associant RV et IAG au service de la Relation Client. Forum de l'Innovation, RRI, Oct 2025, Paris, France. pp.95-95, ⟨10.3917/inno.hs1.2025.0095⟩. ⟨hal-05321787⟩