Zero/Few Shots Generative LLM or Manual Annotation ? Feedback from the EvalLLM 2024 Challenge
LLM Génératif Zero/Few Shots ou Annotation Manuelle ? Retours d'Expériences du défi EvalLLM 2024
Résumé
This report details the approaches tested as part of the EvalLLM 2024 challenge. Our participation in
the challenge aimed to provide answers to the following questions : to what extent can the annotated
and developed data from the POPCORN project adapt to a new class typology and a new annotation
guide ? What performance do supervised models trained on data simply aligned with this new
typology ? Do the development time constraints (we limited ourselves to two days of participation),
environmental factors, and the performances obtained by all the systems participating in the challenge
encourage the use of large generative language models rather than encoders trained for the desired
task ?
Ce rapport détaille les approches testées dans le cadre de l’atelier EvalLLM 2024. Notre participation à l’atelier a eu pour intérêt d’apporter des éléments de réponses aux questions suivantes : dans quelle mesure les données annotées et développées dans le cadre du projet POPCORN peuvent-elles s’adapter à une nouvelle typologie de classes et à un nouveau guide d’annotation ? Quelles performances obtiennent des modèles supervisés entraînés sur des données simplement alignées avec cette nouvelle typologie ? Les contraintes de temps de développement (nous nous sommes limités à une participation de deux jours), environnementales et les performances obtenues par l’ensemble des systèmes participants au défi encouragent-elles l’utilisation des grands modèles de langage génératifs plutôt que des encodeurs entraînés pour la tâche souhaitée ?
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|