Communication Dans Un Congrès Année : 2025

Testing LLMs' Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT

Évaluation des capacités des LLM à annoter des traductions à partir d'une typologie d'erreurs conçue pour la traduction en langue de spécialité : premières expériences avec ChatGPT

Résumé

This study investigates the capabilities of large language models (LLMs), specifically ChatGPT, in annotating MT outputs based on an error typology. In contrast to previous work focusing mainly on general language, we explore ChatGPT's ability to identify and categorise errors in specialised translations. By testing two different prompts and based on a customised error typology, we compare ChatGPT annotations with human expert evaluations of translations produced by DeepL and ChatGPT itself. The results show that, for translations generated by DeepL, recall and precision are quite high. However, the degree of accuracy in error categorisation depends on the prompt's specific features and its level of detail, ChatGPT performing very well with a detailed prompt. When evaluating its own translations, ChatGPT achieves significantly poorer results, revealing limitations with self-assessment. These results highlight both the potential and the limitations of LLMs for translation evaluation, particularly in specialised domains. Our experiments pave the way for future research on open-source LLMs, which could produce annotations of comparable or even higher quality. In the future, we also aim to test the practical effectiveness of this automated evaluation in the context of translation training, particularly by optimising the process of human evaluation by teachers and by exploring the impact of annotations by LLMs on students' post-editing and translation learning.

Cette étude vise à évaluer les capacités des grands modèles de langue (LLM), en particulier ChatGPT, à annoter des sorties de traduction automatique (TA) sur la base d'une typologie d'erreurs. Contrairement aux études antérieures qui se sont principalement intéressées à la langue générale, nous examinons la capacité de ChatGPT à identifier et à catégoriser les erreurs dans les traductions spécialisées. En testant deux prompts différents et en utilisant une typologie d'erreurs personnalisée, nous comparons les annotations de ChatGPT avec les évaluations humaines d'experts sur les traductions produites par DeepL et ChatGPT lui-même. Les résultats montrent que, pour les traductions de DeepL, le rappel et la précision sont relativement élevés. Cependant, le degré de précision dans la catégorisation des erreurs dépend des caractéristiques spécifiques du prompt et de son niveau de détail, ChatGPT étant très performant avec un prompt détaillé. Lorsqu'il évalue ses propres traductions, ChatGPT obtient des résultatssignificativement moins satisfaisants, ce qui révèle ses limites en matière d'auto-évaluation. Ces résultats mettent en évidence à la fois le potentiel et les limites des LLM pour l'évaluation des traductions, en particulier dans les domaines de spécialité. Nos expériences ouvrent la voie à de futures recherches sur les LLM open source, qui pourraient produire des annotations de qualité comparable, voire supérieure. À l'avenir, nous avons également pour objectif de tester l'efficacité pratique de cette évaluation automatisée dans le contexte de l'enseignement de la traduction, notamment en optimisant le processus d'évaluation humaine par les enseignants et en explorant l'impact des annotations des LLM sur la post-édition et l'apprentissage de la traduction par les étudiants.

Fichier principal
Vignette du fichier
minder-etal-2025-testing.pdf (758.96 Ko) Télécharger le fichier

Dates et versions

hal-05144033 , version 1 (04-07-2025)

Licence

Identifiants

  • HAL Id : hal-05144033 , version 1

Citer

Joachim Minder, Guillaume Wisniewski, Natalie Kübler. Testing LLMs' Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT. 20th Machine Translation Summit XX Volume 1, Jun 2025, Genève, Switzerland. pp.190-203. ⟨hal-05144033⟩
3711 Consultations
369 Téléchargements

Partager

  • More