<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of hal-05144033</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-03T08:52:07+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Testing LLMs' Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT</title>
            <title xml:lang="fr">Évaluation des capacités des LLM à annoter des traductions à partir d'une typologie d'erreurs conçue pour la traduction en langue de spécialité : premières expériences avec ChatGPT</title>
            <author role="aut">
              <persName>
                <forename type="first">Joachim</forename>
                <surname>Minder</surname>
              </persName>
              <email type="md5">d4bf161df8f704468cdba619a920f49a</email>
              <email type="domain">outlook.com</email>
              <idno type="idhal" notation="string">joachim-minder</idno>
              <idno type="idhal" notation="numeric">1403151</idno>
              <idno type="halauthorid" notation="string">3198552-1403151</idno>
              <idno type="ORCID">https://orcid.org/0009-0008-4743-1701</idno>
              <affiliation ref="#struct-1221485"/>
              <affiliation ref="#struct-1005004"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Guillaume</forename>
                <surname>Wisniewski</surname>
              </persName>
              <email type="md5">267e8ab6f6a30a7f9012995e72c36696</email>
              <email type="domain">u-paris.fr</email>
              <idno type="idhal" notation="string">guillaume-wisniewski</idno>
              <idno type="idhal" notation="numeric">748468</idno>
              <idno type="halauthorid" notation="string">13660-748468</idno>
              <idno type="GOOGLE SCHOLAR">https://scholar.google.com/citations?user=knVG9GIAAAAJ&amp;hl=fr&amp;oi=ao</idno>
              <idno type="GOOGLE SCHOLAR">https://scholar.google.fr/citations?user=knVG9GIAAAAJ</idno>
              <idno type="IDREF">https://www.idref.fr/128062290</idno>
              <idno type="ORCID">https://orcid.org/0000-0002-4445-080X</idno>
              <affiliation ref="#struct-1004855"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Natalie</forename>
                <surname>Kübler</surname>
              </persName>
              <email type="md5">041a9f1562418ce7f28c62550c9dd919</email>
              <email type="domain">eila.univ-paris-diderot.fr</email>
              <idno type="idhal" notation="string">natalie-kubler</idno>
              <idno type="idhal" notation="numeric">753718</idno>
              <idno type="halauthorid" notation="string">20960-753718</idno>
              <idno type="IDREF">https://www.idref.fr/133065723</idno>
              <idno type="ORCID">https://orcid.org/0000-0001-7093-8676</idno>
              <idno type="VIAF">https://viaf.org/viaf/171151131</idno>
              <affiliation ref="#struct-1221485"/>
              <affiliation ref="#struct-1005004"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Joachim</forename>
                <surname>Minder</surname>
              </persName>
              <email type="md5">49a3dc1bcc58feae5976d9c572d6c9c1</email>
              <email type="domain">u-paris.fr</email>
            </editor>
            <funder ref="#projanr-79752"/>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2025-07-04 11:12:38</date>
              <date type="whenModified">2025-07-10 09:41:35</date>
              <date type="whenReleased">2025-07-08 13:21:40</date>
              <date type="whenProduced">2025-06-23</date>
              <date type="whenEndEmbargoed">2025-07-04</date>
              <ref type="file" target="https://hal.science/hal-05144033v1/document">
                <date notBefore="2025-07-04"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/hal-05144033v1/file/minder-etal-2025-testing.pdf" id="file-5144033-4447727">
                <date notBefore="2025-07-04"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="1562520">
                <persName>
                  <forename>Joachim</forename>
                  <surname>Minder</surname>
                </persName>
                <email type="md5">49a3dc1bcc58feae5976d9c572d6c9c1</email>
                <email type="domain">u-paris.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">hal-05144033</idno>
            <idno type="halUri">https://hal.science/hal-05144033</idno>
            <idno type="halBibtex">minder:hal-05144033</idno>
            <idno type="halRefHtml">&lt;i&gt;20th Machine Translation Summit XX Volume 1&lt;/i&gt;, Jun 2025, Genève, Switzerland. pp.190-203</idno>
            <idno type="halRef">20th Machine Translation Summit XX Volume 1, Jun 2025, Genève, Switzerland. pp.190-203</idno>
            <availability status="restricted">
              <licence target="https://creativecommons.org/licenses/by-nc-nd/4.0/">CC BY-NC-ND 4.0 - Attribution - Non-commercial use - No Derivative Works<ref corresp="#file-5144033-4447727"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="LLF">Laboratoire de Linguistique Formelle</idno>
            <idno type="stamp" n="CAMPUS-AAR">Campus-AAR</idno>
            <idno type="stamp" n="AAI">Collection LaCAS - Open Archives in Language and Cultural Area Studies</idno>
            <idno type="stamp" n="CLILLAC-ARP">Productions scientifiques du CLILLAC-ARP</idno>
            <idno type="stamp" n="UNIV-PARIS">Université Paris Cité</idno>
            <idno type="stamp" n="UNIVERSITE-PARIS" corresp="UNIV-PARIS">Université Paris Cité</idno>
            <idno type="stamp" n="UP-SOCIETES-HUMANITES">Université Paris Cité - Faculté Sociétés et Humanités</idno>
            <idno type="stamp" n="ANR">ANR</idno>
            <idno type="stamp" n="ALTAE">Approches Linguistiques Théoriques, Appliquées et Expérimentales : langues et cultures connectées</idno>
            <idno type="stamp" n="ANR-IA-22" corresp="ANR-IA">ANR-IA-22</idno>
            <idno type="stamp" n="ANR-IA">ANR-IA</idno>
            <idno type="stamp" n="ISTEX">Infrastructure de services pour la fouille de textes</idno>
          </seriesStmt>
          <notesStmt>
            <note type="audience" n="2">International</note>
            <note type="invited" n="0">No</note>
            <note type="popular" n="0">No</note>
            <note type="peer" n="1">Yes</note>
            <note type="proceedings" n="1">Yes</note>
          </notesStmt>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Testing LLMs' Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT</title>
                <title xml:lang="fr">Évaluation des capacités des LLM à annoter des traductions à partir d'une typologie d'erreurs conçue pour la traduction en langue de spécialité : premières expériences avec ChatGPT</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Joachim</forename>
                    <surname>Minder</surname>
                  </persName>
                  <email type="md5">d4bf161df8f704468cdba619a920f49a</email>
                  <email type="domain">outlook.com</email>
                  <idno type="idhal" notation="string">joachim-minder</idno>
                  <idno type="idhal" notation="numeric">1403151</idno>
                  <idno type="halauthorid" notation="string">3198552-1403151</idno>
                  <idno type="ORCID">https://orcid.org/0009-0008-4743-1701</idno>
                  <affiliation ref="#struct-1221485"/>
                  <affiliation ref="#struct-1005004"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Guillaume</forename>
                    <surname>Wisniewski</surname>
                  </persName>
                  <email type="md5">267e8ab6f6a30a7f9012995e72c36696</email>
                  <email type="domain">u-paris.fr</email>
                  <idno type="idhal" notation="string">guillaume-wisniewski</idno>
                  <idno type="idhal" notation="numeric">748468</idno>
                  <idno type="halauthorid" notation="string">13660-748468</idno>
                  <idno type="GOOGLE SCHOLAR">https://scholar.google.com/citations?user=knVG9GIAAAAJ&amp;hl=fr&amp;oi=ao</idno>
                  <idno type="GOOGLE SCHOLAR">https://scholar.google.fr/citations?user=knVG9GIAAAAJ</idno>
                  <idno type="IDREF">https://www.idref.fr/128062290</idno>
                  <idno type="ORCID">https://orcid.org/0000-0002-4445-080X</idno>
                  <affiliation ref="#struct-1004855"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Natalie</forename>
                    <surname>Kübler</surname>
                  </persName>
                  <email type="md5">041a9f1562418ce7f28c62550c9dd919</email>
                  <email type="domain">eila.univ-paris-diderot.fr</email>
                  <idno type="idhal" notation="string">natalie-kubler</idno>
                  <idno type="idhal" notation="numeric">753718</idno>
                  <idno type="halauthorid" notation="string">20960-753718</idno>
                  <idno type="IDREF">https://www.idref.fr/133065723</idno>
                  <idno type="ORCID">https://orcid.org/0000-0001-7093-8676</idno>
                  <idno type="VIAF">https://viaf.org/viaf/171151131</idno>
                  <affiliation ref="#struct-1221485"/>
                  <affiliation ref="#struct-1005004"/>
                </author>
              </analytic>
              <monogr>
                <meeting>
                  <title>20th Machine Translation Summit XX Volume 1</title>
                  <date type="start">2025-06-23</date>
                  <date type="end">2025-06-27</date>
                  <settlement>Genève</settlement>
                  <country key="CH">Switzerland</country>
                </meeting>
                <imprint>
                  <publisher>European Association for Machine Translation</publisher>
                  <biblScope unit="serie">Proceedings of Machine Translation Summit XX</biblScope>
                  <biblScope unit="volume">1</biblScope>
                  <biblScope unit="pp">190-203</biblScope>
                </imprint>
              </monogr>
              <ref type="publisher">https://mtsummit2025.unige.ch/proceedings.html</ref>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Translation</term>
                <term xml:lang="en">Error annotation</term>
                <term xml:lang="en">Translation evaluation</term>
                <term xml:lang="en">LLM-as-a-judge</term>
                <term xml:lang="en">LLM Evaluation</term>
                <term xml:lang="en">Large language model</term>
                <term xml:lang="en">Error typology</term>
                <term xml:lang="en">Specialised translation</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-cl">Computer Science [cs]/Computation and Language [cs.CL]</classCode>
              <classCode scheme="halDomain" n="info.info-ai">Computer Science [cs]/Artificial Intelligence [cs.AI]</classCode>
              <classCode scheme="halDomain" n="info.info-tt">Computer Science [cs]/Document and Text Processing</classCode>
              <classCode scheme="halDomain" n="scco.ling">Cognitive science/Linguistics</classCode>
              <classCode scheme="halTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halOldTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halTreeTypology" n="COMM">Conference papers</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>This study investigates the capabilities of large language models (LLMs), specifically ChatGPT, in annotating MT outputs based on an error typology. In contrast to previous work focusing mainly on general language, we explore ChatGPT's ability to identify and categorise errors in specialised translations. By testing two different prompts and based on a customised error typology, we compare ChatGPT annotations with human expert evaluations of translations produced by DeepL and ChatGPT itself. The results show that, for translations generated by DeepL, recall and precision are quite high. However, the degree of accuracy in error categorisation depends on the prompt's specific features and its level of detail, ChatGPT performing very well with a detailed prompt. When evaluating its own translations, ChatGPT achieves significantly poorer results, revealing limitations with self-assessment. These results highlight both the potential and the limitations of LLMs for translation evaluation, particularly in specialised domains. Our experiments pave the way for future research on open-source LLMs, which could produce annotations of comparable or even higher quality. In the future, we also aim to test the practical effectiveness of this automated evaluation in the context of translation training, particularly by optimising the process of human evaluation by teachers and by exploring the impact of annotations by LLMs on students' post-editing and translation learning.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Cette étude vise à évaluer les capacités des grands modèles de langue (LLM), en particulier ChatGPT, à annoter des sorties de traduction automatique (TA) sur la base d'une typologie d'erreurs. Contrairement aux études antérieures qui se sont principalement intéressées à la langue générale, nous examinons la capacité de ChatGPT à identifier et à catégoriser les erreurs dans les traductions spécialisées. En testant deux prompts différents et en utilisant une typologie d'erreurs personnalisée, nous comparons les annotations de ChatGPT avec les évaluations humaines d'experts sur les traductions produites par DeepL et ChatGPT lui-même. Les résultats montrent que, pour les traductions de DeepL, le rappel et la précision sont relativement élevés. Cependant, le degré de précision dans la catégorisation des erreurs dépend des caractéristiques spécifiques du prompt et de son niveau de détail, ChatGPT étant très performant avec un prompt détaillé. Lorsqu'il évalue ses propres traductions, ChatGPT obtient des résultatssignificativement moins satisfaisants, ce qui révèle ses limites en matière d'auto-évaluation. Ces résultats mettent en évidence à la fois le potentiel et les limites des LLM pour l'évaluation des traductions, en particulier dans les domaines de spécialité. Nos expériences ouvrent la voie à de futures recherches sur les LLM open source, qui pourraient produire des annotations de qualité comparable, voire supérieure. À l'avenir, nous avons également pour objectif de tester l'efficacité pratique de cette évaluation automatisée dans le contexte de l'enseignement de la traduction, notamment en optimisant le processus d'évaluation humaine par les enseignants et en explorant l'impact des annotations des LLM sur la post-édition et l'apprentissage de la traduction par les étudiants.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-1221485" status="VALID">
          <idno type="IdRef">12619601X</idno>
          <idno type="RNSR">200515225G</idno>
          <orgName>Approches Linguistiques Théoriques, Appliquées et Expérimentales : langues et cultures connectées</orgName>
          <orgName type="acronym">ALTAE (URP 3967)</orgName>
          <date type="start">2025-01-01</date>
          <desc>
            <address>
              <addrLine>Campus des Grands Moulins - Bât. Olympe de Gouges, Case postale 7046 - 8 rue Paul Ricoeur, 75013 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://clillac-arp.u-paris.fr/</ref>
          </desc>
          <listRelation>
            <relation name="URP 3967" active="#struct-557826" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-1005004" status="OLD">
          <idno type="IdRef">12619601X</idno>
          <idno type="RNSR">200515225G</idno>
          <orgName>Centre de Linguistique Inter-langues, de Lexicologie, de Linguistique Anglaise et de Corpus</orgName>
          <orgName type="acronym">CLILLAC-ARP (URP_3967)</orgName>
          <date type="start">2020-01-01</date>
          <date type="end">2024-12-31</date>
          <desc>
            <address>
              <addrLine>Université Paris Cité, Bât. Olympe de Gouges, case postale 7046, 75205 Paris CEDEX13</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://clillac-arp.u-paris.fr/</ref>
          </desc>
          <listRelation>
            <relation name="URP_3967" active="#struct-557826" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-1004855" status="VALID">
          <idno type="IdRef">026390574</idno>
          <idno type="RNSR">200112497J</idno>
          <idno type="ROR">https://ror.org/0223bz716</idno>
          <orgName>Laboratoire de Linguistique Formelle</orgName>
          <orgName type="acronym">LLF - UMR7110</orgName>
          <date type="start">2020-01-01</date>
          <desc>
            <address>
              <addrLine>8 Rue Albert Einstein, 75013 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.llf.cnrs.fr/</ref>
          </desc>
          <listRelation>
            <relation name="UMR7110" active="#struct-441569" type="direct"/>
            <relation name="UMR_7110" active="#struct-557826" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-557826" status="VALID">
          <idno type="IdRef">236453505</idno>
          <idno type="ISNI">0000 0004 7885 7602</idno>
          <idno type="ROR">https://ror.org/05f82e368</idno>
          <orgName>Université Paris Cité</orgName>
          <orgName type="acronym">UPCité</orgName>
          <date type="start">2020-01-01</date>
          <desc>
            <address>
              <addrLine>85 boulevard Saint-Germain75006 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://u-paris.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
      </listOrg>
      <listOrg type="projects">
        <org type="anrProject" xml:id="projanr-79752" status="VALID">
          <idno type="anr">ANR-22-CE23-0033</idno>
          <orgName>MaTOS</orgName>
          <desc>Traduction automatique pour la science ouverte</desc>
          <date type="start">2022</date>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>