Analysis of Tokenization Metrics and their Correlation with Multilingual Machine Translation Performance
Analyse des métriques de tokenisation et leur corrélation avec les performances de traduction automatique multilingue
Résumé
This article studies the tokenization outcomes produced by two subword-based tokenizers in the
context of multilingual machine translation using the FLORES-200 corpus. It focuses on 9 languages from 3 families, each with varying levels of digital presence. First, we evaluate translation performance between language and family pairs. Then, we explore the potential relation between measures characterizing the tokenization results and translation performance. We aim to validate or invalidate the hypothesis that the difficulty a multilingual translation model would have in translating a text could be inferred from features related to the tokens produced by its tokenizer. The measures are calculated based on the source sentence and its expert-produced reference translated version. We could not detect strong correlation between the features related to tokens and the translation effectiveness. This preliminary study suggests however directions for future research aiming to include more qualitative features to evaluate the impact of tokenized representations on translation performance.
Cet article étudie le résultat de la tokenisation obtenu par deux tokeniseurs basés sur des sous-mots dans le contexte de la traduction automatique multilingue en utilisant le corpus FLORES-200. Il s’intéresse à 9 langues issues de 3 familles, avec différents niveaux de présence numérique. Tout d’abord nous évaluons les performances de traductions entre paires de langues et de familles de langue. Ensuite nous explorons les liens potentiels entre des mesures de caractérisation des résultats de la tokenisation et les performances de traduction. Notre objectif est de confirmer ou réfuter l’hypothèse selon laquelle la capacité d’un modèle de traduction multilingue de type encodeur-décodeur à traduire un texte peut être prédite en examinant les caractéristiques des tokens générés. Nous nous appuyons sur des mesures calculées à partir de la phrase source et de sa version traduite par un expert (version de référence), représentées sous forme de chaînes de caractères et de listes de tokens générés par le tokeniseur du modèle considéré. Nous n’avons pas détecté de corrélation fortes entre entre les caractéristiques des tokens et l’efficacité de traduction. Cette étude préliminaire propose toutefois des pistes pour de futures recherches visant à intégrer des mesures de caractérisation plus qualitatives
pour évaluer l’impact des représentations tokenisées sur les performances de traduction.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|