Kittajafr-v2baseline-2.0.1 - Archive ouverte HAL Accéder directement au contenu
Autre Publication Scientifique Année : 2021

Kittajafr-v2baseline-2.0.1

Résumé

This guide presents KittajaFr-v2. It is a set of free resources and tools frequently used in machine translation, to build a Transformer model to translate from Japanese into French. The corpus contains 2,5M aligned segments. Score BLEU is between 13,5 et 11,5.
Ce guide présente le kit kittajafr-v2baseline. Il s'agit d'un ensemble de ressources et d'outils libres couramment utilisés en traduction automatique, permettant d'entraîner un modèle Transformer de traduction neuronale du japonais vers le français. Le corpus contient 2,5M de segments alignés de qualité variable. La segmentation (sentencePiece) du vocabulaire est fixée à 16K mots pour chaque langue et les embeddings sont de 256. Les scores BLEU se situent vers 13,5 et 11,5 (on dispose aussi des scores chrF). Le kittjafr-v2 fait suite à la version v1, qui permettait de construire un très petit modèle (score BLEU 3 et 7).
Fichier non déposé

Dates et versions

hal-03503325 , version 1 (27-12-2021)

Identifiants

  • HAL Id : hal-03503325 , version 1

Citer

Raoul Blin. Kittajafr-v2baseline-2.0.1. 2021. ⟨hal-03503325⟩
24 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More