Apprentissage discriminant des modèles continus de traduction - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2015

Apprentissage discriminant des modèles continus de traduction

Résumé

This paper proposes a new discriminative framework to train translation models based on neural network. This framework relies on the definition of a new objective function that allows us to introduce the evaluation metric in the learning process as well as to consider how the model interacts with the translation system. Moreover, this approach is compared with the state of the art estimation methods, such as the maximum likelihood criterion and the noise contrastive estimation. Experiments are carried out on the English to French translation task of TED Talks . The results show the efficiency of the proposed approach, whereas the initialization has a strong impact. We show that with a tailored initialization scheme significant improvements can be obtained in terms of BLEU scores.
Alors que les réseaux neuronaux occupent une place de plus en plus importante dans le traitement automatique des langues, les méthodes d'apprentissage actuelles utilisent pour la plupart des critères qui sont décorrélés de l'application. Cet article propose un nouveau cadre d'apprentissage discriminant pour l'estimation des modèles continus de traduction. Ce cadre s'appuie sur la définition d'un critère d'optimisation permettant de prendre en compte d'une part la métrique utilisée pour l'évaluation de la traduction et d'autre part l'intégration de ces modèles au sein des systèmes de traduction automatique. De plus, cette méthode d'apprentissage est comparée aux critères existants d'estimation que sont le maximum de vraisemblance et l'estimation contrastive bruitée. Les expériences menées sur la tâches de traduction des séminaires TED Talks de l'anglais vers le français montrent la pertinence d'un cadre discriminant d'apprentissage, dont les performances restent toutefois très dépendantes du choix d'une stratégie d'initialisation idoine. Nous montrons qu'avec une initialisation judicieuse des gains significatifs en termes de scores BLEU peuvent être obtenus.
Fichier principal
Vignette du fichier
2015.jeptalnrecital-long.23.pdf (564.87 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01634998 , version 1 (30-06-2021)

Identifiants

  • HAL Id : hal-01634998 , version 1

Citer

Quoc Khanh Do, Alexandre Allauzen, François Yvon. Apprentissage discriminant des modèles continus de traduction. Conférence sur le Traitement Automatique des Langues Naturelles, 2015, Caen, France. ⟨hal-01634998⟩
66 Consultations
12 Téléchargements

Partager

Gmail Facebook X LinkedIn More