Reproduction de l’expérience : alignement des mots par affinage des embeddings sur des corpus parallèles (NLP)
Abstract
Dans cette étude,nous avons cherché à reproduire l’expérience de l’article "Word Alignment by Fine-tuning Embeddings on Parallel Corpora" de Zi-Yi
Dou et Graham Neubig, qui propose une méthode innovante pour l’alignement des mots dans des corpus parallèles. En exploitant les embed-
dings contextuels pré-entrainés issus de modèles
de langage multilingues, l’article présente une ap-
proche qui affine ces embeddings sur des don-
nées parallèles afin d’améliorer la précision des
alignements (Luong et al. 2015; Garg et al. 2019;
Zenkel et al. 2020). Nous avons adapté cette
approche en concentrant notre travail sur un cor-
pus parallèle anglais-français, axé sur des thé-
matiques médicales, et en utilisant différents out-
ils et bibliothèques d’apprentissage automatique.
Ce processus nous permet d’explorer les perfor-
mances de plusieurs techniques d’alignement de
mots, en mettant particulièrement l’accent sur les
méthodes d’alignement basées sur les modèles
d’apprentissage profond et les embeddings con-
textuels. Nos résultats, en comparaison avec les
méthodesclassiquescommeFastAlign(Dyeretal.,
2013) et Eflomal (Ostling and Tiedemann, 2016),
visent à démontrer l’efficacité des modèles pré-
entrainés dans la gestion d’alignements (Sabet et
al. 2020) multilingues robustes, même dans des
configurations zéro-shot.