Faut-il former à ce que voit le réseau de neurones pour l'entraînement de la traduction? - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Faut-il former à ce que voit le réseau de neurones pour l'entraînement de la traduction?

Résumé

Cette communication présentera les principales caractéristiques des différents algorithmes les plus souvent utilisés dans le pré-traitement de la traduction neuronale. A partir de projets de recherche conduits à Université de Paris Cité sur la traduction neuronale, nous présenterons l'état de nos réflexions quant au degré de connaissance nécessaire de cette phase initiale dans la traduction neuronale : la phase de sous-tokenisation (Byte Pair encoding). La traduction neuronale nécessite une étape de pré-traitement des textes qui consiste à diviser les mots des corpus d'entraînements en unités sous-tokenisées qui ne correspondent pas (nécessairement) à des unités linguistiques (Koehn 2020, Stahlberg 2020) et qui permettent de limiter la taille des vocabulaires que le réseau de neurones va devoir apprendre. Pour ces algorithmes, essentiellement Sentencepiece (Kudo & Richardson 2017) et subwordNMT (Sennrich et al. 2015), venus de la compression de données (Gage 1994), les deux grandes options retenues sont en général de 16 000 ou de 32 000 unités. De manière générale, les études plus linguistiques portant sur l’impact des vocabulaires limités sont assez rares, l'essentiel de la littérature s'est plutôt concentré sur l'efficacité des algorithmes, la pertinence d’algorithmes plus proches des découpages morphologiques (Banerjee & Bhattacharyya 2018) ou les performances des différents modèles proposés (Bostrom & Durrett 2020, et, pour une synthèse des problématiques, Ho & Yvon, 2021). Or, cette phase de prétraitement est indispensable. Avant toute traduction, le corpus d'entraînement est d'abord sous-traité et l'algorithme apprend, à partir du corpus, comment il va subdiviser les mots du texte. L’analyse de ce type de vocabulaire peut éventuellement déboucher sur la prise en compte des biais architecturaux. Une étude récente (Wisniewski et al. 2021) a montré que les biais de genre dans la traduction français/anglais sont proportionnels au nombre d'unités sous-tokenisées; la probabilité de se tromper dans la traduction du genre augmente avec le nombre d’unités sous-tokenisées associées aux noms de profession. Cette communication présentera de manière simple les différentes stratégies à l'œuvre dans les algorithmes et nous essaierons de montrer quelques conséquences des différents algorithmes sur la distribution de ces vocabulaires contraints. En particulier, nous montrerons que deux grandes familles de fonctionnement peuvent être identifiées: déterministe et stochastique. Un fonctionnement déterministe repose sur les mots les plus fréquents, qui ne sont pas sous-tokenisés et les mots sont subdivisés en séquences identiques pour chaque mot. Le fonctionnement déterministe permet de prédire, sur la base de la fréquence des unités lexicales du corpus initial, le type de division qui est opéré. Par défaut, les tokens les plus fréquents du corpus initiaux ne sont pas subdivisés, et la subdivision des unités est relativement prédictible. Dans le cas du fonctionnement stochastique, une part d'aléatoire est volontairement introduite dans le système lors de l'entraînement de la segmentation, de sorte qu’un mot du corpus initial peut connaître plusieurs subdivisions différentes. Le reste de la discussion envisagera également les conséquences de certaines solutions, telles que procéder à la sous-tokenisation séparée ou parallèle des deux corpus d'entraînement des deux langues.
Fichier non déposé

Dates et versions

hal-03907306 , version 1 (20-12-2022)

Identifiants

  • HAL Id : hal-03907306 , version 1

Citer

Nicolas Ballier. Faut-il former à ce que voit le réseau de neurones pour l'entraînement de la traduction? : Approche de la sous-tokenisation, des effets d'algorithmes et des biais architecturaux. Enseigner la traduction et l’interprétation à l’heure neuronale, Université Libre de Bruxelles, Université de Mons, Sep 2022, Bruxelles, Belgique. ⟨hal-03907306⟩
24 Consultations
1 Téléchargements

Partager

Gmail Facebook X LinkedIn More