Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux
Résumé
Here the title in English. Noise Contrastive Estimation (NCE) and Importance Sampling (IS) are sampling based algorithms traditionally used to avoid computing the costly output softmax when training neural language models with Maximum Likelihood Estimation (MLE). In this work, we attempt to summarize how these procedures work, and how they have been used in the computational linguistics literature. We then compare them, and experiment with tricks that ease NCE training.
L'estimation contrastive bruitée (NCE) et l'échantillonage par importance (IS) sont des procédures d'entraînement basées sur l'échantillonage, que l'on utilise habituellement à la place de l'estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l'on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l'entraînement du NCE.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...