Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage
Résumé
Alors que lâimportance des modèles neuronaux dans le domaine du traitement automatique des langues
ne cesse de croître, les difficultés de leur apprentissage continue de freiner leur diffusion au sein de la communauté. Cet article étudie plusieurs stratégies, dont deux sont originales, pour estimer des modèles de langue neuronaux, en se focalisant sur lâajustement du pas dâapprentissage. Les résultats expérimentaux montrent, dâune part, lâimportance que revêt la conception de cette stratégie. Dâautre part, le choix dâune stratégie appropriée permet dâapprendre efficacement des
modèles de langue donnant lieu à des résultats à lâétat de lâart en traduction automatique, avec un temps de calcul réduit et une faible influence des hyper-paramètres.