Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2014

Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage

Résumé

Alors que l’importance des modèles neuronaux dans le domaine du traitement automatique des langues ne cesse de croître, les difficultés de leur apprentissage continue de freiner leur diffusion au sein de la communauté. Cet article étudie plusieurs stratégies, dont deux sont originales, pour estimer des modèles de langue neuronaux, en se focalisant sur l’ajustement du pas d’apprentissage. Les résultats expérimentaux montrent, d’une part, l’importance que revêt la conception de cette stratégie. D’autre part, le choix d’une stratégie appropriée permet d’apprendre efficacement des modèles de langue donnant lieu à des résultats à l’état de l’art en traduction automatique, avec un temps de calcul réduit et une faible influence des hyper-paramètres.
Fichier non déposé

Dates et versions

hal-01908361 , version 1 (30-10-2018)

Identifiants

  • HAL Id : hal-01908361 , version 1

Citer

Alexandre Allauzen, Quoc Khanh Do, François Yvon. Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage. Conférence sur le Traitement Automatique des Langues Naturelles, Jan 2014, Marseille, France. ⟨hal-01908361⟩
25 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More