Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit - Archive ouverte HAL Access content directly
Conference Papers Year : 2020

Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit

Abstract

La simplification de phrase vise à réduire la complexité d’une phrase tout en retenant son sens initial et sa grammaticalité. En pratique, il est souvent attendu que la phrase produite soit plus courte que la phrase d’origine, et les modèles qui intègrent un contrôle explicite de la longueur de sortie revêtent un intérêt particulier. Dans la continuité de la littérature dédiée à la compréhension du comportement des systèmes neuronaux, nous examinons dans cet article les mécanismes de régulation de longueur d’un encodeur-décodeur RNN appliqué à la compression de phrase, en étudiant spécifiquement le cas du modèle LenInit. Notre analyse met en évidence la coexistence de deux influences distinctes au cours du décodage : celle du contrôle explicite de la longueur, et celle du modèle de langue du décodeur.
Fichier principal
Vignette du fichier
184.pdf (636.62 Ko) Télécharger le fichier
Origin : Publisher files allowed on an open archive
Loading...

Dates and versions

hal-02786187 , version 1 (07-06-2020)
hal-02786187 , version 2 (17-06-2020)
hal-02786187 , version 3 (23-06-2020)

Identifiers

  • HAL Id : hal-02786187 , version 3

Cite

François Buet. Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 3 : Rencontre des Étudiants Chercheurs en Informatique pour le TAL, Jun 2020, Nancy, France. pp.57-70. ⟨hal-02786187v3⟩
147 View
42 Download

Share

Gmail Facebook Twitter LinkedIn More