Conference Papers Year : 2019

Hybrid Neural Networks for Sequence Modelling : The Best of Three Worlds

Modèles neuronaux hybrides pour la modélisation de séquences : le meilleur de trois mondes

Abstract

We propose a neural architecture with the main characteristics of the most successful neural models of the last years : bidirectional RNNs, encoder-decoder, and the Transformer model. Evaluation on three sequence labelling tasks yields results that are close to the state-of-the-art for all tasks and better than it for some of them, showing the pertinence of this hybrid architecture for this kind of tasks.
Nous proposons une architecture neuronale avec les caractéristiques principales des modèles neuro-naux de ces dernières années : les réseaux neuronaux récurrents bidirectionnels, les modèles encodeur-décodeur, et le modèle Transformer. Nous évaluons nos modèles sur trois tâches d'étiquetage de sé-quence, avec des résultats aux environs de l'état de l'art et souvent meilleurs, montrant ainsi l'intérêt de cette architecture hybride pour ce type de tâches.
Fichier principal
Vignette du fichier
2019_TALN.pdf (126.62 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

hal-02157160 , version 1 (15-06-2019)
hal-02157160 , version 2 (11-09-2019)

Licence

Identifiers

  • HAL Id : hal-02157160 , version 2

Cite

Marco Dinarelli, Loïc Grobol. Modèles neuronaux hybrides pour la modélisation de séquences : le meilleur de trois mondes. TALN-RECITAL 2019 - 26ème Conférence sur le Traitement Automatique des Langues Naturelles, ATALA, Jul 2019, Toulouse, France. ⟨hal-02157160v2⟩
275 View
636 Download

Share

More