Modeling a label global context for sequence tagging in recurrent neural networks - Archive ouverte HAL Access content directly
Conference Papers Year :

Modeling a label global context for sequence tagging in recurrent neural networks

Modélisation d'un contexte global d'étiquettes pour l'étiquetage de séquences dans les réseaux neuronaux récurrents

(1) , (1, 2)
1
2

Abstract

During the last few years Recurrent Neural Networks (RNN) have reached state-of-the-art performances on most sequence modeling problems. In particular the sequence to sequence model and the neural CRF have proved very effective on this class of problems. In this paper we propose an alternative RNN for sequence labelling, based on label embeddings and memory networks, which makes possible to take arbitrary long contexts into account. Our results are better than those of state-of-the-art models in most cases, and close to them in all cases. Moreover, our solution is simpler than the best models in the literature. MOTS-CLÉS : Réseaux neuronaux récurrents, contexte global, Étiquetage de séquences.
Depuis quelques années, les réseaux neuronaux récurrents ont atteint des performances à l'état-de-l'art sur la plupart des problèmes de traitement de séquences. Notamment les modèles sequence to sequence et les CRF neuronaux se sont montrés particulièrement efficaces pour ce genre de problèmes. Dans cet article, nous proposons un réseau neuronal alternatif pour le même type de problèmes, basé sur l'utilisation de plongements d'étiquettes et sur des réseaux à mémoire, qui permettent la prise en compte de contextes arbitrairement longs. Nous comparons nos modèles avec la littérature, nos résultats dépassent souvent l'état-de-l'art, et ils en sont proches dans tous les cas. Nos solutions restent toutefois plus simples que les meilleurs modèles de la littérature.
Fichier principal
Vignette du fichier
paper1.pdf (382.97 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-02002111 , version 1 (31-01-2019)

Licence

Attribution - CC BY 4.0

Identifiers

  • HAL Id : hal-02002111 , version 1

Cite

Marco Dinarelli, Loïc Grobol. Modélisation d'un contexte global d'étiquettes pour l'étiquetage de séquences dans les réseaux neuronaux récurrents. Journée commune AFIA-ATALA sur le Traitement Automatique des Langues et l’Intelligence Artificielle pendant la onzième édition de la plate-forme Intelligence Artificielle (PFIA 2018), Jul 2018, Nancy, France. ⟨hal-02002111⟩
137 View
107 Download

Share

Gmail Facebook Twitter LinkedIn More