Apprentissage multimodal de représentation de mots à l'aide de contexte visuel - Archive ouverte HAL
Communication Dans Un Congrès Année : 2018

Apprentissage multimodal de représentation de mots à l'aide de contexte visuel

Eloi Zablocki
  • Fonction : Auteur
  • PersonId : 1034688
Benjamin Piwowarski
Laure Soulier

Résumé

Représenter la sémantique d'un mot est un défi ma-jeur pour pouvoir traiter automatiquement le langage. Jusqu'à présent, une grande partie des méthodes déter-minent le sens d'un mot via ses contextes dans un corpus de texte. Plus récemment, certains auteurs se sont intéressés à l'apparence visuelle d'un objet pour amé-liorer la représentation sémantique du mot correspon-dant. Cependant, ces travaux ignorent l'environnement et le contexte visuel dans lequel l'objet apparaît. Dans cet article, nous proposons d'apprendre la représenta-tion des mots en bénéficiant de la complémentarité des modalités texte et image par la prise en compte simul-tanée des contextes textuels et visuels des mots. Nous explorons plusieurs choix de modélisation de contexte visuel, et présentons une méthode jointe qui intègre le contexte visuel dans un modèle skip-gram multimodal. Enfin, l'apport de ces représentations dans des tâches d'analyse sémantiques est évaluée sur plusieurs jeux de données. Cet article est une traduction de [ZPSG18].
Fichier principal
Vignette du fichier
Apprentissage_multimodal_de_repr_sentation_de_mots___l_aide_de_contexte_visuel.pdf (1.12 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01842358 , version 1 (18-07-2018)

Identifiants

  • HAL Id : hal-01842358 , version 1

Citer

Eloi Zablocki, Benjamin Piwowarski, Laure Soulier, Patrick Gallinari. Apprentissage multimodal de représentation de mots à l'aide de contexte visuel. Conférence sur l'Apprentissage Automatique, Jun 2018, Rouen, France. ⟨hal-01842358⟩
281 Consultations
272 Téléchargements

Partager

More