SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots - Archive ouverte HAL
Conference Papers Year : 2024

SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots

Abstract

SINr. La représentation vectorielle du lexique est une problématique classique du traitement automatique du langage naturel. Les plongements lexicaux sont des vecteurs dans un espace où deux mots sémantiquement proches ont des représentations peu éloignées. Les méthodes telles que Word2vec utilisent des réseaux de neurones sur les cooccurrences des mots pour construire ces représentations. Les transformers ont démontré leur pertinence en contextualisant les vecteurs avec des architectures de plus en plus grandes. SINr (Sparse Interpretable Node Representations) est introduit par Prouteau et al. (2021) pour ne pas se concentrer uniquement sur des objectifs de performance, mais pour entraîner des vecteurs de mots interprétables de façon frugale (Prouteau et al., 2022). Pour cela, SINr s'appuie sur un graphe de cooccurrences pondéré : les noeuds représentent les mots et sont connectés entre eux par des arêtes valuées en fonction de leur nombre de cooccurrences dans le corpus. Des communautés sont alors détectées sur le graphe de cooccurrences et utilisées comme dimensions de l'espace latent : le vecteur d'un mot est extrait en utilisant ses liens avec les communautés extraites. En accord avec l'hypothèse distributionnelle, Prouteau et al. (2021) considèrent que les mots qui distribuent leurs liens de manière similaire sur les communautés ont un sens similaire. Or, si la méthode est à l'état de l'art de l'interprétabilité tout en étant considérablement plus frugale que les approches concurrentes comme SPINE, et que SINr obtient des performances en similarité identiques à SPINE, celles-ci sont néanmoins légèrement inférieures à Word2vec.
Fichier principal
Vignette du fichier
_DIGING__EGC_2024_2pages.pdf (223.65 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Licence

Dates and versions

hal-04470451 , version 1 (21-02-2024)

Licence

Identifiers

  • HAL Id : hal-04470451 , version 1

Cite

Anna Béranger, Nicolas Dugué, Simon Guillot, Thibault Prouteau. SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots. Extraction et Gestion des Connaissances, Jan 2024, Dijon, France. pp.429-430. ⟨hal-04470451⟩
52 View
38 Download

Share

More