De l'interprétabilité des dimensions à l'interprétabilité du vecteur : parcimonie et stabilité - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

De l'interprétabilité des dimensions à l'interprétabilité du vecteur : parcimonie et stabilité

Résumé

Les modèles d'apprentissage de plongements parcimonieux (SPINE, SINr) ont pour objectif de produire un espace dont les dimensions peuvent être interprétées. Ces modèles visent des cas d'application critiques du traitement de la langue naturelle (e.g. usages médicaux ou judiciaires) et une utilisation des représentations dans le cadre des humanités numériques. Nous proposons de considérer non plus seulement l'interprétabilité des dimensions de l'espace de description, mais celle des vecteurs de mots en eux-mêmes. Pour cela, nous introduisons un cadre d'évaluation incluant le critère de stabilité, et redénissant celui de la parcimonie en accord avec les théories psycholinguistiques. Tout d'abord, les évaluations en stabilité indiquent une faible variabilité sur les modèles considérés. Ensuite, pour redénir le critère de parcimonie, nous proposons une méthode d'éparsication des vecteurs de plongements en gardant les composantes les plus fortement activées de chaque vecteur. Il apparaît que pour les deux modèles SPINE et SINr, de bonnes performances en similarité sont permises par des vecteurs avec un très faible nombre de dimensions activées. Ces résultats permettent d'envisager l'interprétabilité de représentations éparses sans remettre en cause les performances.
Fichier principal
Vignette du fichier
TALN23_interprétabilitédims.pdf (144.4 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04321436 , version 1 (04-12-2023)

Identifiants

  • HAL Id : hal-04321436 , version 1

Citer

Simon Guillot, Thibault Prouteau, Nicolas Dugué. De l'interprétabilité des dimensions à l'interprétabilité du vecteur : parcimonie et stabilité. Conférence sur le Traitement Automatique des Langues Naturelles (TALN), Association pour le Traitement Automatique des Langues (ATALA), Jun 2023, Paris, France. ⟨hal-04321436⟩
24 Consultations
8 Téléchargements

Partager

Gmail Facebook X LinkedIn More