Word Meaning Representation and Interpretation in Vector Space - Archive ouverte HAL Accéder directement au contenu
Hdr Année : 2022

Word Meaning Representation and Interpretation in Vector Space

Résumé

The analysis and representation of lexical meaning is a central topic in computational linguistics research, with both theoretical and application-oriented interest. It allows to study phenomena related to language acquisition and semantic modelling, and to improve the inference and common-sense reasoning capabilities of computational systems. The work presented in this thesis covers a period of time where the field of computational linguistics has been marked by an important paradigm shift due to the wide adoption of neural language models, which have progressively replaced older methods for semantic modelling. This paradigm shift has greatly impacted my research and constitutes the central axis of this thesis. The content is organised in a way that highlights important aspects of this transition, and which puts forward the methodological changes that have been imposed. The introduction of deep learning models in the field of computational semantic analysis has brought about new research questions, but older questions also remain relevant and are now being studied from a different angle. Moreover, the recent area of interpretability, which attempts to explain the success of neural models, brings a novel perspective to open questions related to semantics. After explaining the transition to neural model representations in an introductory chapter, I then propose a systematic comparison of older and more recent studies that I conducted individually, and in collaboration with students and colleagues. These have been selected with the aim to put side by side the older and novel methodology that has been used for addressing semantics-related questions, including lexical polysemy and clusterability, in-context paraphrasing, and the modelling of abstract semantic notions such as scalar adjective intensity. The last chapter of this thesis includes a discussion of the limitations of current methodology, and a presentation of future perspectives aimed at addressing these shortcomings. These include the grounding of semantic knowledge into different modalities, the development of adversarial methods for improving the robustness and generalisation capability of neural models, and the development of interpretation methods for capturing causality and explaining model behaviour.
L'analyse et la représentation des sens lexicaux sont des sujets de recherche centraux en linguistique computationnelle, qui présentent de l'intérêt tant théorique que pratique. Elles permettent d'étudier des phénomènes liés à l'acquisition des langues et à la modélisation sémantique, et d'améliorer les capacités d'inférence et de raisonnement des systèmes computationnels. Le travail présenté dans cette thèse couvre une période de temps où le domaine de la sémantique computationnelle a été marqué par un changement de paradigme important dû à l'adoption des modèles de langue neuronaux, qui ont progressivement remplacé les méthodes traditionnelles de modélisation sémantique. Ce changement de paradigme a eu un grand impact sur ma recherche et constitue l'axe central de cette thèse, dont le contenu est organisé de manière à mettre en valeur les aspects importants de cette transition, et les changements méthodologiques qui ont été imposés. L'introduction de modèles d'apprentissage profond dans le champ de l'analyse sémantique computationnelle a suscité de nouvelles questions de recherche, néanmoins celles étudiées auparavant restent pertinentes et sont actuellement explorées sous un angle différent. En outre, le nouveau domaine de l'interprétabilité qui vise à expliquer les succès des modèles neuronaux, amène une nouvelle perspective aux questions liées à la sémantique. Suite à un chapitre d'introduction qui explique la transition vers les représentations neuronales, je propose une comparaison systématique d'études que j'ai menées pendant cette période à titre individuel, et en collaboration avec mes étudiant(e)s et collègues. Ces travaux ont été sélectionnés avec l'objectif de juxtaposer la méthodologie utilisée auparavant et la méthodologie actuelle pour l'analyse de la sémantique, comme la polysémie lexicale et la clusterabilité des sens, la substitution lexicale en contexte, et la modélisation de notions sémantiques abstraites comme l'intensité des adjectifs scalaires. Le dernier chapitre de cette thèse comporte une discussion des limites de la méthodologie actuelle, et une présentation de perspectives de recherche futures destinées à pallier ces faiblesses. Celles-ci incluent l'ancrage des connaissances sémantiques dans des modalités variées, le développement d'attaques contradictoires dans le but d'améliorer la robustesse et la capacité de généralisation des modèles neuronaux, et le développement de méthodes d'interprétation visant à capter la notion de causalité et à expliquer le comportement des modèles.
Fichier principal
Vignette du fichier
HDR_Marianna-Apidianaki.pdf (3.28 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03988184 , version 1 (14-02-2023)

Licence

Copyright (Tous droits réservés)

Identifiants

  • HAL Id : tel-03988184 , version 1

Citer

Marianna Apidianaki. Word Meaning Representation and Interpretation in Vector Space. Computer Science [cs]. Université Toulouse III - Paul Sabatier, 2022. ⟨tel-03988184⟩

Collections

CNRS
99 Consultations
48 Téléchargements

Partager

Gmail Facebook X LinkedIn More