Neural Language Models for Faithful Data-to-Text Generation and Proactive Conversational Search
Résumé
Large language models are now prevalent in the vast majority of research works such as natural language processing, information retrieval, or computer vision. They have demonstrated great abilities in capturing the semantics of elements and generating plausible texts or images. However, their training guided by probabilities and co-occurrence patterns hinders sometimes the relevance of their output. In this manuscript, we aim at discussing and contributing to three main challenges underlying neural language models under the scope of data-to-text generation and conversational information retrieval. The first one focuses on the faithfulness and the relevance of text generation questioning the way to build different parts of neural language model architectures (i.e., encoder and decoder). The second contribution addresses the issue to contextualize language models, more particularly the contextualization of information needs for conversational search. Finally, we investigate the ability of language models to continuously adapt to new knowledge when they are used for performing ranking tasks.
We conclude with a discussion about promising perspectives in these three research questions, and also open new directions in machine learning and robotics.
Les grands modèles de langue sont désormais prédominants dans la plupart des travaux de recherche en traitement du langage naturel, en recherche d'information ou encore en vision par ordinateur. Ces modèles ont démontré de grandes capacités à capturer la sémantique des éléments et à générer des textes ou des images plausibles. Cependant, leur entraînement guidé par des probabilités et la détection de co-occurrences nuit parfois à la pertinence de leurs résultats. L'ambition de ce manuscrit est de discuter et de contribuer à trois enjeux majeurs sous-jacents aux modèles de langue neuronaux dans le cadre d'une tâche de génération de descriptions à partir de données structurées et de recherche d'information conversationnelle. Le premier défi se concentre sur la fidélité et la pertinence de la génération de texte, discutant la modélisation des différentes parties des architectures des modèles de langue (i.e., l'encodeur et le décodeur). La deuxième question de recherche porte sur la contextualisation des modèles de langue, et notamment sur la contextualisation des besoins en information pour la recherche conversationnelle. Enfin, nous étudions la capacité des modèles de langue à s'adapter continuellement aux nouvelles connaissances lorsqu'ils sont utilisés pour effectuer des tâches d'ordonnancement de documents.
Nous concluons par une discussion sur les perspectives prometteuses de ces questions de recherche, et ouvrons également de nouvelles directions pour l'apprentissage automatique et la robotique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
