Apprentissage de Modèles de Langue Neuronaux pour la Recherche d'Information
Résumé
Information Retrieval (IR) faces different difficulties,notablythoserelatedtovocab- ulary mismatch issues and term dependencies. In the last few years, language models based on neural networks have been proposed to deal with both term dependencies and vocabulary mismatch issues in complex natural language processing tasks. However, to be efficient, these models require huge amounts of training data. They have thus never been employed for IR ad- hoc tasks directly, where the estimation of one language model per document is required. We propose an approach based on the specialization of a generic language model, learned on the whole document collection, by a set of document-specific parameters, to define neural language models fitted for ad-hoc IR tasks.
La recherche d’information (RI) ad-hoc se heurte à différentes difficultés, notam- ment liées à des discordances de vocabulaire entre requête et documents, ainsi qu’à la prise en compte de dépendances séquentielles entre les termes de la requête. Les récents modèles de langue neuronaux sont capables de capturer différents types de dépendances, grâce à une représentation distribuée des mots, mais nécessitent de gros volumes de données pour être entrainés efficacement. Jusqu’alors, ces modèles n’ont pas été utilisés directement pour des tâches de RI classiques, pour lesquelles l’estimation d’un modèle de langue pour chaque document est requise. Nous proposons une approche basée sur des transformations spécifiques (à chaque do- cument) d’une représentation générique (apprise sur l’ensemble du corpus), pour définir des modèles de langue neuronaux pour la RI ad-hoc.