Highlighting exact matching via marking strategies for ad hoc document ranking with pretrained contextualized language models - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Highlighting exact matching via marking strategies for ad hoc document ranking with pretrained contextualized language models

Résumé

Les modèles de langue pré-entraînés (MLPs) à l'instar de BERT se sont révélés remarquablement efficaces pour le classement ad hoc. Contrairement aux modèles antérieurs à BERT qui nécessitent des composants neuronaux spécialisés pour capturer les différents aspects de la pertinence entre la requête et le document, les MLPs sont uniquement basés sur des blocs de “transformers” où l'attention est le seul mécanisme utilisé pour extraire des signaux à partir des interactions entre les termes de la requête et le document. Grâce à l'attention croisée du “transformer”, BERT s'est avéré être un modèle d'appariement sémantique efficace. Cependant, l'appariement exact reste un signal essentiel pour évaluer la pertinence d'un document par rapport à une requête de recherche d'informations, en dehors de l'appariement sémantique. Dans cet article, nous partons de l'hypothèse que BERT pourrait bénéficier d'indices explicites d'appariement exact pour mieux s'adapter à la tâche d'estimation de pertinence. Dans ce travail, nous explorons des stratégies d'intégration des signaux d'appariement exact en utilisant des “tokens” de marquage permettant de mettre en évidence les correspondances exactes entre les termes de la requête et ceux du document. Nous constatons que cette approche de marquage simple améliore de manière significative le modèle BERT vanille de référence. Nous démontrons empiriquement l'efficacité de notre approche par le biais d'expériences exhaustives sur trois collections standards en recherche d'information (RI). Les résultats montrent que les indices explicites de correspondance exacte transmis par le marquage sont bénéfiques pour des MLPs aussi bien BERT que pour ELECTRA. Nos résultats confirment que les indices traditionnels de RI, tels que la correspondance exacte de termes, sont toujours utiles pour les nouveaux modèles contextualisés pré-entraînés tels que BERT.
480173.pdf (96.36 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04131567 , version 1 (20-06-2023)

Licence

Paternité

Identifiants

  • HAL Id : hal-04131567 , version 1

Citer

Lila Boualili, Jose G. Moreno, Mohand Boughanem. Highlighting exact matching via marking strategies for ad hoc document ranking with pretrained contextualized language models. 18ème Conférence en Recherche d'Information et Applications (CORIA 2023), Association francophone de Recherche d’Information et Applications (ARIA); Association pour le Traitement Automatique des Langues (ATALA), Jun 2023, Paris, France. pp.201-201. ⟨hal-04131567⟩
28 Consultations
17 Téléchargements

Partager

Gmail Facebook X LinkedIn More