Adaptation de domaine pour la recherche dense par annotation automatique
Résumé
Bien que la recherche d'information neuronale ait connu des améliorations, les modèles de recherche dense ont une capacité de généralisation à de nouveaux domaines limitée, contrairement aux modèles basés sur l'interaction. Les approches d'apprentissage adversarial et de génération de requêtes n'ont pas résolu ce problème. Cet article propose une approche d'auto-supervision utilisant des étiquettes de pseudo-pertinence automatiquement générées pour le domaine cible. Le modèle T53B est utilisé pour réordonner une liste de documents fournie par BM25 afin d'obtenir une annotation des exemples positifs. L'extraction des exemples négatifs est effectuée en explorant différentes stratégies. Les expériences montrent que cette approche aide le modèle dense sur le domaine cible et améliore l'approche de génération de requêtes GPL.
Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|