iQPP: Une Référence pour la Prédiction de Performances des Requêtes d'Images - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

iQPP: A Benchmark for Image Query Performance Prediction

iQPP: Une Référence pour la Prédiction de Performances des Requêtes d'Images

Eduard Poesina
  • Fonction : Auteur
  • PersonId : 1262702
Radu Tudor Ionescu
  • Fonction : Auteur
  • PersonId : 1085518

Résumé

To date, query performance prediction (QPP) in the context of content-based image retrieval remains a largely unexplored task, especially in the query-by-example scenario, where the query is an image. To boost the exploration of the QPP task in image retrieval, we propose the first benchmark for image query performance prediction (iQPP). First, we establish a set of four data sets (PASCAL VOC 2012, Caltech-101, ROxford5k and RParis6k) and estimate the ground-truth difficulty of each query as the average precision or the precision@k, using two state-of-the-art image retrieval models. Next, we propose and evaluate novel pre-retrieval and post-retrieval query performance predictors, comparing them with existing or adapted (from text to image) predictors. The empirical results show that most predictors do not generalize across evaluation scenarios. Our comprehensive experiments indicate that iQPP is a challenging benchmark, revealing an important research gap that needs to be addressed in future work. We release our code and data as open source at https://github.com/Eduard6421/iQPP, to foster future research.
 La prédiction de la performance des requêtes (QPP) dans le contexte de la recherche d'images basée sur le contenu reste une tâche largement inexplorée, en particulier dans le scénario de la recherche par l'exemple, où la requête est une image. Pour stimuler les recherches dans ce domaine, nous proposons la première collection de référence. Nous proposons un ensemble de quatre jeux de données (PASCAL VOC 2012, Caltech-101, ROxford5k et RParis6k) avec les performances attendues pour chaque requête à l'aide de deux modèles de recherche d'images état de l'art. Nous proposons également de nouveaux prédicteurs pré et post-recherche. Les résultats empiriques montrent que la plupart des prédicteurs ne se généralisent pas aux différents scénarios d'évaluation. Nos expériences exhaustives indiquent que l'iQPP est une référence difficile, révélant une importante lacune dans la recherche qui doit être abordée dans les travaux futurs. Nous publions notre code et nos données\footnote{https://github.com/Eduard6421/iQPP). Il s'agit du résumé étendu d'une publication acceptée à SIGIR 2023 (Poesina et al., 2023}.
Fichier principal
Vignette du fichier
477513.pdf (2.77 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04131566 , version 1 (20-06-2023)

Licence

Paternité

Identifiants

Citer

Eduard Poesina, Radu Tudor Ionescu, Josiane Mothe. iQPP: Une Référence pour la Prédiction de Performances des Requêtes d'Images. 18ème Conférence en Recherche d'Information et Applications (CORIA 2023), Association francophone de Recherche d’Information et Applications (ARIA); Association pour le Traitement Automatique des Langues (ATALA), Jun 2023, Paris, France. pp.214-220. ⟨hal-04131566⟩
58 Consultations
11 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More