Appariement d'images d'oeuvres d'Art avec descriptions textuelles variées
Résumé
Text-image matching generally focuses on textual descriptions [2]. These methods do not take into account complex scenarios where the text contains non-visual information. In this study, we compare the performance of CLIP [9] on visual, contextual, and mixed texts. We show that the type of text influences the performance of multimodal search tasks. Visual text yields better results in image retrieval, while mixed text is more effective for text retrieval.
L’appariement texte-image se concentre généralement sur des descriptions textuelles [2]. Cependant, ces méthodes ne prennent pas en compte les scénarios complexes où le texte contient des informations non visuelles. Dans cette étude, nous comparons les performances de CLIP [9] sur des textes visuels, contextuels et mixtes. Nous montrons que le type de texte influence les performances des tâches de recherche multimodales. Un texte visuel est plus efficace pour la recherche d’images, tandis qu’un texte mixte est plus facile à retrouver dans le cas d’une recherche de texte
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|