CNN features for Reverse Image Search
Résumé
Activations of units within top layers of convolutional neural networks (CNN features) are known to be good descriptors for image retrieval. In this paper, we investigate the use of CNN features for Reverse Image Search. We especially evaluate the robustness of these features against common modifications. In a first part, we present a benchmark to evaluate the retrieval performances of Reverse Image Search systems. To get a baseline, we evaluate well-established methods: Perceptual Hash Functions. In a second part, we further evaluate the retrieval performances of CNN features. We establish that CNN features perform better than Perceptual Hash Functions, even if neural networks are trained on unrelated classification tasks. CNN features are more robust against rotation and cropping. Finally, we give a list of layers from different neural networks that are remarkably good descriptors when used with a cosine distance.
RÉSUMÉ. Les activations des unités des couches supérieures des réseaux de neurones à convolu-tion (CNN features) se sont révélées être de bons descripteurs pour la recherche d'image. Dans ce papier, nous étudions les CNN features pour la recherche d'image inversée. Nous évaluons la robustesse de ces features contre les modifications courantes. Dans une première partie, nous présentons un benchmark de systèmes de recherche d'image inversée. Pour référence, nous évaluons des méthodes traditionnelles : les fonctions de hachage perceptuel. Dans une seconde partie, nous évaluons les CNN features. Nous montrons que les CNN features sont plus per-formantes que les fonctions de hachage perceptuel, même dans le cas de réseaux de neurones entrainés sur des tâches de classification non liées. Les CNN features sont plus robustes contre les rotations et le rognage. Finalement, nous dressons une liste de couches de différents réseaux de neurones qui sont de bons descripteurs lorsqu'ils sont comparés avec une distance cosinus.