To quantify an image relevance relative to a target 3D object
Résumé
Given a 3D object, our purpose is to find, among numerous 2D images within databases, which ones represent this object the best. Selected images should be both informative and offer a relevant view of the object, i.e.a pose that presents the essential characteristic information about the 3D object. To estimate the quality of the view, we propose to rely on repeatable, second order features, extracted with a curvilinear saliency detector, in order to both compute the pose within the image and to build a relevance score, independent of colors and textures. Based on this score, and given a set of images containing the same object, we are able to rank images from the one that best showcases the object to the worst one. Neural networks dedicated to detection and classification are able to recognise the object with a confidence score. So, we also develop an automatic approach based on a confidence score extracted from Convolutional Neural Networks. For evaluating and comparing the deterministic and the learning based methods, we use an objective image ranking based on gradual simulated degradations. We also provide visual qualitative results on a real dataset. The results demonstrate the efficiency of the approaches, the robustness of the deterministic method and help understanding the behavior of the methods based on confidence score.
Étant donné un objet 3D, notre objectif est de sélectionner, parmi un ensemble d'images 2D, celles qui le représentent le mieux. Les images choisies doivent être à la fois informatives et offrir une vue pertinente de l'objet, c'est-à-dire une pose qui révèle ses caractéristiques essentielles. Pour évaluer la qualité de ces vues, nous proposons d'exploiter des caractéristiques de second ordre, extraites via un détecteur de saillance curviligne, afin de calculer un score de pertinence indépendant des couleurs et des textures.Sur la base de ce score, et pour un ensemble d'images d'un même objet, nous classons les images selon leur capacité à valoriser l'objet, de la plus pertinente à la moins représentative. En parallèle, nous utilisons des approches basées apprentissage : des réseaux de neurones dédiés à la reconnaissance et à la classification d'objets, reposant sur un score de confiance.Pour comparer notre méthode déterministe et celles basées sur l'apprentissage, nous utilisons un classement objectif d’images, construits en simulant des dégradations progressives. Nous présentons également des résultats qualitatifs visuels sur des ensembles de données réelles, démontrant l'efficacité de notre approche. Les résultats montrent non seulement la robustesse de la méthode déterministe, mais ils apportent aussi un éclairage sur le comportement des approches basées sur le score de confiance.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |