Unsupervised discovery of Interpretable Visual Concepts
Résumé
Providing interpretability of deep-learning models to non-experts, while fundamental for a responsible real-world usage, is challenging. Attribution maps from xAI techniques, such as Integrated Gradients, are a typical example of a visualization technique containing a high level of information, but with difficult interpretation. In this paper, we propose two methods, Maximum Activation Groups Extraction (MAGE) and Multiscale Interpretable Visualization (Ms-IV), to explain the model’s decision, enhancing global interpretability. MAGE finds, for a given CNN, combinations of features which, globally, form a semantic meaning, that we call concepts. We group these similar feature patterns by clustering in “concepts”, that we visualize through Ms-IV. This last method is inspired by Occlusion and Sensitivity analysis (incorporating causality), and uses a novel metric, called Class-aware Order Correlation (CaOC), to globally evaluate the most important image regions according to the model’s decision space. We compare our approach to xAI methods such as LIME and Integrated Gradients. Experimental results evince the Ms-IV higher localization and faithfulness values. Finally, qualitative evaluation of combined MAGE and Ms-IV demonstrates humans’ ability to agree, based on the visualization, on the decision of clusters’ concepts; and, to detect, among a given set of networks, the existence of bias.
Fichier principal
main.pdf (9.62 Mo)
Télécharger le fichier
MAG_diagram.pdf (52.7 Ko)
Télécharger le fichier
cluster0_1_resnet.png (204.05 Ko)
Télécharger le fichier
clusters1_2_vgg.png (202.55 Ko)
Télécharger le fichier
clusters2_6_resnet.png (202.44 Ko)
Télécharger le fichier
clusters3_4_vgg.png (205.09 Ko)
Télécharger le fichier
clusters5_6_vgg.png (213.61 Ko)
Télécharger le fichier
clusters9_10_resnet.png (216.14 Ko)
Télécharger le fichier
comp_other_viz2.png (670.81 Ko)
Télécharger le fichier
comp_prob_change_sample0resnet.png (315.34 Ko)
Télécharger le fichier
comp_prob_change_sample0vgg.png (286.24 Ko)
Télécharger le fichier
comp_prob_change_sample1resnet.png (315.5 Ko)
Télécharger le fichier
comp_prob_change_sample1vgg.png (322.82 Ko)
Télécharger le fichier
ex_inter_exp.png (757.02 Ko)
Télécharger le fichier
example_normal_difference_all_nets.png (601.97 Ko)
Télécharger le fichier
examples_ms_iv_both_nets.png (590.13 Ko)
Télécharger le fichier
inertia_resnet.png (68.83 Ko)
Télécharger le fichier
inertia_vgg.png (82.91 Ko)
Télécharger le fichier
kdd_ms_iv.pdf (566.08 Ko)
Télécharger le fichier
kdd_spatial_structure.pdf (62.54 Ko)
Télécharger le fichier
method1_2.png (642.01 Ko)
Télécharger le fichier
method2_3.png (1.13 Mo)
Télécharger le fichier
scatter14_512images_no_bias_resnet_no_bias.png (26.89 Ko)
Télécharger le fichier
scatter14_512images_no_bias_vgg_no_bias.png (29.24 Ko)
Télécharger le fichier
scatter4_512images_no_bias_resnet_no_bias.png (27.43 Ko)
Télécharger le fichier
scatter4_512images_no_bias_vgg_no_bias.png (26.63 Ko)
Télécharger le fichier
scatter7_512images_no_bias_resnet_no_bias.png (30.11 Ko)
Télécharger le fichier
scatter7_512images_no_bias_vgg_no_bias.png (24.82 Ko)
Télécharger le fichier
scatter_probs_resnet50.png (131.34 Ko)
Télécharger le fichier
scatter_probs_vgg50.png (135.74 Ko)
Télécharger le fichier
silhouette_resnet.png (95.81 Ko)
Télécharger le fichier
silhouette_vgg.png (170.67 Ko)
Télécharger le fichier
summary_resnet_groups.png (115.38 Ko)
Télécharger le fichier
summary_vgg_groups.png (180.54 Ko)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|