A Novel Approach to Regularising 1NN classifier for Improved Generalization - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2024

A Novel Approach to Regularising 1NN classifier for Improved Generalization

Aditya Challa
  • Fonction : Auteur
  • PersonId : 1351758
Sravan Danda

Résumé

In this paper, we propose a class of non-parametric classifiers, that learn arbitrary boundaries and generalize well. Our approach is based on a novel way to regularize 1NN classifiers using a greedy approach. We refer to this class of classifiers as Watershed Classifiers. 1NN classifiers are known to trivially over-fit but have very large VC dimension, hence do not generalize well. We show that watershed classifiers can find arbitrary boundaries on any dense enough dataset, and, at the same time, have very small VC dimension; hence a watershed classifier leads to good generalization. Traditional approaches to regularize 1NN classifiers are to consider K nearest neighbours. Neighbourhood component analysis (NCA) proposes a way to learn representations consistent with (n-1) nearest neighbour classifier, where n denotes the size of the dataset. In this article, we propose a loss function which can learn representations consistent with watershed classifiers, and show that it outperforms the NCA baseline.
Fichier principal
Vignette du fichier
main.pdf (1.67 Mo) Télécharger le fichier
LICENSE (11.09 Ko) Télécharger le fichier
README.md (81 B) Télécharger le fichier
icml_numpapers.pdf (2.76 Ko) Télécharger le fichier
img/toy1.png (30.39 Ko) Télécharger le fichier
img/toy1_simpleNN.png (34.71 Ko) Télécharger le fichier
img/toy1_watershed.png (40.9 Ko) Télécharger le fichier
img_article/Fig4_epoch_10.png (36.58 Ko) Télécharger le fichier
img_article/Fig4_epoch_100.png (38.21 Ko) Télécharger le fichier
img_article/Fig4_epoch_1000.png (33.95 Ko) Télécharger le fichier
img_article/Fig5_spiral_10.png (92.36 Ko) Télécharger le fichier
img_article/Fig5_spiral_10_decision_boundary_linear_5000.png (93.82 Ko) Télécharger le fichier
img_article/Fig5_spiral_10_decision_boundary_watershed.png (97.46 Ko) Télécharger le fichier
img_article/Fig5_spiral_4.png (47.07 Ko) Télécharger le fichier
img_article/Fig5_spiral_4_decision_boundary_linear_10.png (50.3 Ko) Télécharger le fichier
img_article/Fig5_spiral_4_decision_boundary_linear_100.png (52.31 Ko) Télécharger le fichier
img_article/Fig5_spiral_4_decision_boundary_linear_2.png (47.64 Ko) Télécharger le fichier
img_article/Fig5_spiral_4_decision_boundary_linear_500.png (53.22 Ko) Télécharger le fichier
img_article/Fig5_spiral_4_decision_boundary_watershed.png (52.12 Ko) Télécharger le fichier
img_article/Fig6_watershed_fashionmnist_16.png (61.94 Ko) Télécharger le fichier
img_article/Fig6_watershed_fashionmnist_4.png (50.99 Ko) Télécharger le fichier
img_article/Fig7_loss_vs_width.png (205.53 Ko) Télécharger le fichier
img_article/Figure1.pdf (30.86 Ko) Télécharger le fichier
img_article/Figure1a.pdf (31.31 Ko) Télécharger le fichier
img_article/Figure1b.pdf (31.32 Ko) Télécharger le fichier
img_article/Figure1c.pdf (31.32 Ko) Télécharger le fichier
img_article/Figure2.png (672.66 Ko) Télécharger le fichier
img_article/Figure3.pdf (77.47 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04456426 , version 1 (14-02-2024)

Identifiants

Citer

Aditya Challa, Sravan Danda, Laurent Najman. A Novel Approach to Regularising 1NN classifier for Improved Generalization. 2024. ⟨hal-04456426⟩
14 Consultations
12 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More