Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Résumé
We revisit Rahimi and Recht (2007)’s kernel random Fourier features (RFF) method through the lens of the PAC-Bayesian theory. While the primary goal of RFF is to approximate a kernel, we look at the Fourier transform as a prior distribution over trigonometric hypotheses. It naturally suggests learning a posterior on these hypotheses. We derive generalization bounds that are optimized by learning a pseudo-posterior obtained from a closed-form expression. Based on this study, we consider two learning strategies: The first one finds a compact landmarks-based representation of the data where each landmark is given by a distribution-tailored similarity measure, while the second one provides a PAC-Bayesian justification to the kernel alignment method of Sinha and Duchi (2016).
Fichier principal
main_aistats_2019_PB_rff.pdf (1.43 Mo)
Télécharger le fichier
Figure_1b-crop.png (352.24 Ko)
Télécharger le fichier
Figure_2b-crop.png (726.75 Ko)
Télécharger le fichier
error_landmarks_ads.pdf (114.29 Ko)
Télécharger le fichier
error_landmarks_adult.pdf (114.01 Ko)
Télécharger le fichier
error_landmarks_breast.pdf (113.8 Ko)
Télécharger le fichier
error_landmarks_farm.pdf (114.36 Ko)
Télécharger le fichier
error_landmarks_mnist17.pdf (113.96 Ko)
Télécharger le fichier
error_landmarks_mnist49.pdf (113.97 Ko)
Télécharger le fichier
error_landmarks_mnist56.pdf (113.99 Ko)
Télécharger le fichier
error_vs_features_ads.pdf (98.96 Ko)
Télécharger le fichier
error_vs_features_adult.pdf (99.47 Ko)
Télécharger le fichier
error_vs_features_breast.pdf (98.4 Ko)
Télécharger le fichier
error_vs_features_farm.pdf (99.25 Ko)
Télécharger le fichier
error_vs_features_mnist17.pdf (146.46 Ko)
Télécharger le fichier
error_vs_features_mnist49.pdf (146.87 Ko)
Télécharger le fichier
error_vs_features_mnist56.pdf (98.92 Ko)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Origine | Fichiers produits par l'(les) auteur(s) |
---|