Fast kernel methods: Sobolev, physics-informed, and additive models
Méthodes à noyaux rapides: Sobolev, régression informée parla physique, et modèles additifs
Résumé
Kernel methods are powerful tools in statistical learning, but their cubic complexity in the sample size n limits their use on large-scale datasets. In this work, we introduce a scalable framework for kernel regression with O(n log n) complexity, fully leveraging GPU acceleration. The approach is based on a Fourier representation of kernels combined with non-uniform fast Fourier transforms (NUFFT), enabling exact, fast, and memory-efficient computations. We instantiate our framework in three settings: Sobolev kernel regression, physics-informed regression, and additive models. When known, the proposed estimators are shown to achieve minimax convergence rates, consistent with classical kernel theory. Empirical results demonstrate that our methods can process up to tens of billions of samples within minutes, providing both statistical accuracy and computational scalability. These contributions establish a flexible approach, paving the way for the routine application of kernel methods in large-scale learning tasks.
Les méthodes à noyaux sont des outils puissants en apprentissage statistique, mais leur complexité cubique en fonction de la taille de l’échantillon n limite leur utilisation sur des ensembles de données de grande dimension. Dans ce travail, nous introduisons un cadre général pour ramener la régression à noyaux à une complexité en O(n log n), tout en exploitant pleinement l’accélération par carte graphique (GPU). L’approche repose sur une représentation de Fourier des noyaux combinée avec des transformées de Fourier rapides non uniformes (NUFFT), permettant des calculs exacts, rapides et peu coûteux en mémoire. Nous instancions notre cadre dans trois contextes : la régression à noyau de Sobolev, la régression informée par la physique et les modèles additifs. Quand ils sont connus, les estimateurs proposés atteignent des vitesses de convergence minimax, en accord avec la théorie classique des noyaux. Les résultats empiriques montrent que nos méthodes peuvent traiter jusqu’à plusieurs dizaines de milliards d’échantillons en quelques minutes, tout en offrant à la fois une précision statistique et une scalabilité computationnelle. Ces contributions ouvrent la voie à une application courante des méthodes à noyaux dans des tâches d’apprentissage à grande échelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |