Large-scale operator-valued kernel regression
Régression à noyaux à valeurs opérateurs pour grands ensembles de données
Résumé
Many problems in Machine Learning can be cast into vector-valued approximation. Operator-Valued Kernels and vector-valued Reproducing Kernel Hilbert Spaces provide a theoretical and practical framework to address that issue, extending nicely the well-known setting of scalar-valued kernels. However large scale applications are usually not affordable with these tools that require an important computational power along with a large memory capacity. In this thesis, we propose and study scalable methods to perform regression with Operator-Valued Kernels. To achieve this goal, we extend Random Fourier Features, an approximation technique originally introduced for scalar-valued kernels, to Operator-Valued Kernels. The idea is to take advantage of an approximated operator-valued feature map in order to come up with a linear model in a finite-dimensional space. This thesis is structured as follows. First we develop a general framework devoted to the approximation of shift-invariant MErcer kernels on Locally Compact Abelian groups and study their properties along with the complexity of the algorithms based on them. Second we show theoretical guarantees by bounding the error due to the approximation, with high probability. Third, we study various applications of Operator Random Fourier Features (ORFF) to different tasks of Machine learning such as multi-class classification, multi-task learning, time serie modelling, functionnal regression and anomaly detection. We also compare the proposed framework with other state of the art methods. Fourth, we conclude by drawing short-term and mid-term perspectives of this work.
De nombreuses problématiques d'apprentissage artificiel peuvent être modélisées grâce à des fonctions à valeur vectorielles. Les noyaux à valeurs opérateurs et leur espace de Hilbert à noyaux reproduisant à valeurs vectorielles associés donnent un cadre théorique et pratique pour apprendre de telles fonctions, étendant la littérature existante des noyaux scalaires. Cependant, lorsque les données sont nombreuses, ces méthodes sont peu utilisables, ne passant pas à l'échelle, car elle nécessite une quantité de mémoire évoluant quadratiquement et un temps de calcul évoluant cubiquement vis à vis du nombre de données, dans leur implémentation la plus naïve. Afin de faire passer les noyaux à valeurs opérateurs à l'échelle, nous étendons une technique d'approximation stochastique introduite dans le cadre des noyaux scalaires. L'idée est de tirer parti d'une fonction de redescription caractérisant le noyau à valeurs opérateurs, dont les fonctions associées vivent dans un espace de dimension infinie, afin d'obtenir un problème d'optimisation linéaire de dimension finie. Dans cette thèse nous développons dans un premier temps un cadre général afin de permettre l'approximation de noyaux de Mercer définis sur des groupes commutatifs localement compacts et étudions leurs propriétés ainsi que la complexités des algorithmes en découlant. Dans un second temps nous montrons des garanties théoriques en bornant l'erreur commise par l'approximation, avec grande probabilité. Enfin, nous mettons en évidence plusieurs applications des Représentations Opérateurs Aléatoires de Fourier (ORFF) telles que la classification multiple, l'apprentissage multi-tâche, la modélisation des séries temporelles, la régression fonctionnelle et la détection d'anomalies. Nous comparons également ce cadre avec d'autres méthodes de la littérature et concluons par des perspectives à moyen et long terme.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|