Reservoir Computing meets Recurrent Kernels and Structured Transforms
Reservoir Computing rencontre Kernels Récurrents et Transformées Structurées
Résumé
Reservoir Computing is a class of simple yet efficient Recurrent Neural Networks where internal weights are fixed at random and only a linear output layer is trained. In the large size limit, such random neural networks have a deep connection with kernel methods. Our contributions are threefold: a) We rigorously establish the recurrent kernel limit of Reservoir Computing and prove its convergence. b) We test our models on chaotic time series prediction, a classic but challenging benchmark in Reservoir Computing, and show how the Recurrent Kernel is competitive and computationally efficient when the number of data points remains moderate. c) When the number of samples is too large, we leverage the success of structured Random Features for kernel approximation by introducing Structured Reservoir Computing. The two proposed methods, Recurrent Kernel and Structured Reservoir Computing, turn out to be much faster and more memory-efficient than conventional Reservoir Computing.
Le calcul de réservoir est une classe de réseaux neuronaux récurrents simples mais efficaces où les poids internes sont fixés au hasard et où seule une couche de sortie linéaire est formée. Dans la limite de la grande taille, ces réseaux neuronaux aléatoires ont un lien profond avec les méthodes de noyau. Nos contributions sont triples : a) Nous établissons rigoureusement la limite du noyau récurrent du calcul de réservoir et prouvons sa convergence. b) Nous testons nos modèles sur la prédiction de séries temporelles chaotiques, une référence classique mais difficile dans le calcul de réservoir, et montrons comment le noyau récurrent est compétitif et efficace sur le plan du calcul lorsque le nombre de points de données reste modéré. c) Lorsque le nombre d'échantillons est trop important, nous tirons parti du succès des projections aléatoires structurées pour l'approximation du noyau en introduisant le Structured Reservoir Computing. Les deux méthodes proposées, le Recurrent Kernel et le Structured Reservoir Computing, s'avèrent beaucoup plus rapides et plus efficaces en termes de mémoire que le Reservoir Computing classique.