Imposing Gaussian Pre-Activations in a Neural Network
Comment imposer des pré-activations gaussiennes dans un réseau de neurones ?
Résumé
The goal of the present work is to propose a way to modify both the initialization distribution of the weights of a neural network and its activation function, such that all pre-activations are Gaussian. We propose a family of pairs initialization/activation, where the activation functions span a continuum from bounded functions (such as Heaviside or tanh) to the identity function. This work is motivated by the contradiction between existing works dealing with Gaussian pre-activations: on one side, the works in the line of the Neural Tangent Kernels and the Edge of Chaos are assuming it, while on the other side, theoretical and experimental results challenge this hypothesis. The family of pairs initialization/activation we are proposing will help us to answer this hot question: is it desirable to have Gaussian pre-activations in a neural network?
Le but de ce travail est de proposer un moyen de modifier la loi d'initialisation des poids d'un réseau de neurones ainsi que sa fonction d'activation, de façon à assurer que toutes les pré-activations soient gaussiennes. Nous proposons une famille de couples initialisation/activation, où les fonctions d'activation couvrent un continuum allant des fonctions bornées de type Heaviside ou tanh, jusqu'à la fonction identité.
Ce travail est motivé par la contradiction entre des travaux existants quant au caractère gaussien des pré-activations : d'un côté, les travaux dans la lignée des Neural Tangent Kernels et de l'Edge of Chaos en font abondamment usage ; de l'autre, des résultats théoriques et expérimentaux mettent à mal cette hypothèse.
La famille de couples initialisation/activation que nous proposons permettra d'avancer sur la question qui traverse des travaux actuels : est-il souhaitable d'avoir des pré-activations gaussiennes dans un réseau de neurones ?