Optimisation de la Topologie pour les Réseaux de Neurones Profonds
Résumé
Recently, deep neural networks have proven their ability to achieve excellent results on tasks such as classification and dimensionality reduction. The issue of hyper-parameter selection is decisive for these networks since the size of the search space increases exponentially with the number of layers. As a result, the grid-search approach is inappropriate and it is often left to the experimenter to ``guess'' sensible values for the hyper-parameters. In this study, we propose to select hyper-parameters layer after layer, on the basis of an unsupervised criterion, thus reducing to linear the complexity of the hyper-parameter selection procedure. Two unsupervised criteria are considered and the study focuses on determining an optimal number of neurons per layer. Experimentally, we show that the reconstruction error constitutes an adequate criterion for the layer-wise optimization of the number of neurons. In addition, we observe that the optimal size of layers tends to decrease when the number of training samples increases and we discuss this counter-intuitive result.
Récemment, les réseaux de neurones profonds ont démontré leur capacité à obtenir d’excellentes performances pour des tâches de classification et de réduction de dimension. Le problème du choix des hyper-paramètres est très critique pour ces réseaux car la taille de l’espace de recherche augmente exponentiellement avec le nombre de couches. En conséquence, l’approche grid-search ne convient pas et c’est à l’expérimentateur de “deviner” des valeurs judicieuses pour les hyper-paramètres. Nous proposons ici de sélectionner les hyper-paramètres couche après couche, sur la base d’un critère non-supervisé, ce qui réduit à une complexité linéaire l’optimisation des hyper-paramètres. Deux critères non-supervisés sont envisagés et nous focalisons notre étude sur la détermination d’un nombre optimal de neurones par couche. Au cours de nos expériences, nous montrons que l’erreur de reconstruction constitue un critère satisfaisant pour l’optimisation, couche par couche, du nombre de neurones. Nous observons par ailleurs que la taille optimale des couches tend à diminuer lorsque le nombre d’exemples augmente et nous discutons ce comportement contre-intuitif.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...