Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines
Barrières et chemins de transition pour les Machines de Boltzmann Restreintes avec l'échantillonnage alterné de Gibbs
Résumé
Restricted Boltzmann Machines (RBM) are bi-layer neural networks used for the unsupervised learning of model distributions from data. The bipartite architecture of RBM naturally defines an elegant sampling procedure, called Alternating Gibbs Sampling (AGS), where the configurations of the latent-variable layer are sampled conditional to the data-variable layer, and vice versa. We study here the performance of AGS on several analytically tractable models borrowed from statistical mechanics. We show that standard AGS is not more efficient than classical Metropolis-Hastings (MH) sampling of the effective energy landscape defined on the data layer. However, RBM can identify meaningful representations of training data in their latent space. Furthermore, using these representations and combining Gibbs sampling with the MH algorithm in the latent space can enhance the sampling performance of the RBM when the hidden units encode weakly dependent features of the data. We illustrate our findings on three datasets: Bars and Stripes and MNIST, well known in machine learning, and the so-called Lattice Proteins, introduced in theoretical biology to study the sequence-to-structure mapping in proteins.
Les machines de Boltzmann restreintes (RBM) sont des réseaux de neurones à deux couches utilisés pour l'apprentissage non supervisé de distributions de modèles à partir de données. L'architecture bipartie des RBM définit naturellement une procédure d'échantillonnage élégante, appelée échantillonnage alterné de Gibbs (AGS), où les configurations de la couche des variables latentes sont échantillonnées conditionnellement à la couche des variables de données, et vice versa. Nous étudions ici la performance de l'AGS sur plusieurs modèles analytiquement tractables empruntés à la mécanique statistique. Nous montrons que l'AGS standard n'est pas plus efficace que l'échantillonnage classique de Metropolis-Hastings (MH) du paysage énergétique effectif défini sur la couche des données. Cependant, le RBM peut identifier des représentations significatives des données d'entraînement dans leur espace latent. En outre, l'utilisation de ces représentations et la combinaison de l'échantillonnage de Gibbs avec l'algorithme MH dans l'espace latent peuvent améliorer les performances d'échantillonnage du RBM lorsque les unités cachées codent des caractéristiques faiblement dépendantes des données. Nous illustrons nos résultats sur trois ensembles de données : Bars and Stripes et MNIST, bien connus dans le domaine de l'apprentissage automatique, et les "Lattice Proteins", introduits en biologie théorique pour étudier la correspondance séquence-structure dans les protéines.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|