Contributions to Local, Asynchronous and Decentralized Learning, and to Geometric Deep Learning
Contributions à l'apprentissage local, asynchrone et décentralisé, et à l'apprentissage profond sur variété
Résumé
This document is a summary of some of the research I conducted from 2018 to 2023 to obtain the Habilitation à Diriger des Recherches. All the results mentioned are discussed in greater depth in the corresponding publications.
The research topics I will discuss focus on the concepts of distributed learn- ing, local learning, and deep representation learning on manifolds. A central point I aim to develop is the creation of efficient distributed algorithms for train- ing deep neural networks, both in terms of computation time and the number of operations required for training. The first chapter provides an introduction to these fields and my research activities. The second chapter discusses the interplay between computer hardware and existing training paradigms. These interactions are crucial as they promise or achieve significant reductions in the training costs of deep networks. The third chapter outlines initial elements of re- search to create deep representations on manifolds and graphs. In particular, we have sought principles for modeling such architectures. The fourth chapter dis- cusses the local learning results I have obtained, especially layer-by-layer greedy learning. This corresponds to the idea of training networks by proposing weight updates for a layer based solely on local information to that layer, using as little global information related to all layers as possible. The fifth chapter summarizes results obtained in decentralized asynchronous learning, within frameworks of convex optimization and optimization of deep neural network weights. One of the interests of such approaches is their potential superiority, both from a prac- tical implementation standpoint and from an algorithmic perspective. Finally, the last chapter provides future perspectives on my research.
Ce document est un résumé d’une partie des recherches que j’ai menées de 2018 à 2023 afin d’obtenir le diplôme d’Habilitation à Diriger des Recherches. L’ensemble des résultats mentionnés est discuté plus en profondeur dans les publications correspondantes.
Les sujets des recherches dont je vais discuter portent sur les notions d’apprentissage distribué, d’apprentissage local et d’apprentissage de représentation profonde sur des variétés. Un des points centraux que je cherche à développer est la création d’algorithme distribué d’entraînement de réseau de neurones profond, efficace, tant du point de vue du temps de calcul que de la quantité d’opération nécessaire pour l’entraînement. Le premier chapitre correspond à une introduction à ces domaines ainsi qu’à mes activités de recherche. Le second chapitre discute des relations entre le matériel informatique et les paradigmes existants d’entraînement. Ces interactions sont importantes car elles permettent de promettre ou d’obtenir des améliorations significatives des coûts d’entraînement des réseaux profonds. Le troisième chapitre décrit des éléments initiaux d’une recherche pour créer des représentations profondes sur variété et graphe. En particulier, nous avons essayé de réfléchir à des principes pour modéliser de telles architectures. Le quatrième chapitre discute des résultats en apprentissage local que j’ai obtenus, et notamment en apprentissage glouton couche par couche. Cela correspond à l’idée d’entraîner des réseaux en proposant des mises à jour des poids d’une couche basées uniquement sur des informations locales à cette couche, et en utilisant le moins possible d’information globale liée à toutes les couches. Le cinquième chapitre résume des résultats obtenus en apprentissage asynchrone décentralisé, dans des cadres d’optimisation convexe et d’optimisation de poids de réseaux de neurones profonds. Un des intérêts de ce type d’approche est leur potentielle supériorité, tant d’un point de vue d’implémentation pratique que d’un point de vue algorithmique. Enfin, le dernier chapitre propose des perspectives futures sur ma recherche.
Fichier principal
main.pdf (955.51 Ko)
Télécharger le fichier
Sciences_SU.png (7.68 Ko)
Télécharger le fichier
bibliography.bib (253.99 Ko)
Télécharger le fichier
couverture.tex (2.45 Ko)
Télécharger le fichier
greedyimprovement.pdf (133.51 Ko)
Télécharger le fichier
linearseparability.png (103.38 Ko)
Télécharger le fichier
model-para.png (125.71 Ko)
Télécharger le fichier
random_geom_10_comparison_50.pdf (98.51 Ko)
Télécharger le fichier
random_geom_12_comparison_50.pdf (104.53 Ko)
Télécharger le fichier
random_geom_8_comparison_50.pdf (88.16 Ko)
Télécharger le fichier
train_loss_imagenet_cycle_all_3 (1).pdf (69.61 Ko)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|