Accelerated methods for distributed optimization - Archive ouverte HAL Access content directly
Theses Year : 2021

Accelerated methods for distributed optimization

Méthodes accélérées pour l'optimisation distribuée

Abstract

In order to make meaningful predictions, modern machine learning models require huge amounts of data, and are generally trained in a distributed way, i.e., using many computing units. Indeed, the data is often too large or too sensitive to be gathered and stored at one place, and stacking computing units increases the computing power. Yet, machine learning models are usually trained using stochastic optimization methods, that perform a sequence of steps which are noisy but relatively easy to compute. Besides, many algorithms reuse past information to speed up convergence, which requires a high level of synchrony between agents. This thesis presents a set of results that extend the recent advances from stochastic and accelerated convex optimization to the decentralized setting, in which there is no central coordination but only pairwise communications.
Les modèles d'apprentissage modernes ont généralement besoin de volumes de données conséquents afin de réaliser de bonnes prédictions, et sont donc généralement entraînés de manière distribuée, c'est-à-dire en utilisant de nombreuses unités de calculs. Cette architecture distribuée peut venir de la taille des données, leur sensibilité, ou simplement pour entraîner les modèles plus rapidement. Cependant, les modèles d'apprentissage sont souvent entraînés en utilisant des méthodes d'optimisation stochastiques intrinsèquement séquentielles, qui utilisent de nombreux gradients bruités, mais faciles à calculer. De plus, de nombreux algorithmes réutilisent de l'information passée afin d'accélérer la convergence, ce qui nécessite un haut niveau de synchronie et de partage d'information. Cette thèse présente un ensemble de résultats permettant d'étendre les avancées récentes en optimisation stochastique et accélérée dans le cadre décentralisé, c'est-à-dire sans coordination centrale, mais via un ensemble de communications pair à pair.
Fichier principal
Vignette du fichier
Hendrikx_2021_These.pdf (3.4 Mo) Télécharger le fichier
Origin Version validated by the jury (STAR)

Dates and versions

tel-03994144 , version 1 (10-12-2021)
tel-03994144 , version 2 (17-02-2023)

Identifiers

  • HAL Id : tel-03994144 , version 2

Cite

Hadrien Hendrikx. Accelerated methods for distributed optimization. Optimization and Control [math.OC]. Université Paris sciences et lettres, 2021. English. ⟨NNT : 2021UPSLE052⟩. ⟨tel-03994144v2⟩
420 View
434 Download

Share

Gmail Mastodon Facebook X LinkedIn More