Les étoiles montantes de l'apprentissage distribué
Résumé
À l'inverse de l'apprentissage centralisé classique, qui impose de faire confiance à un opérateur unique chargé d'agréger les données et d'entraîner les modèles d'IA, l'apprentissage décentralisé offre un niveau supérieur de confidentialité et de tolérance aux pannes. Une approche populaire, l'apprentissage fédéré, repose sur un agrégateur central, héritant ainsi de certaines limites de l'apprentissage centralisé notament en terme de tolérence aux pannes. De manière alternative, l'apprentissage par commérages permet une décentralisation complète au prix d'une convergence plus lente. Dans ce travail, nous introduisons HEAL, un protocole d'apprentissage décentralisé qui repose sur un réseau pair-à-pair doté d'une topologie optimisée pour l'apprentissage décentralisé, où des noeuds hub émergent. Les hubs jouent un rôle clé en tant qu'agrégateurs de modèles. L'emergence des hubs est réalisée via un processus auto-organisé, auto-réparateur et entièrement décentralisé. À travers des simulations, nous montrons que HEAL atteint des performances comparables à celles de l'apprentissage fédéré dans des environnements sans pannes, tout en restant entièrement décentralisé et tolérant aux pannes. Ces résultats positionnent HEAL comme une solution robuste et efficace pour l'apprentissage décentralisé.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |