Using Control Theory to Reduce Disk Congestion Caused by Unpredictable I/O in Cloud Computing
Utiliser la théorie du contrôle pour réduire la congestion des disques dans un cloud de calcul
Résumé
In the context of distributed cloud computing systems, computing nodes often share stockage resources through shared file systems. Some computations can have strict requirements regarding I/O so it appears necessary to avoid any congestion or saturation of the file system. It can be mitigated with an a priori knowledge of the I/O profiles of computing jobs and traditional scheduling methods. However, in some contexts of cloud computing, like the Qarnot one, the same storage resources can be used to perform lower priority tasks than calculations such as downloading input data for the next tasks, deleting cached data or doing task checkpointing. Those additional tasks generate inherently dynamic and unpredictable traffic that can disturb efficiently established scheduling strategies. This can lead to a performance degradation and an energy overconsumption that we want to avoid. With the induced traffic being unpredictable, we believe that control theory is a good candidate to address this problem. In this work, we explore how suitable this strategy is by choosing the most relevant sensors and actuators for controlling the system.
Dans le contexte d'un cloud de calcul distribué, les nœuds de calcul partagent souvent des ressources de stockage via des systèmes de fichiers partagés. Certains calculs peuvent avoir des exigences strictes en matière d'I/O, il apparaît donc nécessaire d'éviter toute congestion ou saturation du système de fichiers. Cela peut être atténué par une connaissance a priori des profils d'I/O des tâches de calcul et des méthodes d'ordonnancement traditionnelles. Cependant, dans certains cloud, comme celui de Qarnot, les mêmes ressources de stockage peuvent être utilisées pour effectuer des tâches moins prioritaires que les calculs, telles que le téléchargement de données d'entrée pour les prochaines tâches de calcul, la suppression de données en cache ou la sauvegarde d'état de calculs. Ces processus supplémentaires génèrent un trafic intrinsèquement dynamique et imprévisible qui peut perturber les stratégies d'ordonnancement établies de manière efficace. Cela peut conduire à une dégradation des performances et à une surconsommation d'énergie que nous souhaitons éviter. Le trafic induit étant imprévisible, nous pensons que la théorie du contrôle est un bon candidat pour résoudre ce problème. Dans ce travail, nous explorons l'adéquation de cette stratégie en choisissant les capteurs et actionneurs les plus pertinents pour le contrôle du système.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|