An adaptive multi-agent system for task reallocation in a MapReduce job
Un système multi-agent adaptatif pour la réallocation de tâches au sein d'un job MapReduce
Résumé
We study the problem of task reallocation for load-balancing of MapReduce jobs in applications that process large datasets. In this context, we propose a novel strategy based on cooperative agents used to optimise the task scheduling in a single MapReduce job. The novelty of our strategy lies in the ability of agents to identify opportunities within a current unbalanced allocation, which in turn trigger concurrent and one-to-many negotiations amongst agents to locally reallocate some of the tasks within a job. Our contribution is that tasks are reallocated according to the proximity of the resources and they are performed in accordance to the capabilities of the nodes in which agents are situated. To evaluate the adaptivity and responsiveness of our approach, we implement a prototype test-bed and conduct a vast panel of experiments in a heterogeneous environment and by exploring varying hardware configurations. This extensive experimentation reveals that our strategy significantly improves the overall runtime over the classical Hadoop data processing.
Nous étudions le problème de la réallocation de tâches pour l'équilibrage de jobs MapReduce dans des applications de traitement de données massives. Dans ce contexte, pour optimiser l'ordonnancement de tâches dans un seul job MapReduce, nous proposons une stratégie basée sur des agents coopératifs. L'originalité de notre stratégie réside dans la capacité des agents à identifier des opportunités au sein d'une allocation déséquilibrée qui leur permettent de déclencher des négociations «~un-à-plusieurs~» concurrentes entre agents dans le but de réallouer certaines tâches au sein du job. Notre contribution consiste à réallouer les tâches en fonction de la proximité des ressources pour qu'elles soient exécutées en tenant compte des capacités des nœuds sur lesquels sont situés les agents. Pour évaluer l'adaptivité et la réactitivé de notre approche, nous avons implémenté un prototype et mené de nombreuses expériences dans un environnement hétérogène, selon différentes configurations. Cette large campagne d'expérimentations révèle que notre stratégie améliore significativement le temps d'exécution total par rapport au processus classique de Hadoop.
| Origine | Publication financée par une institution |
|---|