High Performance Computational Fluid Dynamics on Clusters and Clouds: the ADAPT Experience
Haute performance pour le calcul de la dynamique des fluides dans les clusters et les clouds : l'expérience ADAPT
Résumé
In this thesis, we present our research work in the field of high performance computing in fluid mechanics (CFD)
for cluster and cloud architectures. In general, we propose to develop an efficient solver, called ADAPT, for problem
solving of CFDs in a classic view corresponding to developments in MPI and in a view that leads us to represent
ADAPT as a graph of tasks intended to be ordered on a cloud computing platform.
As a first contribution, we propose a parallelization of the diffusion-convection equation coupled to a linear system
in 2D and 3D using MPI. A two-level parallelization is used in our implementation to take advantage of the current
distributed multicore machines. A balanced distribution of the computational load is obtained by using the decomposition
of the domain using METIS, as well as a relevant resolution of our very large linear system using the parallel
solver MUMPS (Massive Parallel MUltifrontal Solver).
Our second contribution illustrates how to imagine the ADAPT framework, as depicted in the first contribution, as
a Service. We transform the framework (in fact, a part of the framework) as a DAG (Direct Acyclic Graph) in order
to see it as a scientific workflow. Then we introduce new policies inside the RedisDG workflow engine, in order to
schedule tasks of the DAG, opportunistically. We introduce into RedisDG the possibility to work with dynamic workers
(they can leave or enter into the computing system as they want) and a multi-criteria approach to decide on the
“best” worker to choose to execute a task. Experiments are conducted on
Dans cette thèse, nous présentons notre travail de recherche dans le domaine du calcul haute performance en mécanique
des fluides (CFD) pour architectures de type cluster et cloud. De manière générale, nous nous proposons
de développer un solveur efficace, appelé ADAPT, pour la résolution de problèmes de CFD selon une vue classique
correspondant à des développements en MPI et selon une vue qui nous amène à représenter ADAPT comme un graphe
de tâches destinées à être ordonnancées sur une plateforme de type cloud computing.
Comme première contribution, nous proposons une parallélisation de l’équation de diffusion-convection couplée à
un système linéaire en 2D et en 3D à l’aide de MPI. Une parallélisation à deux niveaux est utilisée dans notre implémentation
pour exploiter au mieux les capacités des machines multi-coeurs. Nous obtenons une distribution équilibrée
de la charge de calcul en utilisant la décomposition du domaine à l’aide de METIS, ainsi qu’une résolution pertinente
de notre système linéaire creux de très grande taille en utilisant le solveur parallèle MUMPS (Solveur MUltifrontal
Massivement Parallèle).
Notre deuxième contribution illustre comment imaginer la plateforme ADAPT, telle que représentée dans la première
contribution, comme un service. Nous transformons le framework ADAPT (en fait, une partie du framework)
en DAG (Direct Acyclic Graph) pour le voir comme un workflow scientifique. Ensuite, nous introduisons de nouvelles
politiques à l’intérieur du moteur de workflow RedisDG, afin de planifier les tâches du DAG, de manière opportuniste.
Nous introduisons dans RedisDG la possibilité de travailler avec des machines dynamiques (elles peuvent quitter ou
entrer dans le système de calcul comme elles veulent) et une approche multi-critères pour décider de la “meilleure”
machine à choisir afin d’exécuter une tâche. Des expériences sont menées sur le workflow ADAPT pour illustrer
l’efficacité de l’ordonnancement et des décisions d’ordonnancement dans le nouveau RedisDG.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|