Automated Deployment of Radio Astronomy Pipeline on CPU-GPU Processing Systems: DiFX as a Case Study
Déploiement automatisé d'un pipeline de radioastronomie sur des systèmes de traitement CPU-GPU : DiFX comme étude de cas
Résumé
The next generation of radio telescopes, such as the Square Kilometre Array (SKA), will require peta-FLOPS processing power to handle the massive amount of data acquired. A new generation of computing pipelines are required to address the SKA challenges leading to the integration of the pipelines on a dedicated heterogeneous High-Performance Computing (HPC) system. The tight real-time and energy constraints are driving the community to study the use of hardware accelerators like GPUs in the computing system. Allocating resources, such as processor times, memory, or communication bandwidth, to support complex algorithms in such systems is known as an NP-complete problem. Existing tools such as Dask and Data Activated 流 Graph Engine (DALiuGE) rely on dataflow Model of Computation (MoC) and have proven to be an efficient solution to specify parallel algorithms and automate their deployment. These models are efficient programming paradigms for expressing the parallelism of an application. However, state-of-the-art dataflow resource allocation only targets CPUs and usually relies on complex graph transformations resulting in a time-consuming process. This paper introduces an automated dataflow resource allocation method and code generation for heterogeneous CPU-GPU systems. Our method efficiently and quickly manages pre-scheduling graph complexity, and optimizes the dataflow model to the target architecture. Experimental results show that the proposed method improves resource allocation and speeds up the process by a factor of 13 compared to the best existing method on a basic architecture. Moreover, the execution times of the obtained implementations are comparable to those of manual implementations.
La prochaine génération de radiotélescopes, tels que le Square Kilometre Array (SKA), nécessitera une puissance de traitement de l'ordre du péta-FLOPS pour traiter la quantité massive de données acquises. Une nouvelle génération de pipelines de calcul est nécessaire pour relever les défis du SKA, ce qui conduit à l'intégration des pipelines sur un système hétérogène dédié de calcul à haute performance (HPC). Les contraintes de temps réel et d'énergie poussent la communauté à étudier l'utilisation d'accélérateurs matériels tels que les GPU dans le système de calcul. L'allocation de ressources, telles que le temps processeur, la mémoire ou la bande passante de communication, pour soutenir des algorithmes complexes dans de tels systèmes est connue comme un problème NP-complet. Les outils existants tels que Dask et Data Activated 流 Graph Engine (DALiuGE) s'appuient sur le modèle de calcul par flux de données (MoC) et se sont révélés être une solution efficace pour spécifier des algorithmes parallèles et automatiser leur déploiement. Ces modèles sont des paradigmes de programmation efficaces pour exprimer le parallélisme d'une application. Cependant, l'allocation des ressources de flux de données de l'état de l'art ne cible que les CPU et s'appuie généralement sur des transformations de graphes complexes, ce qui se traduit par un processus fastidieux. Cet article présente une méthode automatisée d'allocation des ressources de flux de données et de génération de code pour les systèmes hétérogènes CPU-GPU. Notre méthode gère efficacement et rapidement la complexité du graphe de pré-ordonnancement et optimise le modèle de flux de données en fonction de l'architecture cible. Les résultats expérimentaux montrent que la méthode proposée améliore l'allocation des ressources et accélère le processus d'un facteur 13 par rapport à la meilleure méthode existante sur une architecture de base. De plus, les temps d'exécution des implémentations obtenues sont comparables à ceux des implémentations manuelles.
Fichier principal
ADASS_XXXIV__Static_Dataflow_Synthesis_for_Heterogeneous_CPU_GPU_systems-5.pdf (110.1 Ko)
Télécharger le fichier
POSTER_ADASS_XXXIV.pdf (1.15 Mo)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Origine | Fichiers produits par l'(les) auteur(s) |
---|