Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2023

Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud

Résumé

Distributed infrastructures for computation and analytics are now evolving towards an interconnected ecosystem allowing complex applications to be executed on the Edge-to-Cloud continuum. Understanding and optimizing end-to-end performance in such a complex continuum is challenging. One crucial challenge is accurately reproducing relevant behaviors of a given application workflow and representative settings of the physical infrastructure underlying this complex continuum.  This thesis is a conceptual and practical contribution to the Edge-to-Cloud continuum, proposing and applying methodologies in novel environments. Our methodologies aim at overcoming the complexity of understanding and optimizing Edge-to-Cloud workflows. As such, they enable reproducible experiment design, application optimization, efficient workflow provenance capture, and cost-effective experiment reproducibility.  We validated our proposal by first developing the E2Clab framework that supports the complete analysis cycle of an application on the Edge-to-Cloud Continuum and then using E2Clab to optimize Pl@ntNet, a global plant identification application. Large-scale experimental validation on Grid'5000 shows that our methodology has proven helpful for understanding and improving the performance of Pl@ntNet.
Les infrastructures distribuées pour le calcul et l'analyse évoluent désormais vers un écosystème interconnecté permettant l'exécution d'applications complexes dans le continuum Edge-to-Cloud. Comprendre et optimiser les performances de bout en bout dans ce contexte est un défi majeur. Un besoin crucial consiste à reproduire avec précision les comportements pertinents des workflows et les paramètres représentatifs de l'infrastructure physique sous-jascente. Cette thèse est une contribution conceptuelle et pratique au continuum Edge-to-Cloud, proposant des méthodologies et les appliquant dans des environnements novateurs. Nos méthodologies ont pour but de s'affranchir de la complexité de la compréhension et de l'optimisation des workflows dans le continuum Edge-to-Cloud. Ainsi, elles permettent la conception d'expériences reproductibles, l'optimisation des applications, la capture efficace des données de provenance des exécutions de workflows, et la reproductibilité des expériences.  Nous avons validé notre proposition avec, d'abord, le développement du framework E2Clab qui supporte le cycle complet d’analyse d’une application dans le continuum Edge-to-Cloud, et ensuite, l'utilisation de E2Clab pour l'optimisation Pl@ntNet, une application mondiale d'identification des plantes. La validation expérimentale à grande échelle sur Grid'5000 montre que notre méthodologie s'est avérée utile pour comprendre et améliorer les performances de Pl@ntNet.
Fichier principal
Vignette du fichier
main.pdf (9.95 Mo) Télécharger le fichier
E2Clab-architecture.pdf (221.9 Ko) Télécharger le fichier
E2Clab-cli.pdf (15.75 Ko) Télécharger le fichier
E2Clab-lyrs-svcs.pdf (340.5 Ko) Télécharger le fichier
E2Clab-network.pdf (200 Ko) Télécharger le fichier
INSA.png (40.2 Ko) Télécharger le fichier
KheOps-archi.pdf (665.11 Ko) Télécharger le fichier
cpu_overhead.pdf (39.76 Ko) Télécharger le fichier
e2clab-prov-v2.pdf (353.85 Ko) Télécharger le fichier
e2clab-prov.pdf (353.84 Ko) Télécharger le fichier
exp-repro.png (20.37 Ko) Télécharger le fichier
exp-size.png (16.48 Ko) Télécharger le fichier
exp_setup.pdf (229.82 Ko) Télécharger le fichier
fig_e2clab_arch.png (198.69 Ko) Télécharger le fichier
fig_optimization-edge-to-cloud.png (230.32 Ko) Télécharger le fichier
fig_plantnet_new_users.png (58.63 Ko) Télécharger le fichier
fig_response_time.png (83.2 Ko) Télécharger le fichier
fig_result_baseline-vs-best-user-response-time.png (214.95 Ko) Télécharger le fichier
fig_result_baseline-vs-best2-user-response-time.png (254.82 Ko) Télécharger le fichier
fig_result_sa_extract.png (180.42 Ko) Télécharger le fichier
fig_result_sa_extract_pt.png (459.83 Ko) Télécharger le fichier
fig_result_sa_simsearch.png (192.99 Ko) Télécharger le fichier
fig_result_sa_simsearch_pt.png (485.78 Ko) Télécharger le fichier
fig_sa_extract_memory_used.png (111.08 Ko) Télécharger le fichier
fig_sa_extract_memory_used_v2.png (108.09 Ko) Télécharger le fichier
fig_sa_extract_threadpool_extract.png (542 Ko) Télécharger le fichier
fig_sa_extract_threadpool_simsearch.png (618.68 Ko) Télécharger le fichier
fig_sa_extract_usage.png (145.6 Ko) Télécharger le fichier
fig_sa_extract_usage_percent.png (255.81 Ko) Télécharger le fichier
fig_sa_extract_usage_percent_v2.png (267.67 Ko) Télécharger le fichier
fig_sa_extract_usage_v2.png (160.92 Ko) Télécharger le fichier
fig_sa_simsearch_threadpool_extract.png (514.99 Ko) Télécharger le fichier
fig_sa_simsearch_threadpool_simsearch.png (630.14 Ko) Télécharger le fichier
image-fond-dos.png (50.96 Ko) Télécharger le fichier
image-fond-dos2.png (44.32 Ko) Télécharger le fichier
image-fond-garde.png (256.16 Ko) Télécharger le fichier
kheops-context-v3.pdf (551.16 Ko) Télécharger le fichier
kheops-context-v4.pdf (559.23 Ko) Télécharger le fichier
kheops-exp-repro.png (20.37 Ko) Télécharger le fichier
kheops-plot_monitoring_cpu-chi.pdf (12.49 Ko) Télécharger le fichier
kheops-plot_monitoring_cpu-g5k.pdf (12.49 Ko) Télécharger le fichier
kheops-plot_monitoring_mem-chi.pdf (12.43 Ko) Télécharger le fichier
kheops-plot_monitoring_mem-g5k.pdf (12.89 Ko) Télécharger le fichier
kheops-plot_monitoring_net-chi.pdf (13.94 Ko) Télécharger le fichier
kheops-plot_monitoring_net-g5k.pdf (13.94 Ko) Télécharger le fichier
kheops-plot_processing_time_15Kbit-chi.pdf (13.6 Ko) Télécharger le fichier
kheops-plot_processing_time_15Kbit-g5k.pdf (14.58 Ko) Télécharger le fichier
kheops-plot_processing_time_25Kbit-chi.pdf (13.6 Ko) Télécharger le fichier
kheops-plot_processing_time_25Kbit-g5k.pdf (14.58 Ko) Télécharger le fichier
kheops-xp-processes.pdf (278.33 Ko) Télécharger le fichier
kheops-xp-setup.pdf (311.42 Ko) Télécharger le fichier
logo.png (99.64 Ko) Télécharger le fichier
memory_overhead.pdf (39.38 Ko) Télécharger le fichier
methodology-optimization.pdf (317.78 Ko) Télécharger le fichier
methodology.pdf (488.58 Ko) Télécharger le fichier
methodology_extended.png (317.02 Ko) Télécharger le fichier
network_overhead.pdf (37.08 Ko) Télécharger le fichier
plantnet-geographic-scope.pdf (356.83 Ko) Télécharger le fichier
power_overhead.pdf (45.62 Ko) Télécharger le fichier
provlight-arch.pdf (23.31 Ko) Télécharger le fichier
research-gap.png (278.08 Ko) Télécharger le fichier
workflow.png (111.6 Ko) Télécharger le fichier
workload.pdf (9.29 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04167278 , version 1 (20-07-2023)

Identifiants

  • HAL Id : tel-04167278 , version 1

Citer

Daniel Rosendo. Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum. Distributed, Parallel, and Cluster Computing [cs.DC]. INSA RENNES, 2023. English. ⟨NNT : ⟩. ⟨tel-04167278⟩
155 Consultations
144 Téléchargements

Partager

Gmail Facebook X LinkedIn More