Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Daniel Rosendo

Thèse Année : 2023

Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud

(1, 2)

1
2

Daniel Rosendo

Fonction : Auteur
PersonId : 746327
IdHAL : daniel-rosendo
ORCID : 0000-0003-1175-8426

Scalable Storage for Clouds and Beyond

Scientific Data Management

Résumé

Distributed infrastructures for computation and analytics are now evolving towards an interconnected ecosystem allowing complex applications to be executed on the Edge-to-Cloud continuum. Understanding and optimizing end-to-end performance in such a complex continuum is challenging. One crucial challenge is accurately reproducing relevant behaviors of a given application workflow and representative settings of the physical infrastructure underlying this complex continuum. This thesis is a conceptual and practical contribution to the Edge-to-Cloud continuum, proposing and applying methodologies in novel environments. Our methodologies aim at overcoming the complexity of understanding and optimizing Edge-to-Cloud workflows. As such, they enable reproducible experiment design, application optimization, efficient workflow provenance capture, and cost-effective experiment reproducibility. We validated our proposal by first developing the E2Clab framework that supports the complete analysis cycle of an application on the Edge-to-Cloud Continuum and then using E2Clab to optimize Pl@ntNet, a global plant identification application. Large-scale experimental validation on Grid'5000 shows that our methodology has proven helpful for understanding and improving the performance of Pl@ntNet.

Les infrastructures distribuées pour le calcul et l'analyse évoluent désormais vers un écosystème interconnecté permettant l'exécution d'applications complexes dans le continuum Edge-to-Cloud. Comprendre et optimiser les performances de bout en bout dans ce contexte est un défi majeur. Un besoin crucial consiste à reproduire avec précision les comportements pertinents des workflows et les paramètres représentatifs de l'infrastructure physique sous-jascente. Cette thèse est une contribution conceptuelle et pratique au continuum Edge-to-Cloud, proposant des méthodologies et les appliquant dans des environnements novateurs. Nos méthodologies ont pour but de s'affranchir de la complexité de la compréhension et de l'optimisation des workflows dans le continuum Edge-to-Cloud. Ainsi, elles permettent la conception d'expériences reproductibles, l'optimisation des applications, la capture efficace des données de provenance des exécutions de workflows, et la reproductibilité des expériences. Nous avons validé notre proposition avec, d'abord, le développement du framework E2Clab qui supporte le cycle complet d’analyse d’une application dans le continuum Edge-to-Cloud, et ensuite, l'utilisation de E2Clab pour l'optimisation Pl@ntNet, une application mondiale d'identification des plantes. La validation expérimentale à grande échelle sur Grid'5000 montre que notre méthodologie s'est avérée utile pour comprendre et améliorer les performances de Pl@ntNet.

Mots clés

Edge-to-Cloud Continuum Reproducibility Methodology Workflows E2Clab Edge Cloud

Continuum Edge-to-Cloud Reproductibilité Méthodologie

Domaines

Calcul parallèle, distribué et partagé [cs.DC] Base de données [cs.DB] Apprentissage [cs.LG] Réseaux et télécommunications [cs.NI] Performance et fiabilité [cs.PF]

Fichier principal

main.pdf (9.95 Mo)

E2Clab-architecture.pdf (221.9 Ko)

E2Clab-cli.pdf (15.75 Ko)

E2Clab-lyrs-svcs.pdf (340.5 Ko)

E2Clab-network.pdf (200 Ko)

INSA.png (40.2 Ko)

KheOps-archi.pdf (665.11 Ko)

cpu_overhead.pdf (39.76 Ko)

e2clab-prov-v2.pdf (353.85 Ko)

e2clab-prov.pdf (353.84 Ko)

exp-repro.png (20.37 Ko)

exp-size.png (16.48 Ko)

exp_setup.pdf (229.82 Ko)

fig_e2clab_arch.png (198.69 Ko)

fig_optimization-edge-to-cloud.png (230.32 Ko)

fig_plantnet_new_users.png (58.63 Ko)

fig_response_time.png (83.2 Ko)

fig_result_baseline-vs-best-user-response-time.png (214.95 Ko)

fig_result_baseline-vs-best2-user-response-time.png (254.82 Ko)

fig_result_sa_extract.png (180.42 Ko)

fig_result_sa_extract_pt.png (459.83 Ko)

fig_result_sa_simsearch.png (192.99 Ko)

fig_result_sa_simsearch_pt.png (485.78 Ko)

fig_sa_extract_memory_used.png (111.08 Ko)

fig_sa_extract_memory_used_v2.png (108.09 Ko)

fig_sa_extract_threadpool_extract.png (542 Ko)

fig_sa_extract_threadpool_simsearch.png (618.68 Ko)

fig_sa_extract_usage.png (145.6 Ko)

fig_sa_extract_usage_percent.png (255.81 Ko)

fig_sa_extract_usage_percent_v2.png (267.67 Ko)

fig_sa_extract_usage_v2.png (160.92 Ko)

fig_sa_simsearch_threadpool_extract.png (514.99 Ko)

fig_sa_simsearch_threadpool_simsearch.png (630.14 Ko)

image-fond-dos.png (50.96 Ko)

image-fond-dos2.png (44.32 Ko)

image-fond-garde.png (256.16 Ko)

kheops-context-v3.pdf (551.16 Ko)

kheops-context-v4.pdf (559.23 Ko)

kheops-exp-repro.png (20.37 Ko)

kheops-plot_monitoring_cpu-chi.pdf (12.49 Ko)

kheops-plot_monitoring_cpu-g5k.pdf (12.49 Ko)

kheops-plot_monitoring_mem-chi.pdf (12.43 Ko)

kheops-plot_monitoring_mem-g5k.pdf (12.89 Ko)

kheops-plot_monitoring_net-chi.pdf (13.94 Ko)

kheops-plot_monitoring_net-g5k.pdf (13.94 Ko)

kheops-plot_processing_time_15Kbit-chi.pdf (13.6 Ko)

kheops-plot_processing_time_15Kbit-g5k.pdf (14.58 Ko)

kheops-plot_processing_time_25Kbit-chi.pdf (13.6 Ko)

kheops-plot_processing_time_25Kbit-g5k.pdf (14.58 Ko)

kheops-xp-processes.pdf (278.33 Ko)

kheops-xp-setup.pdf (311.42 Ko)

logo.png (99.64 Ko)

memory_overhead.pdf (39.38 Ko)

methodology-optimization.pdf (317.78 Ko)

methodology.pdf (488.58 Ko)

methodology_extended.png (317.02 Ko)

network_overhead.pdf (37.08 Ko)

plantnet-geographic-scope.pdf (356.83 Ko)

power_overhead.pdf (45.62 Ko)

provlight-arch.pdf (23.31 Ko)

research-gap.png (278.08 Ko)

workflow.png (111.6 Ko)

workload.pdf (9.29 Ko)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Origine	Fichiers produits par l'(les) auteur(s)

Daniel Rosendo : Connectez-vous pour contacter le contributeur

https://hal.science/tel-04167278

Soumis le : jeudi 20 juillet 2023-15:26:11

Dernière modification le : jeudi 7 novembre 2024-16:14:03

Dates et versions

tel-04167278 , version 1 (20-07-2023)

tel-04167278 , version 2 (14-05-2024)

Identifiants

HAL Id : tel-04167278 , version 1

Citer

Daniel Rosendo. Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum. Distributed, Parallel, and Cluster Computing [cs.DC]. INSA RENNES, 2023. English. ⟨NNT : ⟩. ⟨tel-04167278v1⟩

Exporter

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite

Collections

GRID5000 SILECS ANR

411 Consultations

317 Téléchargements

Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum

Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud

Résumé

Mots clés

Domaines

Dates et versions

Identifiants

Citer

Exporter

Collections

Partager