Délestage avisé dans les systèmes de traitement de flux - Archive ouverte HAL
Communication Dans Un Congrès Année : 2017

Délestage avisé dans les systèmes de traitement de flux

Résumé

Le délestage de charge est une technique utilisée par les systèmes de traitement de flux en réaction aux pics de charge imprévisibles en entrée, lorsque les ressources de calcul ne sont pas suffisamment provisionnées. Le rôle du délesteur est d'abandonner certains tuples pour maintenir la charge en entrée en dessous d'un seuil critique, et éviter le débordement des mémoires tampons menant in fine à la défaillance complète du système. Dans cet article, nous proposons Load-Aware Shedding (LAS), une solution de délestage de charge qui ne repose ni sur un modèle de coût prédéfini ni sur des hypothèses sur les temps d'exécution des tuples. LAS construit et maintient dynamiquement et efficacement un modèle de coût pour estimer, par l'utilisation d'agrégats, la durée d'exécution de chaque tuple avec des taux d'erreur d'approximation faibles et bornés. Cette estimation est utilisée par un délesteur proactif, localisé en amont de chaque opérateur, permettant de réduire la latence liée aux files d'attente par le délestage d'un nombre minimal de tuples. Nous avons prouvé que LASest une (ε, δ)-approximation d'un délesteur temps-réel optimal. De plus, nous avons évalué son impact sur des applications de traitement de flux, en terme de robustesse et de fiabilité, par une large expérimentation sur la plateforme Microsoft Azure.
Fichier principal
Vignette du fichier
main.pdf (195.64 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01519427 , version 1 (07-05-2017)

Identifiants

  • HAL Id : hal-01519427 , version 1

Citer

Nicolò Rivetti, Yann Busnel, Leonardo Querzoni. Délestage avisé dans les systèmes de traitement de flux. ALGOTEL 2017 - 19èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2017, Quiberon, France. ⟨hal-01519427⟩
458 Consultations
120 Téléchargements

Partager

More