Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données - Archive ouverte HAL
Communication Dans Un Congrès Année : 2017

Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données

Roland Kotto-Kombi
Nicolas Lumineau
Philippe Lamarre

Résumé

Dans un contexte de traitement de flux de données, il est important de garantir à l'utilisateur des propriétés de performance, qualité des résultats et passage à l'échelle. Mettre en adéquation ressources et besoins, pour n'allouer que les ressources nécessaires au traitement efficace des flux, est un défi d'ac-tualité majeur au croisement des problématiques du Big Data et du Green IT. L'approche que nous suggérons permet d'adapter dynamiquement et automati-quement le degré de parallélisme des différents opérateurs composant une re-quête continue selon l'évolution du débit des flux traités. Nous proposons i) une métrique permettant d'estimer l'activité future des opérateurs selon l'évolution des flux en entrée, ii) l'approche AUTOSCALE évaluant a priori l'intérêt d'une modification du degré de parallélisme des opérateurs en prenant en compte l'im-pact sur le traitement des données dans sa globalité iii) grâce à une intégration de notre proposition à Apache Storm, nous exposons des tests de performance comparant notre approche par rapport à la solution native de cet outil.
Fichier principal
Vignette du fichier
Autoscale.pdf (561.81 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01460709 , version 1 (07-02-2017)

Identifiants

  • HAL Id : hal-01460709 , version 1

Citer

Roland Kotto-Kombi, Nicolas Lumineau, Philippe Lamarre. Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données. EGC 2017, Jan 2017, Grenoble, France. pp.57-68. ⟨hal-01460709⟩
318 Consultations
194 Téléchargements

Partager

More