Code à Effacement Mojette pour le Stockage Distribué - Archive ouverte HAL
Thèse Année : 2016

Mojette Erasure Code for Distributed Storage

Code à Effacement Mojette pour le Stockage Distribué

Résumé

Erasure codes can generate data redundancy in distributed storage systems. This redundancy can be used to recover missing data in case of a failure. Codes have the benefit of reducing the generated amount of redundancy drastically,compared to plain data replication. However, this reduction is combined with a significant computational complexity, which penalizes encoding and decoding performances, and limits the use of coding to cold data. In this thesis, we focus on the use of the Mojette transform as an effective erasure code, adapted to hot data. The resulting code requires more redundancy than classical codes though. The first contribution of this research work deals with the design of a systematic version of the Mojette erasure code. This version provides better performances while reducing the required amount of redundancy. The second contribution covers the integration of this solution in the distributed file system RozoFS. This integration enables the system to provide a continuous service despite failures, while being able to manage hot data with half the volume of data compared to replication-based systems. A third research focus addresses the design of a distributed method to compute extra Mojette codeword symbols. This method contributes to restore a redundancy threshold in the storage system.
Les codes à effacement permettent de générer de la redondance de données numériques dans un système de stockage distribué. Cette redondance permet de restaurer une partie manquante des données en cas de panne. L’avantage des codes est de réduire considérablement la quantité de redondance générée par rapport aux techniques classiques de réplication. Toutefois, cette réduction s’accompagne d’une complexité calculatoire significative, pénalisant les performances d’encodage et de décodage, ce qui limite leur utilisation aux données froides. Dans cette thèse, nous nous intéressons à l’utilisation de la transformation Mojette afin de fournir un code à effacement performant, adapté aux données chaudes. Le code qui en résulte nécessite cependant plus de redondance par rapport aux codes classiques. La première contribution de ces travaux de thèse traite de la conception d’une version systématique du code à effacement Mojette. Cette version a l’avantage d’augmenter significativement les performances du code, tout en réduisant la quantité de redondance nécessaire. La seconde contribution s’intéresse à l’intégration de cette solution au sein du système de fichiers distribué RozoFS. Cette contribution permet au système d’assurer un service continu en cas de panne, tout en étant capable de gérer les données chaudes avec deux fois moins de données par rapport aux systèmes basés sur la réplication. Un troisième axe de recherche se focalise sur la conception d’une méthode distribuée pour générer de nouveaux symboles de mots de code Mojette. Cette technique participe à la restauration d’un seuil de redondance du système de stockage.
Fichier principal
Vignette du fichier
pertin_these.pdf (2.28 Mo) Télécharger le fichier
these.pdf (10.52 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Commentaire Ph.D manuscript
Commentaire Ph.D defense slides
Loading...

Dates et versions

tel-01720038 , version 1 (28-02-2018)

Identifiants

  • HAL Id : tel-01720038 , version 1

Citer

Dimitri Pertin. Code à Effacement Mojette pour le Stockage Distribué. Réseaux et télécommunications [cs.NI]. Université de Nantes, 2016. Français. ⟨NNT : ⟩. ⟨tel-01720038⟩
259 Consultations
659 Téléchargements

Partager

More