基于冗余的云存儲數據分布策略研究.pdf

1、隨著大數據時代的來臨，云存儲在面對海量的數據處理與挖掘中起到了關鍵的作用，傳統(tǒng)的云存儲系統(tǒng)為了保證數據可用性采用完全副本或者糾刪碼來加入數據冗余，這兩種數據冗余方法都存在一定的弊端，未能充分發(fā)揮數據中心和移動終端的特點及服務需求，針對此種情況，結合上述兩種數據冗余方案設計了一種云存儲系統(tǒng)架構及其數據分布策略。
　　通過深入分析完全副本和糾刪編碼這兩種數據冗余的優(yōu)缺點，設計了一種兩層結構的云存儲系統(tǒng)架構，分為數據中心—超級節(jié)點。利用

2、糾刪碼節(jié)省存儲空間的特點，在數據中心采用糾刪碼的方式加入冗余；利用副本的高性能特點在超級節(jié)點采用副本方式為客戶端提供高效的數據訪問。在數據中心中針對文件糾刪編碼后形成的多個數據片，提出了一種基于負載均衡的節(jié)點排序數據片分布算法，這種數據片分布算法能夠快速定位到要讀取文件的數據分片，加快超級節(jié)點從數據中心存取數據的速度，并且有利于數據中心存儲數據片的分布均衡；在超級節(jié)點中，文件的多副本要根據實際訪問熱度完成副本到糾刪碼的轉換，提出了一種基

3、于歷史訪問信息多周期的熱度計算方法，根據訪問熱度動態(tài)調整數據片的副本數，并對熱度更新時機、副本上下限、多余副本回收等問題做了較為深入的研究分析。
　　測試結果表明，在數據中心一側，本文提出的節(jié)點排序算法取數據片的時間較隨機和順序取數據片時間節(jié)省了70％以上，且節(jié)點之間的數據片分布差小于6%，實現了負載均衡；超級節(jié)點中，動態(tài)副本管理算法和optorsim中LRU和LFU算法相比較，在提高性能的同時減少了50%的副本數目，節(jié)省了存儲空