基于HDFS的云計算動態(tài)副本策略研究.pdf

1、隨著信息技術的高速發(fā)展，密集型的計算和大規(guī)模的存儲需求日益凸顯。云計算因其超強的計算能力、低廉的價格、獲取資源方便、可擴展性強在科技產品上得到了廣泛的應用，也成為了學者研究的熱點。云計算中的副本資源管理技術是影響系統性能的關鍵技術之一，也是保證云存儲系統高可靠性的核心要素。然而，目前被大量應用的基于Hadoop的云計算在某些方面仍存在著不足：
　　首先，HDFS默認的副本策略是靜態(tài)的，如果在短時間內，用戶大量訪問某些信息，這些對象

2、就成為了“熱點文件”，熱點問題會降低用戶訪問的速度，影響系統讀取性能；其次，副本資源調度缺乏標準性。副本動態(tài)調整的核心是根據需求增加或減少副本的數量，目前在副本個數的計算上沒有一個明確的標準，大多采用“需要就增加”的方式。而在副本刪除的策略上一般選擇存在時間久的副本進行刪除，其缺乏理論依據；最后，目前存在的一些副本放置算法，大部分未考慮節(jié)點的異構性，對節(jié)點進行均一化處理，這樣的處理方式是不準確的。另外，目前的一些放置算法，也存在時間復雜

3、度太高，模型太過簡單等問題。
　　根據上述不足，本文在前人的研究基礎上做了以下工作：
　?。?）針對默認HDFS靜態(tài)副本策略在大量文件訪問請求的情況下出現服務質量降低的缺點，本文在原生HDFS文件系統之上進行了改進，增加了中央控制器、平衡計時器、訪問緩存以及歷史記錄棧，改進后的系統能夠動態(tài)的調整副本數量。
　?。?）針對副本資源調度缺乏標準性的問題，本文在副本個數的計算上根據用戶的訪問情況來計算副本塊被訪問的頻率，由該

4、頻率與平均頻率的比值來確定應該維持的副本個數。對于副本刪除策略，本文從計算服務器、機架、功能模塊三個方面選擇性能較差的節(jié)點刪除副本。
　?。?）對于副本放置策略，本文選擇了典型的數據中心三層網絡結構，提出了基于四級維度網絡感知(SRMD)的副本放置算法，在該算法中，分別從計算服務器、計算機架、功能模塊、節(jié)點網絡距離四個方面綜合考慮服務器節(jié)點性能，確定最優(yōu)的節(jié)點進行副本放置作業(yè)。利用云計算仿真軟件CloudSim3.0來模擬一個復雜