Hadoop異構(gòu)環(huán)境中數(shù)據(jù)副本動態(tài)管理研究.pdf

1、副本管理策略是云計算環(huán)境下分布式文件系統(tǒng)的重要研究方向之一。合理的副本因子以及副本放置策略不僅可以為用戶提供更加可靠的數(shù)據(jù)訪問服務(wù)，同時能夠提高系統(tǒng)的負(fù)載均衡和云計算平臺的計算效率。
　　論文首先對Hadoop平臺下的分布式文件系統(tǒng)HDFS進(jìn)行了研究，詳細(xì)介紹了HDFS的副本管理策略，分析了不同副本管理策略的優(yōu)缺點，同時對HDFS數(shù)據(jù)塊均衡策略進(jìn)行了詳細(xì)分析。
　　其次，分析了HDFS默認(rèn)數(shù)據(jù)塊均衡策略的局限性，并在此基礎(chǔ)上

2、提出了適用于異構(gòu)環(huán)境的數(shù)據(jù)塊負(fù)載均衡算法，該算法基于各個節(jié)點的性能及存儲空間等參數(shù)計算得出各節(jié)點的理論空間利用率，并將用戶輸入的閾值轉(zhuǎn)化為各節(jié)點的參數(shù)化閾值，從而實現(xiàn)了在異構(gòu)環(huán)境下對數(shù)據(jù)分布的負(fù)載均衡。論文修改了Hadoop源碼并重新編譯部署，搭建測試環(huán)境進(jìn)行實驗。實驗結(jié)果表明該算法在異構(gòu)環(huán)境下，能夠讓集群的數(shù)據(jù)分布達(dá)到更加均衡的狀態(tài)，一定程度上提高了集群的整體性能。
　　然后，論文對副本管理策略中的副本因子決策算法進(jìn)行了研究。指

3、出當(dāng)前文件熱度可能存在較大差異，對熱點數(shù)據(jù)的訪問將影響作業(yè)的執(zhí)行效率。而現(xiàn)有副本因子調(diào)整策略基于當(dāng)前熱度，不僅具有滯后性，亦會受到突發(fā)訪問波動的影響，因此副本因子決策應(yīng)當(dāng)以文件的未來熱度為依據(jù)。基于此，建立了以灰色預(yù)測為基礎(chǔ)的預(yù)測模型，并利用馬爾科夫模型修正突發(fā)訪問造成的預(yù)測偏差，然后基于文件的預(yù)測熱度建立有限通道服務(wù)模型，決策出符合用戶需求的副本因子。
　　最后，對副本因子調(diào)整過程中新增副本的放置策略進(jìn)行了優(yōu)化研究。在副本因子動

4、態(tài)調(diào)整過程中，目前多數(shù)副本放置算法優(yōu)化目標(biāo)單一，而傳統(tǒng)多目標(biāo)優(yōu)化方法存在權(quán)值系數(shù)的選取依賴專家經(jīng)驗、優(yōu)化結(jié)果受該系數(shù)影響較大、建模過程復(fù)雜等缺陷。在此研究基礎(chǔ)上，論文提出了一個基于多目標(biāo)優(yōu)化的新增副本放置策略。首先建立網(wǎng)絡(luò)流量、節(jié)點性能負(fù)載均衡度、存儲空間均衡度等多個優(yōu)化目標(biāo)；然后引入多目標(biāo)優(yōu)化算法NSGA-II進(jìn)行分析求解；最后提出一種基于解空間中個體密度的最優(yōu)目標(biāo)選擇策略，從非支配解集中決策出最終副本放置方案。論文首先進(jìn)行了仿真實驗