云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)量呈爆炸式的增長，對這些數(shù)據(jù)的存儲成為了計算機領(lǐng)域研究的熱點。傳統(tǒng)的存儲方式，比如存儲區(qū)域網(wǎng)絡(luò)和網(wǎng)絡(luò)附加存儲因為其存儲容量和性能存在瓶頸，價格昂貴，不易擴展等原因，應(yīng)用范圍受到限制。云存儲采用分布式文件系統(tǒng)為核心，硬件設(shè)備價格低廉，可擴展性好。副本技術(shù)提高了系統(tǒng)的可靠性、可用性和性能的同時，也帶來了負載均衡，網(wǎng)絡(luò)帶寬開銷，一致性等問題。
　　本文分析了當(dāng)前典型的分布式文件系統(tǒng)，結(jié)合云存儲環(huán)境下

2、的業(yè)務(wù)特征，研究了相應(yīng)的副本策略，重點考慮系統(tǒng)訪問的效率和性能，負載均衡，數(shù)據(jù)的一致性等問題，并根據(jù)這些需求設(shè)計和實現(xiàn)了分布式文件系統(tǒng)中的副本管理模塊。本文的主要工作包括以下內(nèi)容：
　?。?）提出了基于一致性哈希的副本放置策略。傳統(tǒng)的分布式文件系統(tǒng)副本放置位置主要通過元數(shù)據(jù)中心服務(wù)器存儲，當(dāng)系統(tǒng)并發(fā)訪問量很大時，元數(shù)據(jù)服務(wù)器將成為系統(tǒng)的瓶頸?；谝恢滦怨５母北痉胖貌呗院芎玫慕鉀Q了文件檢索，存儲設(shè)備擴展和失效的問題。引入虛擬節(jié)點映

3、射，極大地減少了系統(tǒng)設(shè)備的改變帶來的數(shù)據(jù)遷移。同時對設(shè)備按照存儲能力增加權(quán)重屬性，更好的提高了系統(tǒng)的負載均衡。
　?。?）提出了基于文件熱度的副本調(diào)整策略。該策略以文件的請求次數(shù)為基礎(chǔ)，結(jié)合服務(wù)器的負載，動態(tài)地調(diào)整副本數(shù)量，提升了系統(tǒng)的性能和效率。同時，輔以副本壓縮策略，對長時間沒有訪問的文件副本壓縮，在保證數(shù)據(jù)可靠性和可用性的同時，節(jié)省了系統(tǒng)的存儲空間。
　?。?）提出了基于用戶請求的副本一致性策略。該策略在對副本一致性維