分布式存儲(chǔ)系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、近年來，由于信息技術(shù)的發(fā)展，科學(xué)技術(shù)和商業(yè)計(jì)算等眾多應(yīng)用領(lǐng)域產(chǎn)生了規(guī)模巨大的數(shù)據(jù)，并且數(shù)據(jù)量仍在快速增加。為了提高存儲(chǔ)效率，通常將一個(gè)大的文件分散存儲(chǔ)為多個(gè)小的數(shù)據(jù)塊，因此必須采用高可靠的數(shù)據(jù)放置和副本冗余策略保證每個(gè)小數(shù)據(jù)塊的存儲(chǔ)安全，以免因小數(shù)據(jù)塊丟失發(fā)生用戶文件失效的災(zāi)難性后果。
　　目前主流的大規(guī)模分布式存儲(chǔ)系統(tǒng)通常利用多個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)分擔(dān)存儲(chǔ)處理的負(fù)荷，具有成本低、數(shù)據(jù)安全、可用性高、易擴(kuò)展和易管理等優(yōu)勢(shì)，已經(jīng)成為未來存

2、儲(chǔ)發(fā)展的一種趨勢(shì)。本文針對(duì)大規(guī)模分布式存儲(chǔ)系統(tǒng)I/O路徑復(fù)雜和存儲(chǔ)節(jié)點(diǎn)故障常態(tài)等問題，在開源的Ceph系統(tǒng)基礎(chǔ)上提出了基于層級(jí)映射方式的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)組織和選擇過程算法優(yōu)化模型，通過重新定義不同的層級(jí)容器數(shù)據(jù)結(jié)構(gòu)和選擇算法處理存儲(chǔ)節(jié)點(diǎn)增加或移除導(dǎo)致的數(shù)據(jù)遷移問題，降低總體計(jì)算復(fù)雜度。
　　根據(jù)現(xiàn)代數(shù)據(jù)中心常用的數(shù)據(jù)存儲(chǔ)安全策略，本文還研究了分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)放置和副本冗余策略對(duì)數(shù)據(jù)安全性的影響，提出3種能夠兼顧存儲(chǔ)效率和數(shù)據(jù)安全的

3、存儲(chǔ)模型，在保證數(shù)據(jù)可靠的前提下提供高效的數(shù)據(jù)讀寫速度。利用IOZONE仿真實(shí)驗(yàn)軟件對(duì)提出的存儲(chǔ)模型進(jìn)行數(shù)據(jù)存儲(chǔ)讀寫速率測(cè)試評(píng)估，并與Ceph系統(tǒng)默認(rèn)的算法性能進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，當(dāng)冗余副本為3份時(shí)，本文提出的第3種算法結(jié)構(gòu)優(yōu)化組合模型（即root、rack、host存儲(chǔ)節(jié)點(diǎn)的算法結(jié)構(gòu)分別為staw、tree、uniform）數(shù)據(jù)讀寫性能表現(xiàn)最好。本文在考慮數(shù)據(jù)分布算法、數(shù)理副本放置策略和存儲(chǔ)效率優(yōu)化前提下構(gòu)建了具體的測(cè)試環(huán)境，并對(duì)