海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理的研究.pdf

1、隨著新型存儲(chǔ)技術(shù)的快速發(fā)展以及人們對(duì)存儲(chǔ)應(yīng)用需求的不斷增長(zhǎng)，網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的發(fā)展日新月異。存儲(chǔ)系統(tǒng)正向著大存儲(chǔ)容量、高傳輸帶寬、高可靠性和易于管理的方向不斷前進(jìn)。在大規(guī)模海量存儲(chǔ)系統(tǒng)的設(shè)計(jì)中，文件系統(tǒng)的元數(shù)據(jù)管理成為一個(gè)關(guān)鍵研究點(diǎn)，它對(duì)海量存儲(chǔ)系統(tǒng)的性能、安全、可用性和可擴(kuò)展性等方面產(chǎn)生重要影響。
　　 在對(duì)海量存儲(chǔ)中元數(shù)據(jù)管理的瓶頸問(wèn)題進(jìn)行分析和研究的基礎(chǔ)上，構(gòu)建了一種具有層次結(jié)構(gòu)的元數(shù)據(jù)服務(wù)器集群體系結(jié)構(gòu)模型，進(jìn)而設(shè)計(jì)一種層次

2、性目錄哈希元數(shù)據(jù)分布算法。另外，基于該體系結(jié)構(gòu)和層次性元數(shù)據(jù)分布算法，對(duì)海量存儲(chǔ)系統(tǒng)的可擴(kuò)展性和負(fù)載均衡等問(wèn)題進(jìn)行了研究。
　　 論文的主要工作包括如下內(nèi)容：
　　 在分析傳統(tǒng)元數(shù)據(jù)服務(wù)器結(jié)構(gòu)的基礎(chǔ)上，從數(shù)據(jù)訪問(wèn)效率、管理功能靈活性出發(fā)，將元數(shù)據(jù)服務(wù)器集群劃分成索引管理服務(wù)器和存儲(chǔ)管理服務(wù)器兩個(gè)部分。從功能的角度看，索引管理服務(wù)器起到“元”元數(shù)據(jù)服務(wù)器的角色。這種體系結(jié)構(gòu)潛在地使元數(shù)據(jù)服務(wù)器集群具有更好的性能和可擴(kuò)展性，

3、不僅有利于文件系統(tǒng)元數(shù)據(jù)在集群內(nèi)的高效分布和查詢，而且層次清晰的模塊化結(jié)構(gòu)也為海量存儲(chǔ)系統(tǒng)的各種應(yīng)用研究提供了一個(gè)良好的平臺(tái)架構(gòu)。
　　 在海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)服務(wù)器集群體系結(jié)構(gòu)的基礎(chǔ)上，提出了一種層次性目錄哈希的元數(shù)據(jù)分布算法。該算法是一種改進(jìn)的哈希算法，它引入了目錄存儲(chǔ)單元和索引管理服務(wù)器的概念，通過(guò)對(duì)文件系統(tǒng)的目錄進(jìn)行哈希，以目錄粒度在元數(shù)據(jù)服務(wù)器集群中分布元數(shù)據(jù)，目的是提高存儲(chǔ)系統(tǒng)中元數(shù)據(jù)的訪問(wèn)效率。層次性目錄哈希算法可以

4、克服傳統(tǒng)文件哈希類算法在擴(kuò)展性和負(fù)載均衡方面的不足，實(shí)現(xiàn)更為靈活的元數(shù)據(jù)分布管理，并獲得良好的存儲(chǔ)系統(tǒng)可擴(kuò)展性。
　　 針對(duì)海量存儲(chǔ)系統(tǒng)的規(guī)?？蓴U(kuò)展性和性能可擴(kuò)展性問(wèn)題，傳統(tǒng)的基于文件哈希的元數(shù)據(jù)分布算法往往存在一些技術(shù)缺陷，如，系統(tǒng)擴(kuò)展會(huì)產(chǎn)生大量額外的元數(shù)據(jù)請(qǐng)求和引發(fā)大規(guī)模的元數(shù)據(jù)遷移，降低了存儲(chǔ)系統(tǒng)的性能。層次性目錄哈希元數(shù)據(jù)分布算法引入了專門的管理節(jié)點(diǎn)——索引管理服務(wù)器，有助于系統(tǒng)元數(shù)據(jù)的靈活管理，在執(zhí)行存儲(chǔ)系統(tǒng)擴(kuò)展性操作

5、時(shí)可以降低操作的復(fù)雜度，減小衍生的額外負(fù)載，提高操作的執(zhí)行效率。在幾種典型的較易引發(fā)擴(kuò)展性瓶頸的操作中，如更改目錄名、刪除目錄、修改目錄訪問(wèn)權(quán)限、增加或刪除元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)等，層次性目錄哈希算法在系統(tǒng)可擴(kuò)展性方面都要比文件哈希算法表現(xiàn)得更為出色。
　　 針對(duì)分布式存儲(chǔ)系統(tǒng)環(huán)境下的負(fù)載均衡問(wèn)題，對(duì)存儲(chǔ)系統(tǒng)元數(shù)據(jù)操作的特性和性能影響進(jìn)行了研究，給出了衡量存儲(chǔ)節(jié)點(diǎn)負(fù)載分布狀態(tài)的負(fù)載均衡公式，并提出了一種層次式動(dòng)態(tài)負(fù)載均衡策略來(lái)調(diào)節(jié)存儲(chǔ)