分布式文件系統(tǒng)中新型元數(shù)據(jù)管理子系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著云存儲(chǔ)系統(tǒng)的快速發(fā)展,需要存儲(chǔ)和管理的數(shù)據(jù)越來(lái)越多,這對(duì)作為云存儲(chǔ)系統(tǒng)重要支撐之一的分布式文件系統(tǒng)提出了更高的要求;高效地管理元數(shù)據(jù)是提高分布式文件系統(tǒng)性能的重要手段,也是當(dāng)前研究和開(kāi)發(fā)中的熱點(diǎn)問(wèn)題。本文以分布式文件系統(tǒng)中的新型元數(shù)據(jù)管理子系統(tǒng)為研究對(duì)象,主要工作如下:
　　 首先分析了分布式文件系統(tǒng)的結(jié)構(gòu)、PCM等新型非易失存儲(chǔ)器的特性以及對(duì)分布式文件系統(tǒng)的影響,針對(duì)分布式文件系統(tǒng)中元數(shù)據(jù)管理的要求和特性,設(shè)計(jì)了新型元數(shù)據(jù)

2、管理子系統(tǒng)的結(jié)構(gòu),并進(jìn)行了分析。
　　 在分析分布式文件系統(tǒng)中現(xiàn)有元數(shù)據(jù)通信協(xié)議的基礎(chǔ)上,提出了基于合并RPC的元數(shù)據(jù)通信協(xié)議,通過(guò)合并RPC操作,減少元數(shù)據(jù)的通信量,提高分布式文件系統(tǒng)的讀寫(xiě)性能;從減少的RPC通信數(shù)量、適用的負(fù)載類(lèi)型等方面進(jìn)行了分析,并實(shí)現(xiàn)了原型系統(tǒng),使用Filebench以及多種負(fù)載數(shù)據(jù)集進(jìn)行了測(cè)試與分析,驗(yàn)證了使用基于合并RPC的元數(shù)據(jù)通信協(xié)議能穩(wěn)定地提高分布式文件系統(tǒng)的讀寫(xiě)性能。
　　 分析了分

3、布式文件系統(tǒng)中現(xiàn)有的元數(shù)據(jù)管理算法,引入PCM,設(shè)計(jì)了基于PCM的元數(shù)據(jù)管理機(jī)制,給出了元數(shù)據(jù)的管理策略、基于PCMB樹(shù)的元數(shù)據(jù)查詢(xún)算法和基于主動(dòng)寫(xiě)回的元數(shù)據(jù)修改緩存管理算法;從管理元數(shù)據(jù)、查詢(xún)?cè)獢?shù)據(jù)、修改元數(shù)據(jù)和適應(yīng)性等方面進(jìn)行了理論分析,實(shí)現(xiàn)了基于PCM的元數(shù)據(jù)管理機(jī)制的原型系統(tǒng),分別在本地和分布式文件系統(tǒng)中構(gòu)建了測(cè)試環(huán)境,使用通用測(cè)試工具和數(shù)據(jù)集進(jìn)行了測(cè)試與分析,驗(yàn)證了基于PCM的元數(shù)據(jù)管理機(jī)制能穩(wěn)定、有效的提高分布式文件系統(tǒng)的性