柵格地圖分布式存儲(chǔ)方案設(shè)計(jì)與性能分析.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái),各行業(yè)數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng),傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的弊端逐漸體現(xiàn)出來(lái)。在此背景下,海量數(shù)據(jù)的分布式存儲(chǔ)已經(jīng)逐漸成為諸多學(xué)術(shù)研究機(jī)構(gòu)和IT企業(yè)的重點(diǎn)研究課題。地理信息系統(tǒng)(GIS)領(lǐng)域的柵格地圖數(shù)據(jù)除了數(shù)據(jù)量大,還具有結(jié)構(gòu)復(fù)雜、小文件數(shù)量多以及空間特征明顯的特點(diǎn),為此本文提出了一套適合于GIS柵格地圖數(shù)據(jù)的分布式存儲(chǔ)方案。
　　本文在對(duì)Hadoop框架進(jìn)行了深入分析的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一套專(zhuān)用于存儲(chǔ)柵格地圖數(shù)據(jù)的分

2、布式存儲(chǔ)方案一一“瓦片數(shù)據(jù)分布式索引存儲(chǔ)系統(tǒng)(TDIS)”。TDIS不僅包括了基于HBase的分布式索引機(jī)制及基于HDFS的瓦片存儲(chǔ)方案,同時(shí)通過(guò)修改HDFS源碼實(shí)現(xiàn)了分布式緩存功能,并完成了基于MapReduce的數(shù)據(jù)清理功能等。本文對(duì)影響分布式存儲(chǔ)系統(tǒng)讀寫(xiě)性能的因素進(jìn)行了理論分析,并通過(guò)實(shí)驗(yàn)證明在相同的硬件環(huán)境下,TDIS系統(tǒng)的訪問(wèn)性能相比于其他存儲(chǔ)系統(tǒng)提升了近40％。此外,本文在對(duì)多組實(shí)驗(yàn)結(jié)果分析的基礎(chǔ)上討論了提升TDIS系統(tǒng)訪問(wèn)