分布式內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)并行快速加載與索引技術(shù).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，以及“大數(shù)據(jù)”、“云計(jì)算”等概念的普及，數(shù)據(jù)的爆炸性增長(zhǎng)在大容量、多樣性和高增速方面，全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理能力。對(duì)于已經(jīng)成熟的傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)來(lái)說(shuō)，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及行業(yè)應(yīng)用的擴(kuò)展需求使得傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)在很多使用場(chǎng)景下受到了很多新的挑戰(zhàn)。在這個(gè)形勢(shì)下，分布式數(shù)據(jù)庫(kù)和內(nèi)存數(shù)據(jù)庫(kù)的概念應(yīng)運(yùn)而生。分布式數(shù)據(jù)庫(kù)相對(duì)于傳統(tǒng)集中式的數(shù)據(jù)庫(kù)具有良好的靈活性與可擴(kuò)展性、在處理海量數(shù)據(jù)時(shí)在性能上和可靠性上有著更大

2、的優(yōu)勢(shì)。而內(nèi)存數(shù)據(jù)庫(kù)則是將要處理的數(shù)據(jù)存儲(chǔ)在內(nèi)存而不是磁盤(pán)中，因此其讀寫(xiě)性能要比磁盤(pán)訪問(wèn)高出幾個(gè)數(shù)量級(jí)，從而極大地提高性能。將分布式和內(nèi)存訪問(wèn)結(jié)合在一起的分布式內(nèi)存數(shù)據(jù)庫(kù)可以兼顧可擴(kuò)展性和高速訪問(wèn)兩個(gè)特點(diǎn)，在當(dāng)前形勢(shì)下為用戶提供更多的功能。
　　相比于磁盤(pán)來(lái)說(shuō)，內(nèi)存是很寶貴的資源，因此在大部分場(chǎng)景下分布式內(nèi)存數(shù)據(jù)庫(kù)在生產(chǎn)業(yè)務(wù)中主要扮演的是計(jì)算平臺(tái)的角色，并不作為存儲(chǔ)數(shù)據(jù)的主數(shù)據(jù)庫(kù)，其數(shù)據(jù)很多還是存儲(chǔ)在傳統(tǒng)磁盤(pán)數(shù)據(jù)庫(kù)中。如何將存儲(chǔ)在

3、傳統(tǒng)磁盤(pán)數(shù)據(jù)庫(kù)中的海量結(jié)構(gòu)化數(shù)據(jù)快速加載到內(nèi)存中是分布式內(nèi)存數(shù)據(jù)庫(kù)首先要解決的問(wèn)題。
　　針對(duì)這個(gè)問(wèn)題，本論文提供了一個(gè)將存儲(chǔ)在磁盤(pán)型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)快速加載到分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)中的解決方案。首先針對(duì)原有的結(jié)構(gòu)化數(shù)據(jù)提供了一套新式的快速索引模型，能夠?qū)崿F(xiàn)數(shù)據(jù)的高效存儲(chǔ)和快速查詢。然后通過(guò)分布式系統(tǒng)的方式把原始的結(jié)構(gòu)化數(shù)據(jù)建立成內(nèi)存數(shù)據(jù)索引并加載到分布式內(nèi)存數(shù)據(jù)庫(kù)存儲(chǔ)引擎中。除此之外，該解決方案能夠支持用戶喜好數(shù)據(jù)的數(shù)據(jù)過(guò)濾，

4、并提供增量數(shù)據(jù)更新功能。
　　論文的主要研究工作包含以下幾點(diǎn)：
　　1、設(shè)計(jì)出一種針對(duì)內(nèi)存數(shù)據(jù)庫(kù)的內(nèi)存數(shù)據(jù)索引模型，實(shí)現(xiàn)數(shù)據(jù)的高效存儲(chǔ)和快速查詢。該索引模型基于列式數(shù)據(jù)存儲(chǔ)，可以對(duì)原有數(shù)據(jù)進(jìn)行壓縮并提供快速的查詢效率。
　　2、根據(jù)內(nèi)存數(shù)據(jù)索引模型，設(shè)計(jì)分布式內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)并行快速加載方案，將存儲(chǔ)在外部數(shù)據(jù)庫(kù)中的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)加載到分布式內(nèi)存數(shù)據(jù)庫(kù)引擎中。該方案能根據(jù)用戶喜好對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，然后創(chuàng)建內(nèi)存數(shù)據(jù)索引，然后根