內(nèi)存索引的壓縮存儲(chǔ)及優(yōu)化研究.pdf

1、隨著計(jì)算機(jī)和數(shù)據(jù)庫(kù)技術(shù)的迅猛發(fā)展，人類已進(jìn)入信息時(shí)代，需要存儲(chǔ)的數(shù)據(jù)大大增長(zhǎng)，已遠(yuǎn)遠(yuǎn)超出單臺(tái)服務(wù)器的承受范圍。為了滿足數(shù)據(jù)的檢索需要，大型索引系統(tǒng)往往建立在分布式系統(tǒng)之上，但在某些需要高響應(yīng)低延遲與處理靈活性的場(chǎng)景下，分布式系統(tǒng)具有其本質(zhì)性的困難。因此提升單機(jī)的存儲(chǔ)及處理能力，特別是對(duì)于高配置服務(wù)器來(lái)說有不可替代的意義。
　　針對(duì)現(xiàn)代服務(wù)器的硬件架構(gòu)與內(nèi)存資源的稀缺性，本文提出了一種內(nèi)存索引數(shù)據(jù)結(jié)構(gòu)LC-Tree。針對(duì)CPU高速緩

2、存、分支預(yù)測(cè)、多核下內(nèi)存?zhèn)喂蚕淼扔布卣髡{(diào)整優(yōu)化LC-Tree數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)與內(nèi)存布局。通過構(gòu)造一個(gè)邏輯上的256叉樹作為上層結(jié)構(gòu)，分支節(jié)點(diǎn)結(jié)構(gòu)利用位圖索引、直接索引等方式迅速定位到底層節(jié)點(diǎn)。底層葉子節(jié)點(diǎn)在內(nèi)存中連續(xù)排放有利于使用數(shù)據(jù)壓縮算法節(jié)省有限的內(nèi)存資源。
　　LC-Tree數(shù)據(jù)結(jié)構(gòu)在實(shí)現(xiàn)上，結(jié)合計(jì)算機(jī)硬件特性與壓縮算法，有效地在壓縮率、解壓時(shí)間和動(dòng)態(tài)性能之間達(dá)到平衡，通過實(shí)現(xiàn)索引動(dòng)態(tài)更新來(lái)支持?jǐn)?shù)據(jù)實(shí)時(shí)更新。針對(duì)無(wú)法放入單機(jī)的