并行計算平臺上的數(shù)據(jù)索引技術(shù)研究.pdf

1、隨著計算機(jī)的普及和網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，數(shù)字化信息爆炸式的增長。信息的產(chǎn)生、傳播、搜集與查詢成為當(dāng)今世界人類最基本生活需求。如何在密集數(shù)據(jù)信息中，為用戶更快、更準(zhǔn)確的索引信息成為亟待解決的問題。與此同時，人類社會對高性能計算的應(yīng)用需求也在不斷推動并行計算平臺的普及和提高。數(shù)據(jù)檢索最主要的方法就是構(gòu)建各種適合的索引，并通過對索引來相對高效的檢索各類數(shù)據(jù)信息。但是，隨著檢索數(shù)據(jù)和用戶查詢的規(guī)模增大，信息檢索系統(tǒng)要提升處理能力和處理規(guī)模，需要通

2、過對于并行計算平臺的良好應(yīng)用來解決。那么如何充分的利用并行計算平臺來提高信息檢索系統(tǒng)的性能，提高系統(tǒng)的處理能力，成為該領(lǐng)域研究的重要問題。
　　 隨著并行計算平臺的發(fā)展，將索引應(yīng)用于并行計算平臺是一個必然的趨勢。本文采用并行計算“結(jié)構(gòu)—算法—編程—應(yīng)用”一體化的研究方法，圍繞如何解決并行計算平臺上的密集數(shù)據(jù)索引系統(tǒng)的運(yùn)行效率、如何完成密集數(shù)據(jù)索引系統(tǒng)從串行到并行的良好過渡、如何實(shí)現(xiàn)密集數(shù)據(jù)索引系統(tǒng)的高效能運(yùn)作等問題展開深入分析研

3、究；良好的解決了此類問題從串行計算時代到并行計算時代過渡中出現(xiàn)的研究障礙，有助于建立并行計算的科學(xué)研究體系，增強(qiáng)并行計算平臺的實(shí)際應(yīng)用能力。同時，以并行計算平臺上的高維數(shù)據(jù)索引為典型應(yīng)用，分別提出基于并行計算平臺的HKD-tree混合索引結(jié)構(gòu)以及基于并行計算平臺的時間序列索引，有效的解決了并行計算平臺上的密集數(shù)據(jù)索引問題。另一方面，針對當(dāng)今密集數(shù)據(jù)檢索系統(tǒng)的關(guān)注熱點(diǎn)，即檢索系統(tǒng)的實(shí)時性問題和索引的性能和功耗問題開展深入研究。通過改進(jìn)傳統(tǒng)

4、的倒排索引有效的解決并行計算平臺上密集數(shù)據(jù)索引系統(tǒng)的實(shí)時性問題，并在一定程度上實(shí)現(xiàn)了索引過程的高效能。
　　 綜上所述，本文針對并行計算平臺上密集數(shù)據(jù)索引技術(shù)的研究，可以有效地提高密集數(shù)據(jù)索引的運(yùn)行效率和并行性能，充分發(fā)揮并行計算平臺的計算能力，具有一定的學(xué)術(shù)意義和廣泛的應(yīng)用前景。具體而言，本文的主要研究成果、貢獻(xiàn)和創(chuàng)新點(diǎn)可概括為以下幾點(diǎn)：
　　 1.基于并行計算平臺提出HKD-tree混合索引結(jié)構(gòu)。該結(jié)構(gòu)將KD-tr

5、ee和LSH兩種索引結(jié)構(gòu)進(jìn)行組合，利用KD-tree作為上層結(jié)構(gòu)的主干而LSH充當(dāng)葉子節(jié)點(diǎn)，從而可以利用多核機(jī)群系統(tǒng)的層次并行結(jié)構(gòu)特性．與傳統(tǒng)的索引結(jié)構(gòu)相比，該混合索引結(jié)構(gòu)具有高效并行處理、可擴(kuò)展性好等特點(diǎn)，適于多核機(jī)群系統(tǒng)平臺及高維數(shù)據(jù)索引。
　　 2.基于國產(chǎn)并行計算平臺KD60提出一種可實(shí)時更新的倒排索引結(jié)構(gòu)。該方案采用主、輔倒排索引和內(nèi)容過濾索引相結(jié)合的方式，實(shí)現(xiàn)了搜索過程的實(shí)時性。同時，我們將其應(yīng)用于高性能綠色計算平