基于時態(tài)關鍵字的倒排索引技術問題研究與應用.pdf

1、隨著互聯網服務和信息處理技術的迅速發(fā)展，互聯網中的數據呈現爆炸性增長，在這些數據中，具有時間敏感性的非結構化數據時態(tài)數據占了很大一部分。決策者如何在海量的非結構化時態(tài)數據中檢索自己所需要的數據，是目前值得研究的一個問題。一次索引，多次使用。對時態(tài)數據建立索引，加快數據的檢索速度，既能提高系統性能，又能夠節(jié)約用戶查詢的時間。
　　針對上面提到的問題，本文通過對比分析空間數據與時態(tài)信息數據的特點，借鑒空間數據構建索引的方法，結合時態(tài)信

2、息在時間維度上的區(qū)間特性，提出了多層網格劃分和金字塔樹的混合索引方法，并將此方法應用到倒排索引的時態(tài)詞詞典中。首先通過相關語義處理，對時態(tài)信息中的時間信息進行提取，然后對提取的時間信息進行空間映射后得到點數據集。然后對映射后的點進行格網劃分處理，將映射后的按照規(guī)則分別投入對應的網格塊中，若單個網格內的數據超過一定的閥值，將該網格按照四分法的思想繼續(xù)劃分，直到映射后的時間集合中的所有數據都落入到對應的網格塊中，最后對每一層網格構建金字塔樹

3、索引。為了進一步加快時態(tài)數據的檢索速度，對數據進行分詞，構建倒排索引。其中將詞典按單詞屬性分為時態(tài)詞詞典與非時態(tài)詞詞典，根據本文提出的混合索引模型去對時態(tài)詞詞典的索引。并且增加倒排索引文件的緩存機制，從而減少在對時態(tài)數據進行檢索的過程中磁盤的 I/O次數，利用分布式存儲技術實現對索引文件和數據的分布式存儲，減少了單一主機對數據存儲和檢索的壓力，提高對時態(tài)數據的檢索的效率。
　　最后根據本文提出的設計方案，搭建 Hadoop集群環(huán)境