中文全文檢索系統中索引的研究.pdf

1、中文全文檢索系統是信息產業(yè)中發(fā)展較快的一個領域，而一個中文檢索系統的核心就是索引器，本文介紹了索引器構造的不同算法模型，對相關的技術進行了比較，分析了各自的優(yōu)缺點和實現難點，提出了一種中文全文檢索中索引實現的數據結構和新型的算法模型。 本文首先綜述了中文全文檢索中索引構造的相關技術，主要包括索引文件數據結構、索引單位選取和索引壓縮算法。 在上述綜述的基礎上，本文采用了基于單字的倒排表文件格式和可變字節(jié)編碼壓縮技術實現了整

2、個索引系統。該系統包括三方面的功能分別是：文本預處理、索引創(chuàng)建和索引更新。 在文本預處理部分實現了中文、外文和特殊字符的分離，同時實現了停止詞(stop word)的刪除。 在索引創(chuàng)建部分本文首先給出了一種基于傳統倒排表的索引創(chuàng)建算法——合并排序式索引創(chuàng)建算法，該算法需要源文本10倍大小的臨時空間。為了解決合并排序式索引創(chuàng)建算法臨時空間過大的問題，本文提出了一種新的索引創(chuàng)建方案，該方案采用分級的倒排表索引組織結構和鏈式順