基于Lucene的Web搜索引擎實現(xiàn).pdf

1、隨著信息技術(shù)不斷發(fā)展、互聯(lián)網(wǎng)信息不斷豐富，搜索引擎的發(fā)展速度也越來越快，目前僅Google收錄的網(wǎng)頁就超過80億。伴隨著搜索引擎的飛速發(fā)展，相應(yīng)的瓶頸問題也開始出現(xiàn)：索引數(shù)據(jù)庫越來越大，需要的維護成本越來越高；索引數(shù)據(jù)源單一，通常只限于文本內(nèi)容；索引缺乏通用性和靈活性等等。而Lucene具有開放性和易擴展性，對于解決搜索引擎目前的問題有很好的應(yīng)用價值。本文通過研究設(shè)計并開發(fā)實現(xiàn)一個小型簡單的基于Lucene的Web搜索引擎，來研究Luc

2、ene在搜索引擎領(lǐng)域的應(yīng)用前景。主要工作包括： （1）分析了Web搜索引擎的組成結(jié)構(gòu)和工作原理，在此基礎(chǔ)上進行了基于Lucene的Web搜索引擎的整體結(jié)構(gòu)設(shè)計，并將系統(tǒng)分為網(wǎng)頁搜集子系統(tǒng)、索引檢索子系統(tǒng)、查詢結(jié)果排序子系統(tǒng)等三個模塊。 （2）針對各個模塊的功能進行了設(shè)計開發(fā)，設(shè)計了相關(guān)信息的存儲機制，并根據(jù)搜索引擎的工作原理實現(xiàn)了各模塊之間的交互。 （3）深入分析并實現(xiàn)了多線程網(wǎng)頁搜集、運用Lucene實現(xiàn)索引和