基于Nutch的職位信息搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)資源迅速膨脹，通用搜索引擎技術(shù)能根據(jù)用戶的需要搜索出結(jié)果，而在茫茫查詢結(jié)果中迅速找到用戶需要的內(nèi)容變得越來越難，它雖然能滿足人們的查全率，但查準率和查詢效率比較低;當用戶明確搜索信息的主題或領(lǐng)域時，面向主題信息的搜索引擎能大大縮小查詢的范圍，從而能大大提高搜索結(jié)果的查全率和查準率，因此，針對特定主題的搜索引擎技術(shù)受到了人們的廣泛關(guān)注，并成為了搜索引擎的一個重要研究方向。
　　本文綜述主題搜索引擎的研究背景

2、及意義，并分析國內(nèi)外研究現(xiàn)狀，簡單介紹了搜索引擎技術(shù)，在已有的技術(shù)上重點探討主題信息提取技術(shù)，并以開源技術(shù)Nutch為依托，提出基于Nutch的職位信息搜索引擎的設(shè)計與實現(xiàn)，主要的工作如下:
　　(1)對搜索引擎技術(shù)的原理、一般架構(gòu)以及開源技術(shù)Nutch的詳細研究后，針對職位信息搜索引擎系統(tǒng)，進行系統(tǒng)需求分析，以便明確系統(tǒng)的實現(xiàn)目標;根據(jù)需求進行系統(tǒng)架構(gòu)的設(shè)計，針對Nutch網(wǎng)絡(luò)爬蟲無法對網(wǎng)頁進行選擇和過濾這一缺點，對Nutch網(wǎng)

3、絡(luò)爬蟲進行模塊改造，然后根據(jù)系統(tǒng)的架構(gòu)對每個功能模塊進行詳細的設(shè)計。
　　(2)分別從網(wǎng)頁爬取模塊、主題信息提取模塊、索引模塊和搜索結(jié)果展示模塊四個功能模塊設(shè)計和實現(xiàn)職位信息搜索引擎系統(tǒng)，其中，針對職位信息的主題信息提取模塊，本文設(shè)計了基于位置權(quán)重統(tǒng)計網(wǎng)頁詞頻的主題網(wǎng)頁提取算法，根據(jù)不同位置不同權(quán)重統(tǒng)計網(wǎng)頁中各個詞條的詞頻，采用修正高階詞頻變差方法確定網(wǎng)頁關(guān)鍵詞，并采用空間向量模型(VSM)余弦方法計算網(wǎng)頁的關(guān)鍵詞與主題詞庫的相關(guān)