基于Nutch的農(nóng)村信息服務(wù)移動搜索引擎研究.pdf

1、隨著4G和大數(shù)據(jù)時代到來，網(wǎng)絡(luò)資源的爆炸式增長。針對農(nóng)村信息服務(wù)領(lǐng)域的快速發(fā)展，結(jié)合智能移動設(shè)備的優(yōu)勢，提供一個具有主題相關(guān)性、本地相近性以及高準(zhǔn)確率的移動搜索引擎，是涉農(nóng)網(wǎng)站應(yīng)該具備的主要功能，方便農(nóng)戶快捷、精準(zhǔn)的搜索到所需信息，它可以提高農(nóng)戶搜索體驗感，推進(jìn)農(nóng)村信息化建設(shè)，完善農(nóng)業(yè)服務(wù)體系。農(nóng)村信息服務(wù)移動搜索引擎技術(shù)是提高農(nóng)村服務(wù)信息獲取精準(zhǔn)性、增強(qiáng)農(nóng)戶搜索體驗感的關(guān)鍵性技術(shù)，是當(dāng)前農(nóng)村信息服務(wù)領(lǐng)域的研究重點和熱點。
　　農(nóng)

2、村信息服務(wù)移動搜索引擎技術(shù)是圍繞農(nóng)村信息服務(wù)領(lǐng)域的移動搜索技術(shù)。在Nutch引擎技術(shù)基礎(chǔ)上，圍繞農(nóng)村信息服務(wù)主題，利用向量空間模型(Vector Space Model)算法，實現(xiàn)網(wǎng)頁中農(nóng)村信息服務(wù)主題過濾，同時結(jié)合國家地名詞典，完成網(wǎng)頁中空間位置信息的提??；在研究面向集合的文本搜索倒排文件(Inverted File)索引技術(shù)和面向二維空間的R-tree索引技術(shù)的基礎(chǔ)上，構(gòu)建先倒排文件后R-tree混合索引模型，即IR混合索引，實現(xiàn)農(nóng)

3、村信息服務(wù)移動搜索的索引功能；在研究Lucene排序算法理論基礎(chǔ)上，綜合考慮地理空間位置因素和 Web內(nèi)容相關(guān)性因素，改進(jìn)排序算法，對搜索結(jié)果進(jìn)行有效的優(yōu)化，展現(xiàn)地理位置相近性和搜索主題相關(guān)性的排序結(jié)果；圍繞農(nóng)村信息服務(wù)領(lǐng)域，用戶利用移動設(shè)備，能夠更便捷、更快速、更有效的實現(xiàn)基于位置和關(guān)鍵字雙重檢索。論文研究主要內(nèi)容如下：
　　首先，研究構(gòu)建基于Nutch的農(nóng)村信息服務(wù)移動搜索引擎系統(tǒng)整體框架。在重點研究傳統(tǒng)搜索引擎的工作原理與關(guān)

4、鍵技術(shù)基礎(chǔ)上，利用開源搜索引擎Nutch，提出改進(jìn)的基于Nutch的農(nóng)村信息服務(wù)移動搜索引擎系統(tǒng)設(shè)計，并概括介紹系統(tǒng)各個模塊的設(shè)計以及優(yōu)化方案；
　　其次，研究設(shè)計農(nóng)村信息服務(wù)移動搜索引擎網(wǎng)頁采集功能模塊。本模塊主要研究農(nóng)村信息服務(wù)主題過濾模型和 Web網(wǎng)頁地理位置信息獲取算法。農(nóng)村信息服務(wù)主題過濾模型通過人工選擇獲得農(nóng)村信息服務(wù)主題相關(guān)的初始 URL，利用中文分詞系統(tǒng)構(gòu)建主題詞庫，并根據(jù)VSM算法，判別抓取網(wǎng)頁與主題詞庫之間的主

5、題相關(guān)度，實現(xiàn)圍繞農(nóng)村信息服務(wù)主題的網(wǎng)頁抓取和過濾；Web網(wǎng)頁地理位置信息獲取通過結(jié)合國家地名詞典，利用地名識別、地名分辨、地理聚焦點確定三個過程來最終實現(xiàn)；
　　再次，研究設(shè)計農(nóng)村信息服務(wù)移動搜索索引功能模塊。為實現(xiàn)基于Nutch的農(nóng)村信息服務(wù)移動搜索引擎同時具有文本檢索能力和空間位置信息檢索功能，本文在研究面向集合的文本搜索倒排文件索引技術(shù)和面向二維空間的R-tree索引技術(shù)的基礎(chǔ)上，構(gòu)建先倒排文件后R-tree混合索引模型，

6、為農(nóng)村信息服務(wù)移動搜索具有高效檢索能力提供技術(shù)保障；
　　最后，研究設(shè)計農(nóng)村信息服務(wù)移動搜索排序功能模塊。根據(jù)移動搜索環(huán)境中信息的文本相關(guān)性和距離相近性，在Nutch評分排序算法的基礎(chǔ)上，提出基于位置感知的top-k文本檢索(LkT)查詢排序,分別對搜索關(guān)鍵詞與抓取網(wǎng)頁之間的文本相關(guān)性因素，以及查詢地點與網(wǎng)頁地理聚焦點之間的距離相近性因素進(jìn)行歸一化處理，并且根據(jù)權(quán)重進(jìn)行線性合并，設(shè)計農(nóng)村信息服務(wù)移動搜索排序模塊，實現(xiàn)優(yōu)先排序出本地