網絡蜘蛛垂直搜索算法的改進與實現.pdf

1、網絡蜘蛛在垂直搜索引擎中占據著重要的地位，它的搜索算法是垂直搜索引擎的核心技術，基于何種策略的搜索算法才能得到更高的搜索回報率是近幾年網絡蜘蛛研究的熱點問題。本文對網絡蜘蛛垂直搜索算法進行了改進與實現。 本文研究了網絡蜘蛛的通用搜索算法和幾種垂直搜索策略，分析了現有啟發(fā)式搜索算法的優(yōu)缺點，改進了垂直搜索算法，設計并實現了一個基于改進后的算法的網絡蜘蛛，對手機行業(yè)網站作了垂直搜索實踐。對算法的改進主要體現在以下三個方面。第一，通過

2、對大量網頁源文件的分析給出了一個新的鏈接價值估計的方法，并給出了一個經驗公式。第二，把閾值的估計和ε—貪婪策略結合起來，使鏈接的選擇序列優(yōu)化，從而得到更高的搜索回報率。第三，巧用MD5算法把url映射成兩個數，使判斷任意兩個url是否相同的比較次數小于等于2。對基于改進后的搜索算法的網絡蜘蛛進行用例設計和類設計，然后闡述了網絡蜘蛛的實現細節(jié)。實現部分的說明包括三個部分，分別是程序的初始化，抓取網頁和程序結束。通過對手機行業(yè)網站的垂直搜索