一種改進(jìn)Best-First算法的主題爬蟲(chóng)搜索算法研究.pdf

1、飛速發(fā)展的互聯(lián)網(wǎng)帶來(lái)了海量的信息資源，用戶能否從中有效地獲取自己感興趣的資源很大程度上取決于搜索引擎的性能。在面對(duì)用戶強(qiáng)烈的個(gè)性化需求時(shí)，通用搜索引擎難以為其提供滿意的結(jié)果。為了打破通用搜索引擎的這一局限性，研究具有專(zhuān)業(yè)特點(diǎn)的智能化搜索引擎成為一種趨勢(shì)，因而順理成章的誕生了垂直搜索引擎。垂直搜索引擎中的主題爬蟲(chóng)猶如人的心臟一樣，起著非?；A(chǔ)與關(guān)鍵的作用。主題爬蟲(chóng)按照用戶給定的目標(biāo)主題，智能化的搜索Web，快速、準(zhǔn)確地提取出主題相關(guān)頁(yè)面，

2、滿足用戶所需。研究高效的主題爬蟲(chóng)對(duì)于提高垂直搜索引擎的性能有著非常重要的作用。
　　本文主要從以下三個(gè)方面展開(kāi)所要研究的內(nèi)容：
　　首先，本文對(duì)網(wǎng)絡(luò)爬蟲(chóng)的基本原理進(jìn)行了介紹，然后分析了主題爬蟲(chóng)的工作流程，之后討論了關(guān)于主題的描述方法，接著重點(diǎn)分析了網(wǎng)頁(yè)預(yù)處理技術(shù)，包括HTML標(biāo)簽、網(wǎng)頁(yè)標(biāo)題和正文內(nèi)容的提取、錨文本的提取以及中文分詞技術(shù)，為后文主題相關(guān)性計(jì)算奠定了堅(jiān)實(shí)的基礎(chǔ)。
　　其次，分析了基于頁(yè)面內(nèi)容評(píng)價(jià)的Best-

3、First算法，針對(duì)向量空間模型中權(quán)重計(jì)算方法，只考慮特征詞的詞頻，忽略了特征詞的位置信息這一不足，本文提出利用HTML標(biāo)簽的修飾功能，采用加權(quán)頻率來(lái)計(jì)算權(quán)重，提高主題相關(guān)性判斷的準(zhǔn)確率。另外，討論了Best-First算法的貪婪性，針對(duì)Best-First算法難以獲得全局范圍內(nèi)最優(yōu)解的局限性，本文對(duì)主題爬蟲(chóng)的搜索策略做了一點(diǎn)改進(jìn)，提出不僅注重搜索與主題相似度很高的鏈接，同時(shí)還考慮某些蘊(yùn)涵很大遠(yuǎn)期價(jià)值的鏈接，從而使得主題爬蟲(chóng)能在一定程度