聚焦爬蟲(chóng)關(guān)鍵技術(shù)研究.pdf

1、主題搜索引擎是搜索引擎的細(xì)分和延伸，為特定領(lǐng)域、特定人群或特定需求提供定向信息和個(gè)性化信息檢索服務(wù)。聚焦爬蟲(chóng)是主題搜索引擎的基礎(chǔ)和核心設(shè)施，其主要目標(biāo)是在有限的時(shí)間內(nèi)盡可能多地抓取與給定主題相關(guān)的網(wǎng)頁(yè)，已成為Web數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一。
　　 本文基于對(duì)聚焦爬蟲(chóng)的基本結(jié)構(gòu)和工作原理的分析，主要做出如下工作：
　　 (1)通過(guò)對(duì)幾種經(jīng)典的爬蟲(chóng)搜索策略的深入研究和對(duì)比分析，本文提出了一種綜合考慮內(nèi)容分析和鏈接結(jié)構(gòu)分析算

2、法的策略，該策略綜合考慮爬蟲(chóng)的立即回報(bào)價(jià)值和未來(lái)回報(bào)價(jià)值，有效解決了爬蟲(chóng)“陷入”問(wèn)題。
　　 (2)在內(nèi)容分析部分，提出了基于多層次分類器的主題相關(guān)性算法，充分利用網(wǎng)頁(yè)的結(jié)構(gòu)信息和鏈接上下文信息以提高網(wǎng)頁(yè)主題相關(guān)性判斷的準(zhǔn)確度。
　　 (3)在鏈接結(jié)構(gòu)分析部分，根據(jù)HITS算法來(lái)計(jì)算網(wǎng)頁(yè)的Hub值和Authority值，以此預(yù)測(cè)URL的未來(lái)回報(bào)價(jià)值，指導(dǎo)爬蟲(chóng)穿越主題隧道以爬取更多主題相關(guān)頁(yè)面。
　　 (4)最后，