主題Web信息采集與分析技術(shù)研究.pdf

1、目前，搜索引擎逐漸成為用戶(hù)在Web上獲取信息的主要工具。傳統(tǒng)的通用搜索引擎利用一個(gè)Crawler程序面向整個(gè)Web進(jìn)行信息采集，它的缺點(diǎn)是采集無(wú)針對(duì)性、頁(yè)面失效率高、不能滿(mǎn)足特定專(zhuān)業(yè)人群的需要。針對(duì)這種情況，需要一個(gè)分類(lèi)細(xì)致精確、數(shù)據(jù)全面深入、更新及時(shí)的面向主題的搜索引擎。 本文設(shè)計(jì)了一個(gè)主題搜索引擎，并對(duì)現(xiàn)有的主題Web信息采集與分析技術(shù)進(jìn)行了深入研究；按照評(píng)價(jià)鏈接價(jià)值所采用方法的不同，對(duì)Crawler的爬行搜索策略進(jìn)行了分類(lèi)

2、，分析和比較了各類(lèi)搜索策略的特點(diǎn)及優(yōu)缺點(diǎn)。通過(guò)對(duì)幾種常見(jiàn)的Web社區(qū)結(jié)構(gòu)的分析，指出現(xiàn)有的基于局部信息的主題Web信息采集技術(shù)存在一些問(wèn)題：技術(shù)層面上的“局部最優(yōu)”與“主題漂移”之間，以及采集結(jié)果上查全率與查準(zhǔn)率之間存在著不協(xié)調(diào)的現(xiàn)象。因此，本文決定利用基于概率選擇的，具有通用性、高適應(yīng)性和全局性的遺傳算法來(lái)解決這一問(wèn)題。 論文所做的工作主要有： ①根據(jù)傳統(tǒng)的通用搜索引擎與主題搜索引擎之間目的和實(shí)現(xiàn)手段上的差異，提出了一

3、個(gè)主題搜索引擎，并介紹了系統(tǒng)每一部分的功能和其實(shí)現(xiàn)方法。 ②研究了信息采集與分析技術(shù)、信息檢索技術(shù)，其中主要研究了主題Web信息采集與分析技術(shù)。通過(guò)對(duì)比和分析，發(fā)現(xiàn)現(xiàn)有技術(shù)的優(yōu)點(diǎn)和不足之處。 ③研究了遺傳算法的概念、特點(diǎn)、實(shí)現(xiàn)方法和其數(shù)學(xué)原理，并提出將其運(yùn)用在主題Web信息采集領(lǐng)域里，改進(jìn)信息采集系統(tǒng)的性能。 ④通過(guò)深入分析遺傳算法與主題Web信息采集技術(shù)的共性與不同之處，論述了在信息采集系統(tǒng)中應(yīng)用遺傳算法的可