基于網頁更新頻率預測的增量爬蟲研究.pdf

1、近幾年互聯(lián)網發(fā)展迅速,從網頁的整體規(guī)模角度分析,網頁的數(shù)量以前所未有的速度增加;就單個網頁的更新速率而言,只有部分網頁的更新頻率較快。以上這些因素給搜索引擎帶來了極大的挑戰(zhàn),因此在快、準、全、新的衡量標準下,針對信息采集的爬蟲爬行策略的研究有著重要的意義。
　　本文圍繞著能夠在實際環(huán)境中提高爬蟲爬行效率的需求,在深入研究了爬蟲的工作原理的基礎上，首先通過關于時間序列的數(shù)學建模,提出了網頁更新頻率預測的爬行策略。其次提出了建立了評價

2、網頁更新頻率預測效果的標準數(shù)據集的思想,并建立了部分數(shù)據集,以可定制的時間、網頁變化粒度記錄了網頁變化過程,方便其他研究人員的使用。最后在標準數(shù)據集的基礎上對網頁更新頻率的數(shù)學模型不斷進行優(yōu)化和改進,能夠應用到實際系統(tǒng)中。
　　本文研究的內容和成果歸結為以下方面:
　　首先,結合爬蟲實際應用需求和時間序列的相關理論,提出了基于馬爾科夫鏈的網頁更新預測的數(shù)據模型,驗證了預測網頁更新頻率在實際應用的可行性。
　　其次,建立

3、了評價網頁更新頻率預測效果的標準數(shù)據集。標準數(shù)據集的數(shù)據來源從橫向上來自于不同類型網站,從縱向上來自于同一站點的不同類型網頁,形成多維度的網頁采集結構,保證網頁的多樣性、針對性、代表性。以可定制的時間粒度和網頁變化粒度記錄了網頁變化過程,使得其他相關研究人員無需下載網頁就可以通過記錄的數(shù)據進行網頁更新的預測和對預測結果進行評價。
　　然后,在建立的標準數(shù)據集上通過準確率、命中率、覆蓋率、F-measure等評價指標對基于馬爾科夫鏈