分布式爬蟲的動態(tài)負載均衡方法研究.pdf

1、隨著互聯(lián)網的高速發(fā)展，搜索引擎成為互聯(lián)網用戶查找信息的第一入口，作為搜索引擎核心組件的網絡爬蟲用于在互聯(lián)網上采集數據?，F在網絡信息正以指數級的速度不斷膨脹，網頁采集的完整性和實時性的難度越來越大，這給爬蟲系統(tǒng)帶來了巨大的挑戰(zhàn)。
　　如何充分地利用計算機的硬件資源和網絡帶寬高效地采集頁面,同時減少由URL判重所帶來的大量通信開銷，是分布式爬蟲系統(tǒng)研究的核心問題。針對這個問題，本文以提高分布式爬蟲系統(tǒng)的性能為核心，進行了以下研究：

2、r>　　深入研究了分布式系統(tǒng)優(yōu)缺點、分布式系統(tǒng)的任務調度、網絡爬蟲工作原理和爬行策略的基礎上，結合網絡爬蟲自身特點、互聯(lián)網結構特點和站點頁面間的相似性，提出了基于在線反饋的站點規(guī)模動態(tài)預測算法。站點規(guī)模動態(tài)預測算法首先對站點規(guī)模進行分類，然后根據互聯(lián)網結構的疏密性和爬蟲的爬行原理，提出了站點增長比的概念，在爬蟲爬行的過程中，在線采集計算增長比的信息，通過計算出的增長比的反饋，對站點規(guī)模進行逐步預測，并基于采集的數據進行了算法模型的訓練和

3、驗證；
　　將基于在線反饋的站點規(guī)模動態(tài)預測算法融入到分布式爬蟲系統(tǒng)中，可根據預測出的站點規(guī)模，減少URL判重所帶來的大量通信開銷。針對站點規(guī)模計算出爬行器所承載的任務負荷量，通過監(jiān)視器定時收集爬行器自身負荷當量，基于以上兩點計算爬行器間的負載系數，并以此為依據進行任務調度，以達到負載均衡的效果；
　　結合以上理論基礎和研究成果，本文設計并開發(fā)了基于站點規(guī)模的動態(tài)任務分割算法的分布式爬蟲系統(tǒng)，該分布式爬蟲系統(tǒng)能很好地處理新增