基于Nutch的分布式爬蟲研究與優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，互聯(lián)網(wǎng)上的數(shù)據(jù)正在迅速膨脹并變大，數(shù)據(jù)的采集速度越來(lái)越不能滿足實(shí)際需要。爬蟲系統(tǒng)需要抓取的網(wǎng)頁(yè)數(shù)量巨大，如何高效、穩(wěn)定地抓取網(wǎng)頁(yè)非常重要。網(wǎng)頁(yè)分布廣及動(dòng)態(tài)變化也使爬蟲系統(tǒng)很難保持本地網(wǎng)頁(yè)時(shí)新性，爬蟲需要及時(shí)更新本地網(wǎng)頁(yè)，避免網(wǎng)頁(yè)失效。
　　本文對(duì)Nutch爬蟲進(jìn)行改進(jìn)，將改進(jìn)后的Nutch和Hadoop分布式平臺(tái)結(jié)合，設(shè)計(jì)高效、可靠的分布式爬蟲系統(tǒng)。主要研究成果如下：
　　1、Nutch和Hadoop分

2、布式平臺(tái)結(jié)合
　　Nutch單機(jī)運(yùn)行時(shí)，受限于單臺(tái)機(jī)器存儲(chǔ)及運(yùn)算性能，且易發(fā)生單點(diǎn)故障，穩(wěn)定性差。我們借助Hadoop分布式平臺(tái)的優(yōu)點(diǎn)，將Nutch運(yùn)行的各個(gè)步驟提交給Hadoop，使用MapReduce分布式計(jì)算完成，并將數(shù)據(jù)存儲(chǔ)在HDFS上。我們分別對(duì)Nutch單機(jī)模式和Nutch分布式模式進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：對(duì)比單機(jī)模式，分布式模式隨著集群中節(jié)點(diǎn)的增多，Nutch爬行的性能會(huì)線性增長(zhǎng)；數(shù)據(jù)安全性提高，可靠性增強(qiáng)，節(jié)點(diǎn)間負(fù)

3、載均衡。
　　2、提出Proxy IP動(dòng)態(tài)更換模塊
　　在詳細(xì)分析Nutch抓取網(wǎng)頁(yè)數(shù)據(jù)的工作流程后，發(fā)現(xiàn)當(dāng)一個(gè)網(wǎng)站有以IP為依據(jù)的訪問(wèn)檢測(cè)機(jī)制時(shí)，Nutch大規(guī)模訪問(wèn)很容易被禁止。針對(duì)這個(gè)問(wèn)題，提出Proxy IP動(dòng)態(tài)更換模塊，與Nutch系統(tǒng)結(jié)合，在Nutch爬行被禁止時(shí)，更換Proxy IP，使Nutch能繼續(xù)爬行。經(jīng)過(guò)測(cè)試，Nutch的爬蟲被禁止爬行得到有效解決。
　　3、網(wǎng)頁(yè)更新預(yù)測(cè)優(yōu)化
　　Nutch

4、有網(wǎng)頁(yè)更新模塊，但網(wǎng)頁(yè)更新的參數(shù)需要人為設(shè)定，且對(duì)所有網(wǎng)頁(yè)有效，很難適應(yīng)海量網(wǎng)頁(yè)的差異化。本文提出動(dòng)態(tài)選擇策略來(lái)預(yù)測(cè)網(wǎng)頁(yè)更新周期。在網(wǎng)頁(yè)更新歷史數(shù)據(jù)不足時(shí)，通過(guò)基于MapReduce的DBSCAN聚類算法來(lái)減少爬蟲系統(tǒng)抓取網(wǎng)頁(yè)數(shù)量，將樣本網(wǎng)頁(yè)的更新周期作為所屬類其它網(wǎng)頁(yè)的更新周期；在網(wǎng)頁(yè)更新歷史數(shù)據(jù)較多時(shí)，通過(guò)對(duì)網(wǎng)頁(yè)更新歷史數(shù)據(jù)進(jìn)行泊松過(guò)程建模較準(zhǔn)確地預(yù)測(cè)每個(gè)網(wǎng)頁(yè)的更新周期。實(shí)驗(yàn)表明，動(dòng)態(tài)選擇策略節(jié)約了爬蟲的抓取資源，且能較準(zhǔn)確預(yù)測(cè)網(wǎng)頁(yè)