分布式多媒體網(wǎng)絡(luò)爬行系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)和多媒體技術(shù)的飛速發(fā)展,推動了數(shù)字多媒體作品的在線銷售與傳播,也帶來了版權(quán)侵犯問題。數(shù)字作品可以被輕易拷貝,任何人均可通過網(wǎng)絡(luò)將版權(quán)保護作品進行再次分發(fā)。使用網(wǎng)絡(luò)爬蟲主動搜索互聯(lián)網(wǎng)中的多媒體作品(圖像、音頻和視頻),利用拷貝檢測和數(shù)字指紋技術(shù)追蹤泄露者,可以有效地保護版權(quán)。設(shè)計實現(xiàn)了一個分布式多媒體網(wǎng)絡(luò)爬行系統(tǒng),實現(xiàn)對互聯(lián)網(wǎng)上多媒體作品的抓取,為下一步版權(quán)保護提供檢測數(shù)據(jù)來源。
　　分布式網(wǎng)絡(luò)爬蟲的設(shè)計是一項極具挑戰(zhàn)性的工作

2、,在詳細討論一般爬蟲設(shè)計架構(gòu)的基礎(chǔ)上,提出了一種實用的分布式架構(gòu)設(shè)計,有效的結(jié)合了集中式和分布式設(shè)計的優(yōu)點,較好地解決了任務(wù)調(diào)度與爬行結(jié)點動態(tài)加入和退出造成的重復爬行問題。網(wǎng)絡(luò)爬蟲的實現(xiàn)涉及到一系列關(guān)鍵技術(shù),為加快爬行速度,盡早爬行到重要資源,采用基于URL過濾的寬度優(yōu)先搜索策略,丟棄不重要的URL;在對基于Bloom Filter的URL判重方式進行詳細分析討論后,提出了一種基于Bloom Filter的分布式URL判重方法,每個爬行

3、結(jié)點只維護自身任務(wù)范圍內(nèi)URL的判重結(jié)構(gòu),爬行結(jié)點越多,單個爬行結(jié)點需要進行判重的URL越少,減少了對內(nèi)存的需求,加快了判重速度;爬行結(jié)點采用多線程實現(xiàn)可以有效加快爬行速度,但線程之間存在競爭,詳細討論了多線程設(shè)計中遇到的問題。
　　在多媒體資源爬行方面,詳細討論了多媒體資源爬行下載中存在的問題及解決思路,著重介紹了視頻分享網(wǎng)站中存在的視頻下載問題,并以視頻網(wǎng)站優(yōu)酷為例描述了問題的解決方案。最后通過系統(tǒng)的實際運行評測,驗證分布式多