分布式在線圖書爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、在這個互聯(lián)網(wǎng)時代，電子化的產(chǎn)品已經(jīng)深入到生活的方方面面，各種紙質(zhì)的圖書也同時被各種格式的電子書所取代。只需下載到手機或者其他移動終端里，即可進行閱讀。但是在眾多的圖書之中如何進行選擇，如何大規(guī)模獲取圖書資源，一個圖書爬蟲就顯得非常重要。本文設(shè)計和實現(xiàn)分布式在線圖書爬蟲系統(tǒng)，采用了Scarpy架構(gòu)，并通過Redis作為URL緩存隊列進行分布式擴展，使爬蟲的效率大大的提升，對Redis進行高可用配置，提升系統(tǒng)高可用性，并能夠完成增量爬取，保

2、證對于圖書的更新能夠第一時間掌握。
　　本研究主要內(nèi)容包括：⑴調(diào)度器模塊，包括URL調(diào)度，URL去重等功能，主要實現(xiàn)了對URL按照安全哈希算法進行去重和按照URL的優(yōu)先級進行爬取，并通過Redis實現(xiàn)了爬蟲的分布式。⑵URL爬取模塊，通過分配給它的URL，下載對應(yīng)的頁面，并對這個頁面進行解析，對于提取到的URL，繼續(xù)發(fā)送給URL緩存隊列，并把頁面里面的圖片、文件、圖書詳細信息等各種要爬取的信息發(fā)送給流水線進行下一步處理。⑶流水線模

3、塊，對于URL爬取模塊傳遞給它的信息進行規(guī)范化，通過不同的流水線進行存儲，把圖片、文件、圖書詳細信息這些數(shù)據(jù)傳到不同的存儲單元中去。⑷監(jiān)控模塊，對每個爬蟲的狀態(tài)進行監(jiān)控，監(jiān)控每個爬蟲所爬取的URL數(shù)量，爬蟲的運行情況，爬蟲運行了多長時間，并監(jiān)控每個爬蟲所在設(shè)備的狀態(tài)。⑸通過功能驗證表明新的Scrapy爬蟲系統(tǒng)滿足分布式圖書爬蟲系統(tǒng)的要求，能夠?qū)Ψ植际綀D書網(wǎng)站進行有效的爬取，現(xiàn)在項目還是在測試階段，下一階段會對圖書內(nèi)容和圖書的插圖等信息進