面向微博的主題爬蟲設計與實現(xiàn).pdf

1、　　Internet 的高速發(fā)展使得互聯(lián)網(wǎng)逐漸滲透到人們的日常生活中，對社會的方方面面產(chǎn)生了深遠的影響。權(quán)威機構(gòu)的調(diào)查顯示，互聯(lián)網(wǎng)用戶數(shù)量每年都在飛速遞增，并且中國的網(wǎng)民數(shù)量已經(jīng)位居全球第一?；ヂ?lián)網(wǎng)用戶可以在Web 上暢所欲言，相互交流，因此互聯(lián)網(wǎng)已經(jīng)成為虛擬“公共話語空間”，是公眾都能參與的新興公共輿論平臺。
　　隨著互聯(lián)網(wǎng)的迅速發(fā)展，微博己經(jīng)發(fā)展成為包含多種信息資源、站點分布全球的海量信息服務網(wǎng)絡。微博爬蟲是一種用于幫助互

2、聯(lián)網(wǎng)用戶查詢信息的搜索工具，它以一定的策略在微博中搜集、發(fā)現(xiàn)信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務和信息導航。
　　本課題的主要目的是設計面向微博的主題爬蟲程序，同時需要滿足性能和功能要求，考慮到微博爬蟲的不同需求，微博爬蟲應用寬度搜索技術(shù)，對URL進行分析，去重。微博爬蟲的實現(xiàn)使用多線程技術(shù)，使爬蟲具備更好的的抓取性能，并對網(wǎng)絡爬蟲的連接網(wǎng)絡設置連接及讀取時間進行設定，避免無限制的等待。為了適應不同需求