微博客數(shù)據(jù)的獲取與分析方法研究.pdf

1、微博客是繼博客后迅速發(fā)展起來的一種新的社交網(wǎng)絡形式，在信息傳媒領域形成了很大的影響力。對于傳統(tǒng)的社交網(wǎng)絡形式，數(shù)據(jù)的獲取與分析技術(shù)已日趨成熟，但對于微博網(wǎng)絡數(shù)據(jù)的獲取及微博網(wǎng)絡特性的研究，還不夠完善。本文研究了微博的特點及作用，微博數(shù)據(jù)獲取的兩種技術(shù)，以新浪微博為例，設計并實現(xiàn)了微博數(shù)據(jù)獲取與分析系統(tǒng)，仿真并分析了微博網(wǎng)絡的網(wǎng)絡特性。本文主要的工作目的是在獲取微博數(shù)據(jù)的基礎上，分析微博數(shù)據(jù)，由此得出微博網(wǎng)絡的特性。具體的工作如下：

2、>　　1、研究了使用網(wǎng)絡頁面爬蟲獲取數(shù)據(jù)的相關技術(shù)，包括通用網(wǎng)絡爬蟲，聚焦網(wǎng)絡爬蟲，網(wǎng)頁預處理，文本分類等的基本原理和工作流程。
　　2、深入研究了利用微博系統(tǒng)的SDK獲取數(shù)據(jù)的工作流程，該技術(shù)通過調(diào)用微博平臺提供的API來獲取用戶數(shù)據(jù)，調(diào)用API需通過用戶身份的鑒權(quán)，目前主要用到的是OAuth鑒權(quán)，該方法步驟簡單，抓取數(shù)據(jù)的準確度和效率高，本文應用該方法獲取微博數(shù)據(jù)。
　　3、從簡化認證步驟，提高獲取效率，避免重復爬取等方