基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf

1、現(xiàn)代社會的快節(jié)奏正日益改變著人們了解、觀察世界和發(fā)表看法的方式，傳統(tǒng)媒介所發(fā)揮的作用已經(jīng)越來越小，新興的方式正在萌發(fā)并日益壯大。微博適應(yīng)了這種簡單、快捷的生活潮流，正日益成為向網(wǎng)民展示世界和匯聚民意的重要渠道，并或多或少的改變著社會的運(yùn)轉(zhuǎn)方式。所以，整體了解微博的民意訴求顯得至關(guān)重要，將為政府和企業(yè)決策提供寶貴的資料。目前，網(wǎng)絡(luò)輿情的研究已經(jīng)有成熟的技術(shù)，但基于微博的網(wǎng)絡(luò)輿情研究才剛剛起步，微博具有短小精悍、草根性更強(qiáng)、交互方式多種多樣

2、和高時效性的特點(diǎn)，這些決定了原有輿情技術(shù)已經(jīng)不能滿足微博研究的需要了，對此需要做出改進(jìn)和調(diào)整。
　　本文結(jié)合微博的特點(diǎn)，著力解決輿情研究中的各個問題，使之適應(yīng)微博網(wǎng)絡(luò)輿情研究的需要。網(wǎng)絡(luò)輿情的關(guān)鍵技術(shù)主要包括網(wǎng)絡(luò)爬蟲技術(shù)、網(wǎng)頁結(jié)構(gòu)化技術(shù)、分詞技術(shù)以及分類聚類等文本處理技術(shù)。本文主要對這些技術(shù)做出改進(jìn)，來適應(yīng)微博的特點(diǎn)，最終發(fā)掘微博熱點(diǎn)話題以及人們的情感傾向。
　　當(dāng)今網(wǎng)絡(luò)爬蟲技術(shù)業(yè)已成熟，網(wǎng)上也存在大量的免費(fèi)爬蟲系統(tǒng)。目前，

3、互聯(lián)網(wǎng)企業(yè)為了保證微博的正常訪問，做了很多反爬蟲措施，同時微博頁面具有雜亂無章的特點(diǎn)，本文針對這些反爬蟲措施，基于larbin爬蟲系統(tǒng)，提出定時爬取和代理爬取，并對頁面解析采用DOM樹和投票算法。
　　本文針對的是中文微博，所以將重點(diǎn)研究中文分詞。中文分詞技術(shù)主要有詞典建立、歧義識別和新詞識別三個方面。針對微博數(shù)據(jù)量大、雜、新詞不斷涌現(xiàn)的特點(diǎn)，本文提出使用基于單字索引的pat樹分詞詞典，加快分詞速度，并提出雙字耦合和t-測試差相結(jié)