基于Web文本信息抽取的微博輿情分析.pdf

1、據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)發(fā)布的統(tǒng)計(jì)數(shù)據(jù),截止到2012年12月,中國(guó)微博用戶(hù)總量已達(dá)3.09億。微博所具有的裂變式傳播模式、多元化傳播終端、低門(mén)檻、高互動(dòng)性等諸多優(yōu)勢(shì),使其成為網(wǎng)絡(luò)輿論的重要發(fā)源地。來(lái)自中國(guó)傳媒大學(xué)網(wǎng)絡(luò)輿情(口碑)研究所2011年7月發(fā)布的輿情指數(shù)顯示,微博已成為僅次于新聞媒體報(bào)道的中國(guó)第二大輿情源頭,在輿論導(dǎo)向中正在扮演著越來(lái)越重要的角色。如何及時(shí)獲取微博輿情信息,了解輿情現(xiàn)狀,預(yù)測(cè)輿情走勢(shì),從而因勢(shì)利導(dǎo)、

2、趨利除弊,已經(jīng)成為輿情研究的一個(gè)重要的新課題。
　　論文從這一背景出發(fā),研究了利用Web信息抽取技術(shù)處理微博數(shù)據(jù)、進(jìn)行輿情分析的方法。首先針對(duì)微博文本的特點(diǎn),利用Heritrix主題網(wǎng)絡(luò)爬蟲(chóng)采集微博頁(yè)面,并以鏡像網(wǎng)頁(yè)的形式進(jìn)行存儲(chǔ)。再結(jié)合HTML標(biāo)簽的嵌套特性,為采集到的網(wǎng)頁(yè)構(gòu)建起適合訪問(wèn)的DOM樹(shù)結(jié)構(gòu)。對(duì)于微博文本形式自由、語(yǔ)言不規(guī)范的情況,提出對(duì)文本中包含的標(biāo)點(diǎn)符號(hào)、表情符號(hào)、停用詞、非登錄詞等利用人工標(biāo)注和借助網(wǎng)絡(luò)語(yǔ)料庫(kù)處理

3、相結(jié)合的方式進(jìn)行規(guī)范化處理的方法。在中文分詞和詞性標(biāo)注階段,將NLPIR漢語(yǔ)分詞和R語(yǔ)言Rwordseg分詞兩種方式進(jìn)行了比較。考慮到微博文本內(nèi)容短,聚類(lèi)時(shí)易產(chǎn)生數(shù)據(jù)稀疏問(wèn)題,文中提出了采用LDA模型表示微博文本,對(duì)比了基于劃分的聚類(lèi)方法和基于層次的聚類(lèi)方法的優(yōu)點(diǎn)與不足,提出了一種k-means聚類(lèi)與層次聚類(lèi)相結(jié)合的算法。在輿情分析階段,采用基于2-POS模型方法進(jìn)行主客觀文本分類(lèi),利用CRFs方法結(jié)合情感詞自身規(guī)律和上下文信息等進(jìn)行情