微博熱點話題感知關(guān)鍵技術(shù)的研究.pdf

1、微博平臺作為WEB2.0時代的新產(chǎn)物，近年來發(fā)展迅速，已經(jīng)成為了社會輿情傳播的重要載體。對微博上輿論信息的挖掘、提取、分析和監(jiān)管也就成了重中之重。微博熱點話題感知不但可以挖掘熱點詞匯、熱門事件，還能了解社會動態(tài)和民心所向，具有很強的社會意義和現(xiàn)實意義。
　　本文的主要工作如下:
　　(1)針對微博文本中存在著的大量廣告微博和其余噪聲微博，本文在文本聚類模塊之前加入了廣告過濾模塊和噪聲過濾模塊，改進了傳統(tǒng)的文本話題感知機制，提

2、升了文本聚類的效率。根據(jù)廣告用戶共同的行為特征，本文使用了C4.5決策樹分類算法對微博進行了過濾，并對C4.5算法的連續(xù)屬性分割閾值選擇進行了優(yōu)化。在噪聲過濾模塊中，本文提出了基于特征值詞頻的噪聲記分過濾算法，將不含高頻特征詞條的微博文本視為噪聲濾除。為了防止特征值集合過大，又考慮到微博話題的實時性，給文本詞頻統(tǒng)計的過程加上了滑動窗口。此外，由于不同詞性的詞對表征話題具有不同的貢獻度，本文在記分算法中對詞條進行了詞性加權(quán)。該記分算法能對

3、噪聲微博進行有效過濾。
　　(2)在話題感知模塊中，針對微博話題的時效性，本文在傳統(tǒng)的夾角余弦距計算方法中加入了一個時間參數(shù)，提升了文本相似度計算的準(zhǔn)確性。在文本聚類模塊中，針對K-means聚類算法的K值和話題中心難以確立的問題，本文在聚類算法之前加入了一個基于特征值集合的初步劃分過程，優(yōu)化了K-means算法的K值確立和中心選擇方法，提升了算法的性能。傳統(tǒng)的微博話題熱度評估算法只考慮了用戶的參與度，本文在此基礎(chǔ)上結(jié)合了微博傳播