基于微博熱詞挖掘的新聞話題提取研究.pdf

1、隨著互聯網技術的發(fā)展，傳統(tǒng)的媒體技術格局已經逐漸改變，基于互聯網新興媒體技術具有傳播速度快、透明度高的特點，微博已經成為互聯網上新聞傳播最快捷的媒體之一，越來越受到年輕人的喜歡。微博的出現為新聞話題的發(fā)現提供了一種新的方式和思路。現有的新聞挖掘模型和算法主要是通過抓取網頁信息來獲取，并存在數據更新慢、實時性差、挖掘準確率低等問題。通過微博熱詞挖掘提供新聞話題具有一定的現實意義。
　　本文通過分析一系列的基礎理論和技術，建立了基于L

2、DA的概率主題模型，用于對微博數據進行熱詞挖掘和分析。論文設計了一個支持動態(tài)頁面的網頁文本爬蟲算法。算法首先分析網頁中的JavaScript文件或代碼，使用HTTP協(xié)議向服務發(fā)送特定的信息請求，這種方式類似于行為人瀏覽網頁信息的方式，能夠高效的分析出網頁異步加載的信息內容。同時，論文提供了一套對微博數據信息中重復微博和廣告微博進行過濾的方法，并提出了熱詞計算的公式。在使用基于LDA的概率主體模型獲取微博熱詞后，通過綜合分析每個主題詞的廣

3、泛性和突發(fā)性，計算每個單義詞單元對應的主題詞的熱度，確定新聞話題，并返回至用戶使用。
　　本文主要研究工作包括以下幾個方面。
　　建立了合適有效的數據采集和文本預處理模型，設計支持動態(tài)頁面的網頁文本爬蟲算法，用于微博數據的采集，并以新浪微博為例，通過開放平臺獲取微博數據，對采集的數據使用ICTCLAS系統(tǒng)進行分析處理，并進行去停用詞處理，最后將預處理結果進行文本特征表示;
　　通過建立基于LDA的概率主題模型確定最終的