基于LDA模型和密度聚類的新聞話題檢測.pdf

1、近些年，隨著互聯(lián)網(wǎng)的快速發(fā)展和網(wǎng)絡終端的多樣化，網(wǎng)絡新聞報道快速增長，新聞信息的結構變得更加復雜。傳統(tǒng)的新聞收集、整理、組織和分析工作很難全面的了解新聞報道之間的聯(lián)系，無法從全局的角度判斷新聞報道的發(fā)展方向，話題檢測技術應運而生。新聞話題檢測的主要任務是從大量新聞中自動檢測出潛在的話題，同時話題檢測也可以對突發(fā)新聞事件進行檢測并全面了解事件的發(fā)展情況。話題檢測對輿情監(jiān)測、信息安全、商業(yè)金融等領域都有重要作用。
　　本文針對新聞數(shù)據(jù)

2、的話題檢測進行研究，主要工作如下：
　?。?）將 LDA模型與基于密度的聚類算法相結合。LDA模型從語義層面抽取新聞數(shù)據(jù)主題，有效降低數(shù)據(jù)分析維度，更合理的體現(xiàn)新聞主題特征；基于密度聚類算法能夠更有效的挖掘話題中新聞的結構。
　?。?）基于新聞話題的時間延續(xù)性，給出了改進的 T-OPTICS算法。該算法繼承了OPTICS算法對參數(shù)不敏感的特性，降低了參數(shù)選擇對聚類結果的影響；改進了OPTICS算法中文本間相似度的計算方法，體

3、現(xiàn)了話題的時間延續(xù)性。
　?。?）針對話題檢測任務的特點，給出了一種基于 OPTICS可達圖的自動簇識別方法。該方法以話題是一個核心事件或活動以及與其相關的事件或活動的定義為依據(jù)，首先在OPTICS可達圖上識別所有凹區(qū)間作為活動或事件，然后抽取事件（活動）的核心特征，最后合并核心特征相近的連續(xù)事件（活動），得到需要檢測的話題集合。該方法克服了現(xiàn)有的簇識別方法參數(shù)選擇困難的缺點。
　　基于TDT4數(shù)據(jù)集的實驗表明，上述研究工作