文本聚類方法研究及其應用.pdf

1、隨著互聯(lián)網(wǎng)的不斷深入發(fā)展，網(wǎng)絡上堆積的數(shù)據(jù)日益龐大，并且大部分數(shù)據(jù)以文本的形式存儲。文本的非數(shù)值性、復雜性等特點使得文本挖掘成為數(shù)據(jù)挖掘相關領域中的熱點與難點。在與文本相關的一些應用中，如垃圾郵件甄別，文本分類方法受到了訓練樣本的限制，無法達到令人滿意的效果。文本聚類方法由于具有無監(jiān)督的學習能力，成為人們尋求解決這些問題的一個重要方向。 文本聚類方法主要包括文本表示模型和文本聚類算法。目前大多數(shù)文本表示模型都是以詞條為基本單位進

2、行建立的，這使得模型數(shù)據(jù)具有高維與稀疏的特點。在高維數(shù)據(jù)空間中，聚類往往只存在于某些子空間中，并且不同的聚類所關聯(lián)的子空間也存在差異。受“維度效應”的影響，傳統(tǒng)的聚類算法一般無法直接對高維數(shù)據(jù)進行有效的聚類，需要通過一些特殊的處理。 本文在常用的矢量空間模型(VSM)基礎上，以聚類算法為出發(fā)點，研究如何基于不同的聚類算法建立相應的文本聚類方法。通過研究傳統(tǒng)文本聚類方法的聚類過程，分析了傳統(tǒng)方法對于聚類算法的要求，繼而提出了一種具

3、有魯棒性的數(shù)據(jù)點收縮聚類算法，并在此基礎上建立相應的文本聚類方法；通過分析傳統(tǒng)文本聚類方法在維度約簡方式上存在的不足，提出了一種子空間聚類算法，并在此基礎上建立相應的文本子空間聚類方法。本文的主要工作如下： 1．研究層次型聚類算法CURE，通過將其代表點收縮的思想與網(wǎng)格密度概念相結合，從而達到對數(shù)據(jù)分布更為細致的度量，在此基礎上提出一種基于數(shù)據(jù)點收縮的網(wǎng)格聚類算法，并通過實驗驗證了算法的有效性； 2．在網(wǎng)格聚類算法基礎上