基于VSM模型及N-KMEANS算法的文本聚類.pdf

1、文本聚類技術(shù)是一門很熱門且有前景的技術(shù)，由于具有無監(jiān)督學(xué)習(xí)的特性，在文本挖掘領(lǐng)域文本聚類的核心思想相對(duì)來說比較簡(jiǎn)單易懂。文本聚類可分為三個(gè)大部分:文本預(yù)處理、文本表示模型以及聚類算法設(shè)計(jì)，其中文本表示模型和聚類算法設(shè)計(jì)這兩大部分在現(xiàn)今是很熱門的研究方向。文本表示模型影響著將自然語言表示的文本轉(zhuǎn)化成計(jì)算機(jī)可識(shí)別可計(jì)算的數(shù)學(xué)模型的準(zhǔn)確性，而聚類算法的設(shè)計(jì)影響著文本聚類最終結(jié)果的質(zhì)量，國(guó)內(nèi)外很多學(xué)者主要從這兩方面對(duì)文本聚類進(jìn)行研究和改進(jìn)。在常

2、用的聚類算法中，K-means算法的運(yùn)用相對(duì)較廣泛，然而傳統(tǒng)的K-means算法沒有穩(wěn)定的運(yùn)行結(jié)果，且對(duì)文本型的數(shù)據(jù)要求更高，因此，對(duì)K-means算法的研究和改進(jìn)受到了國(guó)內(nèi)外學(xué)者的重視。
　　本文重點(diǎn)分析和研究了k平均值(K-means)算法-最常用的聚類算法。通過分析K-means算法的主要缺點(diǎn)，提出了一個(gè)基于數(shù)據(jù)樣本分布，計(jì)算聚類數(shù)和初始聚類中心的算法，定義為N-KMEANS算法。在該算法中，還引用了AP聚類算法以定位聚類數(shù)

3、的取值范圍，然后計(jì)算數(shù)據(jù)樣本的平均距離，再計(jì)算所有數(shù)據(jù)點(diǎn)以平均距離為半徑的鄰域中所包含的點(diǎn)的數(shù)目，可稱為點(diǎn)的密度，最后根據(jù)聚類數(shù)的取值范圍和點(diǎn)與點(diǎn)之間的距離選擇密度較大的點(diǎn)作為聚類開始的簇中心，同時(shí)可確定具體的聚類數(shù)。繼而使用Iris和Balance-Scale數(shù)據(jù)集分別對(duì)傳統(tǒng)K-means聚類算法和本文提出的N-KMEANS聚類算法進(jìn)行實(shí)驗(yàn)，來比對(duì)這兩者的聚類質(zhì)量，驗(yàn)證了本文提出的N-KMEANS聚類算法具有較高的有效性和穩(wěn)定性。