軟硬結合的聚類算法及其集成的研究.pdf

1、近幾十年來，隨著科學技術的發(fā)展經濟和社會都取得了極大的進步，同時在各個領域也產生了海量的數據。1989年舉行的第十一屆國際聯合人工智能學術會議上知識發(fā)現(Knowledge Discoveryin Databases，KDD)被首次提出來。之后，這一學科受到來自各個領域的研究者關注并產生了學科交叉，數據挖掘(Data Mining)也由此產生。目前數據挖掘主要研究的是關聯規(guī)則、分類、聚類、預測、Web挖掘等。其中聚類(Clusterin

2、g Analysis)是指根據某種規(guī)則將數據對象劃分為幾個類簇，使在同一個類簇中的對象之間相似性最高，而在不同類簇的對象相似性最低。聚類過程是將沒有訓練樣本的數據集劃分為有意義的不同類，屬于無監(jiān)督學習。目前的聚類算法有許多種，根據聚類算法的聚類法則大致可以將聚類算法分為五個類別。每種聚類算法都有一定的適用范圍并在某些特定的數據集上有較好的表現，但是目前不存在一種聚類算法可以對各種結構的數據集進行聚類?？傮w來說聚類算法存在著以下幾種研究難

3、題:如可擴展性不強，一些聚類算法適合在小數據集上工作，但不適合在大數據集工作;需要先驗知識去決定輸入參數，例如k-means算法需要輸入類別數k;無法辨別任意形狀聚類;缺乏適合于類屬性數據的聚類有效性研究。
　　 集成學習(Ensemble Learning)是利用多個基學習器來解決同一個問題，可以顯著地提高學習系統(tǒng)的泛化能力。在此基礎上，2002年Strehl等提出了聚類集成(Cluster Ensemble)并給出了定義。聚

4、類集成是利用多個基聚類結果進行集成得到一個新的劃分，這個劃分最大程度上分享了所有的輸入基聚類結果。目前聚類集成的算法有許多種，但根據集成的方法可以大致劃分為三類。聚類集成有較好的泛化能力，能夠挖掘出數據集的潛在結構。
　　 從聚類的結果來看，聚類可分為兩大類:軟聚類和硬聚類。軟聚類是將樣本個體通過隸屬度標識出與各個類簇的隸屬關系。硬聚類是將樣本個體劃分為某一特定的類簇，與其它的類簇并沒有關系。從數學模型的角度來看，軟聚類是以模糊

5、數學為基礎的。本文首先對聚類算法進行了研究，進一步研究了軟聚類與硬聚類方法的結合，提出一種軟硬結合的聚類算法，該算法首先使用模糊數學的模糊相似矩陣來劃分出模糊樣本個體和一般樣本個體。之后在實驗中將這種軟硬結合的聚類算法和硬聚類K-means算法、軟聚類FCM算法進行比較，最后實驗結果表明了在人工數據集和UCI數據集上這種軟硬結合的聚類算法優(yōu)于單純的硬聚類K-means算法和軟聚類FCM算法。在聚類集成中，本文提出了基于相似性選擇的聚類集