一類基于密度的聚類算法研究.pdf

1、聚類分析中，基于密度的聚類算法占有非常重要的地位，在信息的過濾、檢索、醫(yī)療衛(wèi)生和公共服務(wù)等各個(gè)領(lǐng)域都得到廣泛地應(yīng)用，是聚類分析的重點(diǎn)研究內(nèi)容。本文對層次聚類算法的特征和密度聚類算法的特征進(jìn)行研究，提出了基于層次的密度聚類算法，結(jié)果表明新算法聚類的準(zhǔn)確率和聚類的效率均得到提高。根據(jù) Alex Rodriguez和 Alessandro Laio提出的一種新的密度聚類算法 CFSFDP(Clustering by Fast Search a

2、nd Find of Density Peaks)，提出了MapReduce框架下該算法的并行化模型。和其他密度聚類算法一樣，該算法在并行條件下能對復(fù)雜形狀的聚類進(jìn)行處理，并且數(shù)據(jù)中類的數(shù)量也不需要提前指定，同時(shí)，CFSFDP算法需要用戶指定的參數(shù)較少。和需要迭代的聚類算法相比，該算法的運(yùn)行時(shí)間得到很大程度地降低。
　　本研究主要內(nèi)容包括：⑴針對傳統(tǒng)的聚類算法需要反復(fù)地對數(shù)據(jù)集聚類，且計(jì)算效率在大規(guī)模數(shù)據(jù)集上欠佳的問題，提出了一種

3、改進(jìn)算法，即基于層次聚類確定最佳聚類數(shù)和初始聚類中心的CODHD算法。該算法研究計(jì)算過程，對數(shù)據(jù)集不需要反復(fù)進(jìn)行聚類。首先，通過對數(shù)據(jù)集進(jìn)行掃描，進(jìn)而獲得聚類特征的所有的統(tǒng)計(jì)值；其次，采用自下而上的方法生成層次不相同的數(shù)據(jù)劃分，對每個(gè)劃分的數(shù)據(jù)點(diǎn)的密度進(jìn)行計(jì)算，將密度最大的點(diǎn)定為中心點(diǎn)，計(jì)算中心點(diǎn)距離更高密度點(diǎn)的最小距離，將最小距離與中心點(diǎn)的密度作乘積，取乘積之和的平均值作為有效性指標(biāo)，根據(jù)聚類結(jié)果，增量地構(gòu)建一條屬于不同層次的曲線；最

4、后，曲線極值點(diǎn)處對應(yīng)的劃分，用來估計(jì)初始的聚類中心和最佳的聚類數(shù)。實(shí)驗(yàn)結(jié)果表明，相比較COPS算法，本文提出的CODHD算法，聚類準(zhǔn)確率和效率均得到提高。⑵傳統(tǒng)的CFSFDP算法能夠很好地識別空間中任意形狀和任意維度的聚類，但是當(dāng)處理大規(guī)模數(shù)據(jù)集時(shí)，兩點(diǎn)之間距離的計(jì)算耗費(fèi)太長時(shí)間，為克服提到的缺點(diǎn)，提出了一種基于MapReduce的CFSFDP算法，又稱 mrCFSFDP。mrCFSFDP只需要讀取數(shù)據(jù)集一遍，因此運(yùn)行時(shí)間很快，運(yùn)行在多