基于Hadoop MapReduce并行近似譜聚類算法研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)信息呈現(xiàn)幾何級數(shù)增長,對與之產(chǎn)生的大規(guī)模高維數(shù)據(jù)的譜聚類的計算時間和內存使用提出了新的挑戰(zhàn)。Hadoop MapReduce并行近似譜聚類算法為減少計算時間和內存使用而展開研究,首先,在構建近似譜聚類算法的稀疏化相似矩陣過程中,研究t最近鄰稀疏化相似矩陣法和Nystrm低階子矩陣抽樣近似相似矩陣法,側重因在t最近鄰稀疏化相似矩陣使用主觀性設置擴大了參數(shù)t的近鄰范圍,而造成的稀疏化相似矩陣中離群點對近似譜聚類算法質量的影響。提出

2、一種基于t最近鄰近似相似矩陣離群點優(yōu)化的解決方法,通過證明含有離群點的t最近鄰近似相似矩陣在該優(yōu)化方法中存在最優(yōu)解,并把該方法應用于近似譜聚類算法,提出優(yōu)化的近似譜聚類算法,以期提高大規(guī)模高維數(shù)據(jù)近似譜聚類的質量。此外,在近似譜聚類算法設計中使用最近鄰粗糙集模型選擇k-means初始化聚類中心位置,避免聚類大規(guī)模高維數(shù)據(jù)時,近似譜聚類算法獲得空聚類或非最佳聚類的結果。通過將上述近似譜聚類算法與經(jīng)典的基于正交化Nystrm低階子矩陣抽樣近

3、似相似矩陣譜聚類算法和基于t最近鄰稀疏化近似相似矩陣譜聚類算法進行輔助對比實驗,結果顯示雖然近似相似矩陣優(yōu)化時間較高,但是其聚類精確度優(yōu)于后者。
　　本文主要設計并實現(xiàn)Hadoop分布式文件系統(tǒng)MapReduce并行計算編程模型下近似譜聚類算法對大規(guī)模高維數(shù)據(jù)的聚類。通過研究Mapper和Reducer并行編程流程及Hadoop MapReduce并行算法中相互依賴步驟分解,分別研究并設計基于MapReduce優(yōu)化離群點的t最近鄰

4、近似相似矩陣、Laplacian特征分解和基于最近鄰初始化聚類中心位置的k-means并行策略與map和reduce函數(shù),并分析了Hadoop MapReduce并行前后各自的時間復雜度,其中所設計的并行策略與依賴步驟的分解處理也為機器學習、數(shù)據(jù)挖掘、模式識別、信息檢索、Web數(shù)據(jù)分析、計算機視覺、醫(yī)學成像、信號與圖形圖像處理以及生物信息學等領域提供一種分析大規(guī)模高維數(shù)據(jù)的參考思路。通過在12臺Dell2161服務器構成的Hadoop集