基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究.pdf

1、隨著電商、物聯(lián)網(wǎng)、云計算等一系列新型技術(shù)的發(fā)展與應(yīng)用，如今的物流行業(yè)的數(shù)據(jù)增長已不再是線性的、緩慢的，它所呈現(xiàn)的是海量的、復(fù)雜的、實時的與爆炸性的。顯然，傳統(tǒng)的單機存儲和串行的數(shù)據(jù)挖掘技術(shù)已無法滿足當(dāng)前物流行業(yè)的大數(shù)據(jù)處理需求。Hadoop則依然成為了當(dāng)下社會發(fā)展的新趨勢，它是一個開源的分布式平臺，適用于大數(shù)據(jù)集的分布式計算。近年來，這一技術(shù)在數(shù)據(jù)挖掘領(lǐng)域逐漸發(fā)揮出其獨特的優(yōu)勢。而K-means聚類算法就是一種有效的大數(shù)據(jù)挖掘算法，該算

2、法實現(xiàn)簡單且易于使用，但其在質(zhì)心點及K值的選取上仍然存在很大的盲目性和不可預(yù)見性，經(jīng)常導(dǎo)致聚類結(jié)果出現(xiàn)局部最優(yōu)，且在距離計算過程中存在著復(fù)雜的冗余計算，收斂速度慢，聚類精度低，缺乏并行性和可擴展性，大大降低了算法的運行效率。針對傳統(tǒng)K-means算法不足，本課題結(jié)合了“距離三角不等式原理”和“最小最大原則”的優(yōu)點，在Hadoop云計算平臺上提出了一種基于雙MapReduce分布式編程模型改進(jìn)的Canopy-Kmeans算法，并通過社發(fā)物

3、流公司的真實歷史數(shù)據(jù)驗證了本文算法的正確性。
　　本研究主要內(nèi)容包括：⑴闡述了Hadoop生態(tài)系統(tǒng)，對其基本組件、構(gòu)造模塊以及工作機制進(jìn)行了深入的剖析和研究；分析了大數(shù)據(jù)挖掘過程的標(biāo)準(zhǔn)流程；對傳統(tǒng)K-means算法的設(shè)計思路和過程進(jìn)行了深入的研究，探討了已有研究成果的優(yōu)缺點。⑵在Hadoop平臺上基于最小最大原則對傳統(tǒng)的Canopy算法進(jìn)行了改進(jìn)，成功地解決了傳統(tǒng)Canopy算法中人為設(shè)置K值以及區(qū)域半徑T1、T2的盲目性，為K-

4、means聚類結(jié)果的準(zhǔn)確性提供了可靠的理論依據(jù)。⑶基于三角不等式原理的優(yōu)點，在K-means算法迭代計算之前，增加了距離篩選判定，從而有效地減少了大量的冗余計算；另外，為了進(jìn)一步提高該算法的運行效率，在引入加權(quán)聚類準(zhǔn)則函數(shù)的基礎(chǔ)上，增加了收斂性判定，進(jìn)而提高了聚類的質(zhì)量和收斂速度，降低了數(shù)據(jù)對象的誤分率。⑷設(shè)計并實現(xiàn)了基于雙MapReduce編程模型改進(jìn)的Canopy-Kmeans算法。為了進(jìn)一步驗證本文算法設(shè)計的可行性，搭建了Hado