基于Spark的機器學(xué)習(xí)應(yīng)用框架研究與實現(xiàn).pdf

1、聚類分析和分類分析是機器學(xué)習(xí)的重要領(lǐng)域，K-means算法和隨機森林算法分別是聚類分析和分類分析中最常用的算法之一。然而，K-means算法和隨機森林算法都存在一些限制和缺點。K-means算法中的群組數(shù)目 K值需要使用者預(yù)先設(shè)定，這對使用者提出了較高的要求，經(jīng)驗不足的使用者設(shè)定的K值的準確性也存在一定的問題；隨機森林算法進行分類決策時，無法區(qū)別對待每一棵決策樹，導(dǎo)致準確性差的決策樹會影響算法整體的準確性。在實際應(yīng)用中，待分析的數(shù)據(jù)集存

2、在各種各樣的問題。包含較多孤立點的數(shù)據(jù)集會增加K-means算法的迭代次數(shù)，提高算法的復(fù)雜度，降低算法的準確性；對于包含噪聲特征和冗余特征的數(shù)據(jù)集，隨機森林算法的準確性會受到影響，錯誤率會提高。上述這些問題提高了用戶使用K-means算法和隨機森林算法的難度。
　　另一方面，基于分布式計算的機器學(xué)習(xí)框架得到了廣泛應(yīng)用。然而，現(xiàn)有的機器學(xué)習(xí)框架受限于機器學(xué)習(xí)算法自身的限制和缺點，要求用戶進行數(shù)據(jù)挖掘和分析時，需要掌握足夠的機器學(xué)習(xí)算

3、法知識，導(dǎo)致這些機器學(xué)習(xí)框架的應(yīng)用門檻較高。
　　針對上述問題，本文以實驗室承擔的某省交通物流云計算平臺建設(shè)項目為背景，對聚類分析中的K-means算法和分類分析中的隨機森林算法以及這兩種算法存在的限制和缺點進行了分析，提出了相應(yīng)的改進算法，設(shè)計并實現(xiàn)了一套基于 Spark的機器學(xué)習(xí)應(yīng)用框架。該框架具有自適應(yīng)的數(shù)據(jù)預(yù)處理、算法調(diào)優(yōu)和參數(shù)選擇，用戶無需關(guān)注機器學(xué)習(xí)算法的底層細節(jié)等特點。最后，本文通過交通物流領(lǐng)域的應(yīng)用例子對該框架進行

4、了驗證。
　　與其他同類系統(tǒng)相比，本文工作具有以下特點：
　　1)針對K-means算法存在的特征權(quán)重不一致、孤立點干擾和群組數(shù)目 K值設(shè)定等問題，本文提出了一種改進的自適應(yīng) K-means算法(簡稱AKM)。實驗結(jié)果表明，AKM算法具有對待分析數(shù)據(jù)集進行規(guī)范化處理，對孤立點進行檢測和刪除，自動化求解群組數(shù)目K值等特點。
　　2)針對隨機森林算法存在的噪聲特征干擾、冗余特征干擾和分類決策投票策略等問題，本文提出了一種改

5、進的自適應(yīng)隨機森林算法(簡稱ARF)。實驗結(jié)果表明，ARF算法具有刪除噪聲特征和冗余特征，根據(jù)具體的問題選擇合適的分類決策投票策略等特點。
　　3)在AKM算法和ARF算法的基礎(chǔ)上，設(shè)計實現(xiàn)了一套基于Spark的機器學(xué)習(xí)應(yīng)用框架 AMLF(Adaptive Machine Learning Framework on Spark)。AMLF框架具有向用戶提供統(tǒng)一的數(shù)據(jù)訪問接口、機器學(xué)習(xí)模型的導(dǎo)入導(dǎo)出、統(tǒng)計和反饋機器學(xué)習(xí)模型信息等功能