基于Spark技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測(cè)研究.pdf

1、Spark技術(shù)是一項(xiàng)基于內(nèi)存計(jì)算，繼Hadoop技術(shù)之后在云計(jì)算領(lǐng)域出現(xiàn)的新一代通用并行計(jì)算的開源技術(shù)，在機(jī)器學(xué)習(xí)方面有著無(wú)與倫比的優(yōu)勢(shì)，特別適合出現(xiàn)多次迭代計(jì)算需求的算法，并在交互式查詢、云計(jì)算、圖計(jì)算等領(lǐng)域有著廣泛的應(yīng)用。由于Spark擁有非常出色的容錯(cuò)和調(diào)度機(jī)制，可以確保系統(tǒng)穩(wěn)定地運(yùn)行，并且它還是一個(gè)集SQL、機(jī)器學(xué)習(xí)、圖計(jì)算、流處理等多種功能于一體的計(jì)算框架，具有非常好的易用性。目前，Spark技術(shù)已經(jīng)構(gòu)建成了一套完整的大數(shù)據(jù)處

2、理生態(tài)系統(tǒng)，在流處理、圖技術(shù)、機(jī)器學(xué)習(xí)、NoSQL查詢等方面都具有自己的特色。此外，Spark采用全棧技術(shù)解決了云計(jì)算數(shù)據(jù)處理的核心問(wèn)題，使得在現(xiàn)階段，Spark技術(shù)在云計(jì)算等大數(shù)據(jù)領(lǐng)域中成為研究熱點(diǎn)。
　　論文在詳細(xì)闡述國(guó)內(nèi)外關(guān)于Spark研究現(xiàn)狀的基礎(chǔ)上，針對(duì)目前存在的難點(diǎn)問(wèn)題，以Spark全?？蚣苤械母鱾€(gè)組件及其應(yīng)用為基礎(chǔ)，對(duì)網(wǎng)絡(luò)流量異常檢測(cè)技術(shù)的應(yīng)用問(wèn)題展開討論和研究，本論文的主要貢獻(xiàn)有以下兩個(gè)方面：
　　本論文首先

3、研究了網(wǎng)絡(luò)流量異常檢測(cè)技術(shù)在Spark平臺(tái)上的應(yīng)用，利用Spark平臺(tái)上的MLlib算法庫(kù)、Streaming K-means和隨機(jī)森林算法分別作為入侵檢測(cè)的第一級(jí)和第二級(jí)模型，作用于不同階段中網(wǎng)絡(luò)流量數(shù)據(jù)的檢測(cè)。此外，根據(jù)無(wú)監(jiān)督模式下K-means算法的原理，對(duì)網(wǎng)絡(luò)流量異常檢測(cè)算法進(jìn)行了優(yōu)化，采用Z-score算法過(guò)濾邊緣信息，選擇熵信息K-means模型作為第一級(jí)網(wǎng)絡(luò)流量異常檢測(cè)的模型，以第一級(jí)檢測(cè)模型的數(shù)據(jù)輸出作為第二級(jí)模型的輸入

4、，采用隨機(jī)森林算法作為第二級(jí)分類模型。
　　其次本論文針對(duì)以上算法進(jìn)行了對(duì)比測(cè)試。首先以KDD99為實(shí)驗(yàn)數(shù)據(jù)集，基于熵信息判斷K-means最優(yōu)模型，并通過(guò)交叉檢驗(yàn)證明了在不同的K值下模型預(yù)測(cè)準(zhǔn)確度和熵信息成反比，K值為60時(shí)K-means模型達(dá)到最優(yōu)。同時(shí)還對(duì)隨機(jī)森林算法和決策樹算法在不同參數(shù)組合下的預(yù)測(cè)模型進(jìn)行了異常數(shù)據(jù)分類測(cè)試對(duì)比，測(cè)試結(jié)果表明，隨機(jī)森林模型可以做到98％以上的異常結(jié)果分類預(yù)測(cè)，采用二級(jí)異常檢測(cè)模型與傳統(tǒng)模型