基于HMM的Netflow異常流量檢測方法的研究.pdf

1、在現(xiàn)如今這個科技發(fā)達(dá)、信息飛速流通的社會，網(wǎng)絡(luò)的安全越來越受人們的關(guān)注和重視。Netflow作為思科公司提出的一種數(shù)據(jù)交互方式，在監(jiān)測網(wǎng)絡(luò)中發(fā)揮著重要的作用。國內(nèi)外也針對Netflow異常檢測做了很多研究。但隨著網(wǎng)絡(luò)的發(fā)展，傳統(tǒng)的基于“流”的異常檢測技術(shù)存在訓(xùn)練樣本要求大，特征提取復(fù)雜，面對未知異常檢測率低的問題；而且在面對海量Netflow流數(shù)據(jù)時，目前的研究也未發(fā)現(xiàn)也很好的應(yīng)對之策。
　　基于以上的問題，本文的研究將隱馬爾可夫

2、模型和大數(shù)據(jù)相結(jié)合，提出了基于HMM的Netflow異常流量檢測方法。本文的研究主要包括數(shù)據(jù)采集和處理，建立模型和異常檢測三個模塊。首先數(shù)據(jù)采集和處理模塊中，利用重新設(shè)計的分布式日志采集系統(tǒng)Flume，將Netflow流采集到分布式文件系統(tǒng)。其次在建立HMM模型中，利用協(xié)議的高度規(guī)范化，實現(xiàn)針對Netflow數(shù)據(jù)按照ICMP，TCP和UDP三種協(xié)議進(jìn)行分類。然后根據(jù)每種協(xié)議的樣本流數(shù)據(jù)進(jìn)行降維、量化等預(yù)處理，建立每種協(xié)議正常流的HMM模

3、型。最后異常檢測模塊，根據(jù)每種協(xié)議建立的模型，針對待檢測序列，分布式實現(xiàn)前向算法計算出觀測概率。將計算得到的概率與特定的閾值進(jìn)行比較，實現(xiàn)異常Netflow流量的檢測。
　　通過本文的研究，利用隱馬爾可夫模型作為異常檢測的基本算法模型，不僅需要的樣本量大大減少；且不再需要針對每種攻擊類型單獨建模，而是根據(jù)協(xié)議分類建模，降低了復(fù)雜度，對未知的異常也有一定的檢查效果。本文的方法利用分布式存儲和分布式計算框架，幫助我們提供了一種解決海量