基于異常數(shù)據(jù)挖掘算法的研究.pdf

1、異常數(shù)據(jù)是指在數(shù)據(jù)集中與普通數(shù)據(jù)對(duì)象不一致或者偏離正常行為模式的數(shù)據(jù)。它們產(chǎn)生于不同的機(jī)制，不符合一般的規(guī)律，背后往往隱藏著容易忽略的重要信息，因此各種異常數(shù)據(jù)挖掘算法的研究已經(jīng)成為熱門(mén)的研究方向。但是目前大多數(shù)的異常數(shù)據(jù)挖掘研究都是基于靜態(tài)的數(shù)據(jù)集進(jìn)行的，主要通過(guò)基于密度的LOF算法進(jìn)行計(jì)算得到，在實(shí)際應(yīng)用中，面對(duì)要研究的數(shù)據(jù)集都是不斷變化的，本文中所做的主要工作就是針對(duì)動(dòng)態(tài)增加的數(shù)據(jù)集來(lái)進(jìn)行異常數(shù)據(jù)挖掘工作的研究。
　　聚類算

2、法OPTICS是一種經(jīng)典的基于密度的聚類方法。OPTICS算法不同于其他基于密度的聚類算法是因?yàn)樗粫?huì)把要輸入的ε和MinPits兩個(gè)參數(shù)當(dāng)作全局的參數(shù)來(lái)進(jìn)行密度衡量然后識(shí)別類，而是通過(guò)建立一個(gè)增廣的可達(dá)圖來(lái)描述數(shù)據(jù)集在基于密度的數(shù)據(jù)結(jié)構(gòu)樣子。在構(gòu)造可達(dá)圖時(shí)，數(shù)據(jù)對(duì)象總是朝著數(shù)據(jù)分布密度高的區(qū)域擴(kuò)張，最終形成一個(gè)可視化序列。在對(duì)鄰域內(nèi)數(shù)據(jù)進(jìn)行擴(kuò)張時(shí)，每一次鄰域查詢都要掃描整個(gè)數(shù)據(jù)表，本文中引入鄰接表來(lái)存儲(chǔ)鄰域點(diǎn)，這樣在找到核心對(duì)象后只要

3、遍歷一次鄰域就可以創(chuàng)建出鄰接表方便后面的查詢。同時(shí)加上一個(gè)NM指針始終指向種子隊(duì)列里可達(dá)距離最小的點(diǎn)，對(duì)可達(dá)隊(duì)列的更新策略進(jìn)行優(yōu)化。
　　在動(dòng)態(tài)增加的數(shù)據(jù)庫(kù)環(huán)境下，基于LOF算法的改進(jìn)型IncLOF算法在異常數(shù)據(jù)挖掘中克服了二次挖掘時(shí)要重新計(jì)算數(shù)據(jù)集所有數(shù)據(jù)對(duì)象的局部離群因子的高時(shí)間復(fù)雜度問(wèn)題，取得良好效果。當(dāng)向數(shù)據(jù)庫(kù)中同時(shí)添加多個(gè)數(shù)據(jù)對(duì)象時(shí)，受影響數(shù)據(jù)對(duì)象的增多，其算法的時(shí)間效率下降很快。本文提出一種新的異常數(shù)據(jù)挖掘算法，先用改