基于衰減窗口與剪枝鏈表樹的高維數(shù)據(jù)流聚類算法研究.pdf

1、近幾年來,隨著以互聯(lián)網(wǎng)為代表的計算機信息技術(shù)的普及,數(shù)據(jù)呈飛速增長的趨勢,人們積累的信息量達到了TB級,甚至PB級。在現(xiàn)實生活中,許多數(shù)據(jù)是以動態(tài)的“連續(xù)數(shù)據(jù)流”的形式出現(xiàn)的,它不同于傳統(tǒng)的數(shù)據(jù)被存在靜態(tài)介質(zhì)中,可以被多次訪問。數(shù)據(jù)流的特點是:(1)數(shù)據(jù)規(guī)模大；(2)維數(shù)高；(3)到達速度快；(4)潛在無序性；(5)每個元素只能被訪問一次。因此,許多傳統(tǒng)的聚類算法已經(jīng)無法獲得有意義的聚類結(jié)果,針對高維數(shù)據(jù)流普遍存在的“維度災難"問題,本

2、文將重點圍繞如下幾個問題展開:
　　 (1)如何設(shè)計有效的聚類算法,適應持續(xù)快速到來的高維數(shù)據(jù)流?
　　 (2)在聚類過程中,如何發(fā)現(xiàn)更多的聚類,提高聚類效果?
　　 (3)在聚類過程中,如何降低內(nèi)存消耗?
　　 (4)在聚類過程中,如何提高算法的效率,減少算法的運行時間?
　　 本文在對經(jīng)典的數(shù)據(jù)流聚類算法進行學習和研究后,針對經(jīng)典算法存在的不足,進行了改進和提高,提出了一種新的高維數(shù)據(jù)流聚類算

3、法。主要工作包括以下三個方面:
　　 (1)為了有效地控制內(nèi)存規(guī)模,在聚類過程中減少內(nèi)存消耗,本文提出了一種概要數(shù)據(jù)結(jié)構(gòu)一剪枝鏈表樹,簡稱PL-Tree,用來保存數(shù)據(jù)流的摘要信息,在有任何聚類請求時,能夠在線輸出近似的聚類結(jié)果。本文采用核心技術(shù)數(shù)據(jù)淘汰和剪枝策略,有效地控制了內(nèi)存規(guī)模,提高了算法的運行效率。
　　 (2)為了設(shè)計一種高效的聚類算法,適應持續(xù)到來的高維數(shù)據(jù)流,本文基于PL-Tree概要數(shù)據(jù)結(jié)構(gòu),提出了一種基