基于滑動(dòng)窗口的數(shù)據(jù)流預(yù)測(cè)聚集查詢處理的研究.pdf

1、近年來，隨著金融、傳感器網(wǎng)絡(luò)、股票分析、氣象監(jiān)測(cè)等領(lǐng)域的不斷發(fā)展，一種流動(dòng)的無限的數(shù)據(jù)引起了數(shù)據(jù)庫(kù)界的廣泛關(guān)注，從而使數(shù)據(jù)流管理技術(shù)成為當(dāng)前的研究熱點(diǎn)。根據(jù)數(shù)據(jù)流的特點(diǎn)及應(yīng)用對(duì)數(shù)據(jù)流相關(guān)技術(shù)進(jìn)行研究不僅拓寬了數(shù)據(jù)庫(kù)研究的領(lǐng)域，而且還有重要的學(xué)術(shù)價(jià)值和應(yīng)用前景。本文對(duì)數(shù)據(jù)流預(yù)測(cè)聚集查詢中的若干關(guān)鍵技術(shù)進(jìn)行了深入的探索和研究。
　　 首先，本文簡(jiǎn)單介紹了數(shù)據(jù)流的特點(diǎn)、應(yīng)用以及研究背景和現(xiàn)狀；分析了直方圖、隨機(jī)采樣等數(shù)據(jù)流約簡(jiǎn)技術(shù)；對(duì)

2、回歸模型、指數(shù)平滑模型等數(shù)據(jù)流預(yù)測(cè)技術(shù)進(jìn)行了闡述；對(duì)比分析了數(shù)據(jù)流管理系統(tǒng)與傳統(tǒng)數(shù)據(jù)庫(kù)，并對(duì)典型數(shù)據(jù)流原型系統(tǒng)進(jìn)行了介紹。
　　 然后，通過對(duì)數(shù)據(jù)流特點(diǎn)與應(yīng)用的研究，進(jìn)而在比較現(xiàn)有各種數(shù)據(jù)流預(yù)測(cè)模型的基礎(chǔ)之上，一種大量用于語(yǔ)音識(shí)別領(lǐng)域的隱馬爾可夫模型被引入，設(shè)計(jì)了一種其于滑動(dòng)窗口的新預(yù)測(cè)模型——馬爾可夫滑動(dòng)窗口預(yù)測(cè)模型。在該模型中提出了一種叫聚集特征壓縮直方圖的改進(jìn)的數(shù)據(jù)流約簡(jiǎn)技術(shù)，并在此基礎(chǔ)上得到了一種優(yōu)化的聚集查詢操作。

3、r>　　 接著，針對(duì)傳統(tǒng)的數(shù)據(jù)流預(yù)測(cè)建模方法如曲線擬合、線性回歸分析等只能適應(yīng)多項(xiàng)式函數(shù)，對(duì)非線性函數(shù)的無效性等問題，基于本文的預(yù)測(cè)模型設(shè)計(jì)了相應(yīng)的處理方法。針對(duì)網(wǎng)絡(luò)流量預(yù)測(cè)聚集查詢處理這一實(shí)例，來介紹參數(shù)初始化、模型訓(xùn)練、模型評(píng)估等數(shù)據(jù)流預(yù)測(cè)聚集查詢的處理過程。
　　 最后，基于上述的預(yù)測(cè)模型和處理方法，在當(dāng)前著名開源數(shù)據(jù)流處理引擎Borealis的基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)流預(yù)測(cè)聚集查詢功能。采用網(wǎng)絡(luò)流量庫(kù)中的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，通過對(duì)