數(shù)據(jù)流處理系統(tǒng)中查詢(xún)?nèi)蝿?wù)管理的研究與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著計(jì)算機(jī)通信和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，在交通管理、網(wǎng)絡(luò)監(jiān)控與安全、股票行情分析、電信數(shù)據(jù)管理、傳感器網(wǎng)絡(luò)查詢(xún)等諸多領(lǐng)域產(chǎn)生了許多基于數(shù)據(jù)流的應(yīng)用。因?yàn)檫@些應(yīng)用處理的都是大規(guī)模的數(shù)據(jù)，所以需要把多個(gè)不同的處理節(jié)點(diǎn)連接起來(lái)構(gòu)成分布式處理環(huán)境，并把對(duì)數(shù)據(jù)進(jìn)行處理的查詢(xún)?nèi)蝿?wù)均衡的分配到各處理節(jié)點(diǎn)上，實(shí)現(xiàn)系統(tǒng)的負(fù)載平衡。由于數(shù)據(jù)流數(shù)據(jù)的隨機(jī)性和不可預(yù)知性，使得傳統(tǒng)分布式的負(fù)載管理技術(shù)已經(jīng)達(dá)不到要求，因此如何對(duì)查詢(xún)?nèi)蝿?wù)進(jìn)行管理，使整個(gè)數(shù)據(jù)流處

2、理系統(tǒng)的負(fù)載達(dá)到平衡則成為了當(dāng)前研究的一個(gè)熱點(diǎn)。
　　本文主要解決的問(wèn)題是如何對(duì)分布式數(shù)據(jù)流處理系統(tǒng)中查詢(xún)?nèi)蝿?wù)進(jìn)行管理使整個(gè)系統(tǒng)中處理節(jié)點(diǎn)的負(fù)載平衡。分別從靜態(tài)初始化和動(dòng)態(tài)運(yùn)行這兩個(gè)方面來(lái)進(jìn)行研究，主要工作和研究成果如下：
　　1.為了解決系統(tǒng)中查詢(xún)?nèi)蝿?wù)的靜態(tài)負(fù)載分配問(wèn)題，通過(guò)研究現(xiàn)有算法，提出了一種基于最優(yōu)2-交換的靜態(tài)負(fù)載平衡算法，此算法不但考慮了各處理節(jié)點(diǎn)之間處理能力的差異性，而且還改進(jìn)了啟發(fā)式算法的缺點(diǎn)，將系統(tǒng)中查詢(xún)

3、任務(wù)均勻地分配到各處理節(jié)點(diǎn)，使任務(wù)的分配更加合理。
　　2.為了解決數(shù)據(jù)流處理系統(tǒng)中在運(yùn)行的過(guò)程中出現(xiàn)的多個(gè)處理節(jié)點(diǎn)間負(fù)載不平衡的現(xiàn)象，通過(guò)研究現(xiàn)有算法，提出了一種基于時(shí)延和負(fù)載的動(dòng)態(tài)負(fù)載平衡策略，此策略考慮處理節(jié)點(diǎn)的負(fù)載和處理節(jié)點(diǎn)間的數(shù)據(jù)流量，并且采用雙閾值把處理節(jié)點(diǎn)分為高、低、正常三種狀態(tài)，只對(duì)處于高負(fù)載狀態(tài)的處理節(jié)點(diǎn)和低負(fù)載狀態(tài)的處理節(jié)點(diǎn)之間做查詢(xún)?nèi)蝿?wù)遷移操作，減少了用戶(hù)需求的處理時(shí)延，提高了系統(tǒng)的穩(wěn)定性。
　　3.采