異構(gòu)分布計(jì)算系統(tǒng)可靠性分析及優(yōu)化方法研究.pdf

1、隨著大規(guī)?？茖W(xué)計(jì)算應(yīng)用的普及以及并行數(shù)據(jù)處理規(guī)模的不斷增大，以網(wǎng)格和并行計(jì)算為基礎(chǔ)的分布計(jì)算系統(tǒng)已成為信息技術(shù)和通信技術(shù)的重要發(fā)展方向，尤其是通過(guò)互聯(lián)網(wǎng)絡(luò)將大量廉價(jià)、處理能力和可靠性等都相互異構(gòu)的計(jì)算單元進(jìn)行連接所構(gòu)成的數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。異構(gòu)分布計(jì)算平臺(tái)也成為中國(guó)戰(zhàn)略性新興產(chǎn)業(yè)的重要組成部分，其中系統(tǒng)性能和可靠性優(yōu)化問(wèn)題已成為國(guó)內(nèi)外研究的熱點(diǎn)。但是系統(tǒng)和應(yīng)用規(guī)模逐漸增大的同時(shí)，并行應(yīng)用對(duì)系統(tǒng)長(zhǎng)期可靠運(yùn)行的時(shí)

2、間需求也越來(lái)越高。此外，由于異構(gòu)系統(tǒng)下計(jì)算資源的動(dòng)態(tài)加入和退出，并行應(yīng)用程序輸入?yún)?shù)的變化以及異構(gòu)系統(tǒng)環(huán)境等因素將引起并行應(yīng)用程序的執(zhí)行出現(xiàn)不確定性和不可控性等安全威脅。因此，各并行任務(wù)能否可靠地運(yùn)行是評(píng)價(jià)分布計(jì)算系統(tǒng)優(yōu)劣的關(guān)鍵指標(biāo)之一。尤其當(dāng)異構(gòu)分布計(jì)算系統(tǒng)在時(shí)間和空間維度存在關(guān)聯(lián)失效背景下，如何分析系統(tǒng)可靠性以及通過(guò)任務(wù)調(diào)度對(duì)并行應(yīng)用程序執(zhí)行過(guò)程的可靠性進(jìn)行優(yōu)化等問(wèn)題。
　　本研究主要內(nèi)容包括：⑴擴(kuò)展現(xiàn)有分布計(jì)算系統(tǒng)可靠性分析

3、方法，提出關(guān)聯(lián)失效模式下異構(gòu)分布計(jì)算系統(tǒng)可靠性評(píng)估方法。目前的異構(gòu)分布計(jì)算系統(tǒng)存在大規(guī)模資源共享、廣域通信以及多資源合作，而很多傳統(tǒng)可靠性分析方法都建立在計(jì)算資源間的失效是相互獨(dú)立的假設(shè)基礎(chǔ)之上，沒(méi)有考慮計(jì)算資源在時(shí)間和空間維度上可能存在的關(guān)聯(lián)失效，尤其隨著納米級(jí)大規(guī)模集成電路的快速發(fā)展，高能電磁輻射引起計(jì)算節(jié)點(diǎn)關(guān)聯(lián)失效的概率越來(lái)越大。根據(jù)分布計(jì)算系統(tǒng)資源的失效特征建立系統(tǒng)失效模型，提出關(guān)聯(lián)失效模式下基于泰勒展開(kāi)式的計(jì)算系統(tǒng)可靠性度量方

4、法，并從系統(tǒng)結(jié)構(gòu)角度分析共因失效對(duì)系統(tǒng)可靠性的影響程度，通過(guò)仿真實(shí)驗(yàn)驗(yàn)證影響系統(tǒng)可靠度和平均無(wú)故障時(shí)間的主要因素。在此基礎(chǔ)上，進(jìn)一步提出冗余系統(tǒng)和靜態(tài)失效系統(tǒng)可靠性分析方法，并通過(guò)仿真實(shí)驗(yàn)驗(yàn)證算法的性能和有效性。⑵針對(duì)資源存在異構(gòu)性、動(dòng)態(tài)性和廣域分布性等特點(diǎn)的大規(guī)模分布計(jì)算系統(tǒng)，提出基于任務(wù)期望執(zhí)行時(shí)間和可靠性開(kāi)銷(xiāo)的表調(diào)度算法。分析任意架構(gòu)網(wǎng)絡(luò)模型(APN)下關(guān)聯(lián)任務(wù)之間最可靠通信鏈路的選擇問(wèn)題，并提出考慮可靠性開(kāi)銷(xiāo)的最優(yōu)路徑選擇算法(

5、OCPR)。在此基礎(chǔ)上通過(guò)添加具有預(yù)測(cè)功能的分布計(jì)算節(jié)點(diǎn)選擇策略，以及考慮系統(tǒng)異構(gòu)性和可靠性開(kāi)銷(xiāo)的任務(wù)優(yōu)先級(jí)計(jì)算方法，設(shè)計(jì)分布計(jì)算系統(tǒng)環(huán)境下可靠性驅(qū)動(dòng)的任務(wù)調(diào)度算法(RDLS)。仿真實(shí)驗(yàn)結(jié)果表明所提算法在相同時(shí)間復(fù)雜度條件下，相對(duì)于經(jīng)典的HEFT和RASD算法具有更優(yōu)的調(diào)度性能和可靠性指標(biāo)。⑶針對(duì)實(shí)際分布計(jì)算系統(tǒng)運(yùn)行過(guò)程中所收集的開(kāi)源失效數(shù)據(jù)集FTA，從時(shí)間和空間角度對(duì)計(jì)算資源的關(guān)聯(lián)失效進(jìn)行建模，其中空間角度又分為物理空間關(guān)聯(lián)失效和邏輯

6、空間關(guān)聯(lián)失效兩種失效模型，并利用馬爾科夫隨機(jī)場(chǎng)和Gibbs分布之間存在的等價(jià)理論對(duì)所提出的關(guān)聯(lián)失效模型進(jìn)行理論分析和形式化建模。對(duì)關(guān)聯(lián)失效進(jìn)行建模的目的是將分布計(jì)算系統(tǒng)內(nèi)的節(jié)點(diǎn)進(jìn)行關(guān)聯(lián)組劃分，每個(gè)組內(nèi)的計(jì)算節(jié)點(diǎn)具有強(qiáng)關(guān)聯(lián)性，從而為選擇冗余節(jié)點(diǎn)來(lái)提高任務(wù)執(zhí)行可靠性提供依據(jù)，避免選擇同一關(guān)聯(lián)失效組內(nèi)的多個(gè)計(jì)算節(jié)點(diǎn)作為同一任務(wù)的副本計(jì)算節(jié)點(diǎn)。通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證了所提關(guān)聯(lián)失效模型的有效性和可行性。⑷針對(duì)計(jì)算資源存在關(guān)聯(lián)失效的分布計(jì)算系統(tǒng)和具

7、有截止時(shí)間約束的并行DAG應(yīng)用程序，提出基于任務(wù)截止時(shí)間劃分的關(guān)鍵路徑模型和子任務(wù)截止時(shí)間分配算法(SDA)。在此基礎(chǔ)上，進(jìn)一步提出基于可靠性驅(qū)動(dòng)的貪心任務(wù)復(fù)制算法(RDGD)和基于費(fèi)用驅(qū)動(dòng)的任務(wù)復(fù)制算法(CDD)，在選擇復(fù)本資源進(jìn)行任務(wù)分配以提高應(yīng)用程序執(zhí)行可靠性時(shí)，避免同一個(gè)子任務(wù)分配給具有關(guān)聯(lián)失效特性的計(jì)算節(jié)點(diǎn)集合內(nèi)的多個(gè)節(jié)點(diǎn)，以最大化子任務(wù)執(zhí)行結(jié)果的可靠性。實(shí)驗(yàn)結(jié)果顯示基于截止時(shí)間劃分的關(guān)鍵路徑和基于不同目標(biāo)的可靠性優(yōu)化調(diào)度算法