大規(guī)模集群系統(tǒng)的任務(wù)調(diào)度和資源管理.pdf

1、集群技術(shù)是分布式計(jì)算的一個(gè)重要發(fā)展方向,目前,國(guó)外對(duì)它的研究非常深入,但國(guó)內(nèi)還處于起步階段。對(duì)于該領(lǐng)域的研究具有非常重要的意義,因?yàn)樗c國(guó)家經(jīng)濟(jì)建設(shè)的眾多部門都有密切關(guān)系,在提高生產(chǎn)力、促進(jìn)經(jīng)濟(jì)發(fā)展上具有很大的潛力。現(xiàn)在隨著技術(shù)的發(fā)展,集群的規(guī)模變得越來(lái)越大,已有集群的規(guī)模達(dá)到了上千節(jié)點(diǎn),在這種大規(guī)模集群環(huán)境下如何對(duì)集群資源進(jìn)行有效的管理,如何對(duì)并行計(jì)算任務(wù)進(jìn)行調(diào)度是重要的研究方向。因此,本文將重點(diǎn)研究集群的資源管理和任務(wù)調(diào)度。

2、 首先,在研究了現(xiàn)有集群資源管理系統(tǒng)的基礎(chǔ)上,本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)集群資源管理系統(tǒng),該系統(tǒng)采用了分層分域的體系結(jié)構(gòu),避免分布式體系結(jié)構(gòu)中網(wǎng)絡(luò)消息過(guò)多的問(wèn)題,減輕了集中式的單節(jié)點(diǎn)瓶頸問(wèn)題,提高了獲取資源信息的實(shí)時(shí)性,具有良好的可擴(kuò)展性,適用于不同規(guī)模的集群環(huán)境,并且可以用于多集群。 然后,本文對(duì)DAG并行任務(wù)調(diào)度算法進(jìn)行了研究,以調(diào)度長(zhǎng)度最小(即執(zhí)行時(shí)間最短)和減少所需的處理機(jī)數(shù)目為目標(biāo),設(shè)計(jì)了一個(gè)基于動(dòng)態(tài)關(guān)鍵任務(wù)復(fù)制的多處理器分配