網(wǎng)格環(huán)境下資源管理關(guān)鍵技術(shù)的研究.pdf

1、隨著計算機性能的不斷提高和網(wǎng)絡通訊技術(shù)的迅猛發(fā)展，應用需求日益朝著高性能、大規(guī)模、多樣性、多功能的方向發(fā)展，要求將地理上分布的、異構(gòu)的各種高性能計算資源、存儲資源、數(shù)據(jù)資源和其它特殊資源通過高速網(wǎng)絡連接起來，實現(xiàn)高性能聯(lián)合計算，共同完成重大應用問題，即廣域高性能的元計算技術(shù)，也稱為網(wǎng)格計算技術(shù)[2][3][4]。不同于一般傳統(tǒng)的分布式計算，網(wǎng)格計算著重于大規(guī)模的資源共享、創(chuàng)新應用，并在一定情況下定位于高性能計算，已經(jīng)成為一個重要領(lǐng)域。在

2、網(wǎng)格計算環(huán)境中，資源是分散在各個不同地域和管理域中，由不同的組織擁有和操作，并且在使用策略和安全機制上各不相同，即不同站點可能會使用不同的局部資源管理系統(tǒng)。同時，很多應用需要同時使用多個站點上的資源，站點自治性和分配資源時可能出現(xiàn)的故障需要一種特殊機制來同時分配位于多個站點上的資源。因此，如何對網(wǎng)格計算環(huán)境中的資源進行管理是實現(xiàn)高性能聯(lián)合計算，共同完成重大應用問題的關(guān)鍵。 資源管理是網(wǎng)格計算的核心問題，它包括資源的組織、定位、發(fā)

3、現(xiàn)、調(diào)度、分配、確認、進程創(chuàng)建以及準備所需資源的其它活動。資源管理提供了管理的功能和概念，使集群能夠被當作單一資源，系統(tǒng)管理員根據(jù)預先定義好的標準通過資源管理軟件確保資源的合理分配和使用，以最終達到資源共享的目的。從為用戶提供方便、高效的服務的角度來看，它與傳統(tǒng)的分布式計算環(huán)境或集群計算環(huán)境下的資源管理系統(tǒng)類似，具備以下三種功能：作業(yè)管理、任務調(diào)度和資源管理，即用戶通過作業(yè)管理功能向網(wǎng)格系統(tǒng)提交作業(yè)，為作業(yè)指定所需資源，刪除作業(yè)并監(jiān)測作

4、業(yè)的運行狀態(tài)；用戶提交的作業(yè)由任務調(diào)度功能按照作業(yè)包含的各個任務的類型、所需資源、可用資源等情況安排運行日程和策略；資源管理功能確定并監(jiān)測網(wǎng)格資源狀況，收集作業(yè)運行時資源占用情況等信息。然而，由于網(wǎng)格系統(tǒng)的分布性、異構(gòu)性和動態(tài)性，使得網(wǎng)格資源管理比分布式計算環(huán)境或集群計算環(huán)境下的資源管理更加復雜，不僅要支持跨組織或管理域的任務調(diào)度，實時監(jiān)控資源和作業(yè)執(zhí)行的狀態(tài)，而且要維護局部的站點自治，提供相應的QoS支持。因此需要建立適應于網(wǎng)格這種復

5、雜環(huán)境的特殊的資源管理系統(tǒng)模型，研究其特征及功能，為具體實現(xiàn)網(wǎng)格資源管理系統(tǒng)提供必要的指導，從而滿足網(wǎng)格系統(tǒng)的用戶服務需求和為網(wǎng)格系統(tǒng)其它服務組件提供支持。 由此可見，在資源管理中，面臨的有唯一驗證、授權(quán)、資源訪問、資源發(fā)現(xiàn)以及資源調(diào)度等挑戰(zhàn)。網(wǎng)格中常用的資源包括：處理能力、存儲系統(tǒng)、目錄、網(wǎng)格資源、分布式文件系統(tǒng)、分布式計算機池、計算機集群等。由于網(wǎng)格在邏輯上連接了屬于不同的所有者或組織的多重資源，因而好的資源管理系統(tǒng)在最終網(wǎng)

6、格是否成功上起著重要的作用。但由于缺乏統(tǒng)一的網(wǎng)格資源管理標準，統(tǒng)一的管理協(xié)議和原語的對外接口，網(wǎng)格研究仍處于實驗階段，在實現(xiàn)網(wǎng)格資源節(jié)點關(guān)鍵功能單元上仍面臨著許多困難，尤其是在支持QoS和大規(guī)模分布式資源查找方面。為趕上國外的研究步伐，彌補我國在該研究領(lǐng)域的不足，拉近我國與國際水平間的差距，開展網(wǎng)格資源管理及其關(guān)鍵技術(shù)的研究已迫在眉睫。本論文旨在對網(wǎng)格資源管理中主要的功能進行前瞻性、探索性的研究，希望能對網(wǎng)格計算的研究工作起到積極有益的

7、指導和推動作用。 本論文從理論與實踐的結(jié)合上，綜合論述及分析了國內(nèi)外網(wǎng)格計算資源管理與調(diào)度的發(fā)展狀況及其技術(shù)特征，指出了相關(guān)研究工作的局限性。將交叉學科的方法引入本研究中，對網(wǎng)格計算資源管理與調(diào)度的若干關(guān)鍵問題進行了研究與探索，試圖為網(wǎng)格計算資源管理與調(diào)度系統(tǒng)的設計提供一種新的思路和途徑。其主要研究工作及貢獻可體現(xiàn)在以下幾個方面： 1、針對網(wǎng)格計算資源管理與調(diào)度的特性，將市場經(jīng)濟學模型與網(wǎng)格計算資源管理與調(diào)度問題結(jié)合起來

8、，基于市場經(jīng)濟模型將經(jīng)濟的概念引入網(wǎng)格資源管理中，既利用了層次模型中相對成熟的技術(shù)又明確強調(diào)了以市場競爭為基礎(chǔ)的資源管理和分配，在市場經(jīng)濟環(huán)境中，資源消費者希望最小化費用，而資源所有者希望最大化投資回報。在對已有的基于市場經(jīng)濟的網(wǎng)格資源管理模型作出了一些改進的同時，突出了價格機制在市場中的作用，提出了一種基于市場機制的網(wǎng)格資源分配方法：以均衡理論和第二價格競拍機制為基礎(chǔ)，依靠市場機制，實現(xiàn)計算網(wǎng)格資源的優(yōu)化分配。首先描述了基于市場的資源

9、分配框架，它包括3個層次：資源層、市場層和消費者層；同時采用第二價格競拍規(guī)則作為資源分配策略，滿足了網(wǎng)格對分配系統(tǒng)可擴展性和全局最優(yōu)調(diào)度的需求。與Globus，Legion，WebFlow等計算網(wǎng)格系統(tǒng)中使用的資源分配技術(shù)相比，基于市場價格競拍機制的資源管理模型具有如下的優(yōu)點： (1)資源分配分層實施，降低了資源分配的執(zhí)行開銷，從而提高了系統(tǒng)的適應性、可延展性(extensibility)和可擴展性(scalability)；

10、 (2)以經(jīng)濟學中的一般均衡理論為理論基礎(chǔ)，遵循第二價格競拍原理，證明了均衡狀態(tài)是兼顧效率和公平的資源分配最佳境界，可以使實際的資源分配結(jié)果逼近均衡狀態(tài)，從而使資源分配達到最優(yōu)； (3)通訊時間及費用少，競拍效率高。 2、網(wǎng)格環(huán)境中使用經(jīng)濟學原理進行資源管理和調(diào)度是網(wǎng)格從理論研究向?qū)嶋H應用所必須跨越的一步。在計算經(jīng)濟模式下，為調(diào)節(jié)網(wǎng)格資源供需分配提出了一個基于用戶服務需求的計算經(jīng)濟框架。這個框架通過經(jīng)濟學驅(qū)動截止期

11、和預算約束根據(jù)用戶的需求，分配資源到應用任務。提出了一種基于計算經(jīng)濟的網(wǎng)格資源動態(tài)調(diào)度算法，主要針對網(wǎng)格資源由于計算能力不同而花費代價不同而提出，利用啟發(fā)式搜索技術(shù)，綜合考慮了任務的截止期、預算約束、最早可能執(zhí)行時間等不同因素，通過一個新的資源分配策略實現(xiàn)了時間-代價的最優(yōu)化，提高了資源調(diào)度的成功率。 3、針對網(wǎng)格資源動態(tài)、分布和異構(gòu)的特點，需要有一種不依賴集中控制、分布式、可擴展、能適應資源動態(tài)變化并且定位性能好的資源查找算法

12、。研究提出了小世界聚類的網(wǎng)格資源查找算法(SWC)算法。將網(wǎng)格空間分為多個簇，按照節(jié)點的聚類度確定聚類中心，采用聚類中心優(yōu)先的分級擴散方法從全局角度對網(wǎng)格資源進行搜索。為了提高算法的可擴展性，在路由表中隨機插入連接遠距離節(jié)點的快捷連接。仿真測試表明：SWC算法具有良好的搜索能力、可擴展性。未來的研究根據(jù)節(jié)點和服務分布的均勻和非平衡分布性，動態(tài)性以及網(wǎng)格拓撲結(jié)構(gòu)等條件，測試和分析其對節(jié)點聚類度的影響。同時利用資源的QoS進一步對網(wǎng)格進行聚

13、類，增加聚類度，進一步減小平均路徑長度，提高搜索效率。 4、隨著網(wǎng)格業(yè)務的廣泛擴展，服務質(zhì)量(QoS)將變成衡量網(wǎng)格是否成功的重要因素，如何從企業(yè)系統(tǒng)、服務提供者系統(tǒng)和用戶系統(tǒng)上獲取資源，如何能及時有效地響應用戶請求，如何能實時地獲得服務實例運行狀態(tài)以及如何能保證用戶應用的服務質(zhì)量，并進行動態(tài)組合的服務質(zhì)量保障成了本質(zhì)問題，網(wǎng)格服務的功能與性能評價將不只是采用傳統(tǒng)計算機的評價標準(如速度、加速比、性價比等)，而以用戶滿意度為目標

14、，用服務質(zhì)量來衡量。本論文從資源預留、接納控制以及QoS調(diào)整等幾方面進行系統(tǒng)的性能分析和理論研究。首先推導相應的QoS算法，進而得出相應的QOS的理論模型。再通過迭代方法反復論證任務的優(yōu)先級、網(wǎng)絡帶寬、資源的使用壽命、服務水平(SLA)等關(guān)鍵參數(shù)對QoS性能的影響，提出基于熵的網(wǎng)格資源QoS優(yōu)化策略，引入了網(wǎng)格服務的QoS量化的概念，提出了衡量網(wǎng)格資源服務QoS穩(wěn)定性的新尺度——熵，并利用熵來選擇QoS穩(wěn)定性好的資源，提高了資源的可靠性