基于能耗和成本的資源管理與調度策略研究.pdf

1、大規(guī)模計算系統(tǒng)采用高性能網絡互聯(lián)和并行處理方式顯著提高了系統(tǒng)性能，不僅在石油勘探、國防航天、氣象預報、軍事模擬、工業(yè)設計等領域廣泛應用，而且在金融證券、電信行業(yè)、政府信息化、教育、網絡游戲等新興領域的需求也迅猛增長，是人類探索未知世界的最有力武器。
　　 隨著系統(tǒng)規(guī)模的不斷擴大，高端計算從單一追求高性能向高效能發(fā)展。鑒于高端計算系統(tǒng)高昂的運行成本、低可靠性和對環(huán)境的影響，能耗管理不僅是電池驅動設備的研究熱點，也成為數據和計算中心

2、運行的關鍵問題。隨著技術創(chuàng)新，服務器的初始購置成本趨于下降，資本支出、營業(yè)費用和環(huán)境影響等的能耗相關成本卻在持續(xù)上升。因此，提高功耗效率、實現綠色計算，是計算機和IT行業(yè)的技術發(fā)展潮流。
　　 能耗指標作為一種系統(tǒng)需求，一方面受應用執(zhí)行效率的影響，反過來其也會以資源或者服務使用成本的形式來影響用戶。資源或服務使用成本的反映形式之一為價格。目前定價機制普遍缺少精確的數學模型，且很少與能耗指標相關聯(lián)。這導致既不能保證系統(tǒng)能耗的有效降

3、低，也不能優(yōu)化用戶的資源或服務使用成本，損害了市場雙方的利益。因此，基于定價的成本優(yōu)化管理是十分必要的。另外，從全局來看，整個系統(tǒng)資源的負載不均衡也會導致系統(tǒng)的運行成本增加、效能降低;同時，由于缺少協(xié)同，用戶對優(yōu)質資源的使用沖突，也使得用戶資源或服務使用成本不降反增。因此，基于協(xié)作的負載均衡研究也是降低雙方成本耗費的必要手段之一。
　　 系統(tǒng)效能的高低不僅依賴于系統(tǒng)硬件，很大程度上也由部署在體系架構上的資源管理系統(tǒng)決定。資源管理

4、主要負責響應用戶的資源請求、有效調度任務和合理分配資源，以保證用戶的性能需求以及資源的使用效率。任務調度是資源管理的核心，為了優(yōu)化某個目標函數，其在一組具有任意特性的處理機中對任務集合進行排序和資源分配。多任務的調度問題鑒于其NP復雜性、環(huán)境的多樣性、應用的新需求和調度目標的折中性等，一直沒有得到很好的解決，尤其在IT能耗成為影響全球能源和環(huán)境重要因素的背景下。
　　 本課題在國家863計劃和自然科學基金項目的支持下，針對大規(guī)模

5、計算系統(tǒng)高效能需求的能耗和成本管理問題，以資源管理和任務調度為手段，通過分析功耗感知的資源管理方法、任務調度模型和當前調度算法的局限性，抽象出幾個頗具挑戰(zhàn)性的調度問題。這些調度問題的解決可有效彌補當前調度研究的局限和空白，有效兼顧不同運行環(huán)境的差異性、不同調度技術的單一性、不同應用的計算密集或者數據密集特性，以及不同QoS約束與性能指標的沖突性等問題。隨著IT能耗持續(xù)上升、云計算商業(yè)模式日益普及和系統(tǒng)規(guī)模的不斷擴大，圍繞節(jié)能減排、市場模

6、型和調度協(xié)同等問題的資源管理和調度策略研究具有重大的理論和應用價值。
　　 針對基于能耗和成本的資源管理與調度，開展了如下研究和創(chuàng)新工作:
　　 首先是基于獨立任務的能耗感知調度。隨著新技術迅速發(fā)展和系統(tǒng)更新?lián)Q代，異構計算系統(tǒng)較同構計算系統(tǒng)更為普遍通用，但其在最大程度發(fā)揮并行處理優(yōu)勢的同時也增加了應用執(zhí)行的復雜性和多樣性。在分析已有調度算法和常用功耗感知資源管理技術優(yōu)缺點的基礎上，本文提出了獨立任務在異構系統(tǒng)中基于動態(tài)電

7、源管理技術的能耗感知時限調度算法。該算法面向高性能計算領域的長時間運行獨立任務，不同于實時系統(tǒng)的周期性任務，也區(qū)別于類似http請求的短時間處理任務。通過分析異構多計算機系統(tǒng)的調度模型和兼顧應用的時限約束條件，首先證明該問題的NP復雜性，將其形式化并轉換為整數線性規(guī)劃模型，并設計了一個基于動態(tài)電源管理的高效時限調度算法，不僅從理論上給出其最差下界的求證過程，還用實驗驗證了其性能，有效彌補了只使用動態(tài)電壓頻率調整技術解決該類問題的片面性。

8、實驗表明，提出的算法具有與最優(yōu)算法類似的能耗效率;與最早交期算法(EDD)相比，當時限值松弛時，平均節(jié)省能耗2％-20％，當時限值緊縮時，平均節(jié)省能耗5％-44％。為促進算法的市場化應用，基于提出的單位成本度量，本文還設計了將成本與能耗相關聯(lián)的定價機制，并為用戶提供了調節(jié)使用成本的手段，極大提高了用戶節(jié)能的積極性。
　　 其次，是基于依賴任務的能耗感知調度。對高度數據密集型工作負載的支持正成為下一代計算和數據中心的關鍵技術，因此

9、，提出適合該類應用特征的特定調度框架和算法是亟待解決的問題。為解決已有依賴任務能耗感知調度在調度技術、通信能耗優(yōu)化、系統(tǒng)異構性和靜態(tài)能耗等方面的局限性，本文提出了數據密集應用在不同環(huán)境下的能耗感知調度算法。首先研究同構計算系統(tǒng)，建立相應的系統(tǒng)模型、應用模型和能耗模型，提出面向數據密集應用的能耗感知調度框架。然后以框架為基準，進一步平衡應用的優(yōu)先約束性、系統(tǒng)的異構性和不同性能指標沖突性的關系，提出數據密集應用在兼顧計算資源和通信資源異構的

10、環(huán)境中的能耗感知調度方案。對同構計算系統(tǒng)，根據是否支持動態(tài)電壓頻率調整技術，建立不同的系統(tǒng)模型，對其調度分別予以討論。數據密集應用具有海量數據傳輸，其復雜的優(yōu)先約束關系、通信時間、通信能耗均不可忽略，因此引入考慮降低通信成本的方法，如任務復制、任務聚類、動態(tài)映射參數等，來適應該領域的特定需求。隨著芯片微型化和多核技術的發(fā)展，泄漏電流引起的靜態(tài)功耗由于單位工藝尺寸內電子組件數的增加而呈指數增長，因此引入粗粒度或細粒度的動態(tài)電源管理技術來降

11、低不可忽略的靜態(tài)能耗。另外，算法的調度性能和能耗指標是相互沖突的，本文各種技術的引入和實施均對執(zhí)行時間和能耗指標進行了有效的限定折中。實驗表明，各種調度框架和方案的提出，既適應了環(huán)境和應用的特征，又可高效地保證調度目標的實現。
　　 再次，研究基于定價的成本優(yōu)化調度。系統(tǒng)的能耗指標以資源或服務使用成本的形式反映給用戶。為保證系統(tǒng)和用戶雙方的利益，本文以市場驅動的執(zhí)行引擎調度框架為基礎，提出基于邊際定價和成本梯度的成本優(yōu)化調度算法

12、。該算法從用戶角度出發(fā)，提出對資源分配、提供者利潤和成本調度均有重要影響的定價機制。該定價機制利用經濟學的邊際原理，建立了精確的數學模型，其兼顧多個資源的有限使用特性，取得了較高的資源節(jié)點收益和資源利用率。成本優(yōu)化調度則以動態(tài)的方式實施全圖調度，克服了任務圖劃分策略的弊端，具有較好的成本優(yōu)化能力。成本梯度因子通過查找以最大時間降低獲得最小成本增加的服務，在算法實施陷入困境時幫助快速地找到近似最優(yōu)服務。在算法執(zhí)行過程中，還使用了有效的剪枝

13、策略，降低了調度的計劃時間。另外，在分析成本優(yōu)化映射問題的過程中，提出了一種新穎的矩陣樹形擴展分析方法，使問題的分析既直觀又高效。
　　 最后，提出基于協(xié)作機制的雙層負載均衡調度策略。該策略兼顧執(zhí)行引擎和底層資源兩個層面的負載均衡，為提高系統(tǒng)性能和降低成本提供了有力保障。用戶提交的應用首先提交給執(zhí)行引擎解析，解析后的任務傳給底層調度器，最后由具體系統(tǒng)資源完成任務的執(zhí)行。因此，執(zhí)行引擎相對大規(guī)模計算平臺，屬于所提交應用的上層服務。

14、本文策略旨在解決系統(tǒng)具有多個調度入口、多執(zhí)行引擎之間缺乏協(xié)作和底層資源調度沖突的問題。首先詳細分析了調度引擎的功能框架和負載消耗，并在此基礎上給出引擎和資源節(jié)點的實時負載模型和即將執(zhí)行應用的預測負載模型。提出協(xié)作式體系結構，調度器和資源的狀態(tài)信息通過監(jiān)控、計劃和分析線程實時收集和評估，為效用函數的計算提供準確依據。提出的基于性能模型的高層和底層調度算法，既兼顧了調度引擎和底層資源的負載均衡，又考慮了應用的執(zhí)行時間和傳輸時間等服務質量的需