高性能計算中作業(yè)調度技術與集群管理系統(tǒng)的研究.pdf

1、計算科學從誕生以來，已經(jīng)在科學研究、工程技術以及軍事等方面取得了巨大的成就。在計算科學的發(fā)展過程中，高性能計算技術憑借其易用性、靈活性和平臺無關性等特點，在國內外廣受關注。同時，高性能計算也是許多計算學科的工具基礎，正因如此，高性能計算中常用的集群技術正愈發(fā)受到各科研部門的重視和關注。
　　集群管理系統(tǒng)主要包括了資源管理、作業(yè)管理和用戶管理，本文主要從高性能計算的起源、發(fā)展趨勢以及相比大型機的優(yōu)勢所在等方面闡述高性能計算中資源管理

2、、作業(yè)管理和用戶管理的研究成果。
　　本文主要的工作如下：
　　1、介紹了集群硬件架構的發(fā)展過程，分析了Linux高性能集群系統(tǒng)平臺的構成，闡述了集群中各硬件節(jié)點以及所用網(wǎng)絡的功能，同時對集群中軟件架構進行了分析；
　　2、以資源管理器Torque與作業(yè)調度器Maui組合為基礎，結合監(jiān)控軟件Ganglia，給出利用Python語言在Django框架下開發(fā)集群系統(tǒng)管理軟件CCLAB的過程。
　　3、分析了CCLAB

3、中“作業(yè)調度”、“集群用戶”和“集群監(jiān)控”三個Portlet的設計開發(fā)過程，給出了CCLAB中URL的設計過程，并分析了文中采用的GPFS并行文件系統(tǒng)、消息傳遞接口(MPI)技術以及集群遠程電源管理的工作原理；
　　4、分析了作業(yè)調度的分類和過程，根據(jù)作業(yè)調度器Maui調度作業(yè)的方式對作業(yè)調度進行數(shù)學模型抽象，通過有向無環(huán)圖(DAG圖)解釋調度過程。在分析了常用的FCFS策略、優(yōu)先級調度策略、Firstfit策略、Bestfit策

4、、預約策略和回填策略優(yōu)缺點的基礎上，改進并分析了一種基于節(jié)點負載情況自定義優(yōu)先級預約回填的策略(“BLPRB”策略)，拓展了單、雙策略的研究，并對其實現(xiàn)節(jié)點負載評估、作業(yè)優(yōu)先級確定和預約資源以及回填作業(yè)的過程進行詳細分析，給出“BLPRB”策略確定預約作業(yè)最遲執(zhí)行時間和解決大作業(yè)饑餓問題的算法理論分析，最后將該策略集成到Maui調度器中。
　　在搭建的高性能計算平臺上進行驗證分析，結果表明BLPRB策略相比Firstfit和FCF