基于集群間兩級并行的海量遙感數據調度模型設計與實現.pdf

1、現代空間遙感技術的發(fā)展已經使傳感器的空間分辨率、光譜分辨率和時間分辨率大幅度提高,使得遙感圖像的數據量大增,因而在遙感圖像處理領域出現了兩個主要問題:(1)遙感圖像的處理速度過慢。在遙感圖像處理中,受硬件條件的限制,人們從圖像中獲取信息的速度遠遠低于圖像數據量的增長速度。(2)現有的單級并行調度算法已不能滿足遙感圖像的高性能、快速處理的要求。為解決上述問題,本文首先提出了一種基于集群間兩級并行的海量數據調度模型;在此基礎上,提出了基于集

2、群間兩級并行的任務調度算法,該算法主要由兩個層次的任務調度算法構成:(1)集群間基于優(yōu)先級的任務調度算法。(2)單計算節(jié)點基于算法生成樹的遙感算法并行調度策略。因此,本文的研究工作主要從以下兩個方面展開:第一,集群間的負載均衡策略和任務調度算法,提出了一種基于優(yōu)先級的任務調度算法。第二,單計算節(jié)點如何采用多核多線程的方式加快遙感算法的執(zhí)行速度。最后,研究如何將本文提出的調度模型和兩級任務調度算法應用到實際的系統(tǒng)開發(fā)實踐中,并論述了系統(tǒng)的

3、設計和實現過程。以下是本文所做的工作和貢獻:
　　(1)提出了海量遙感數據并行處理模型。對幾種常見并行處理模型進行研究,并分析海量遙感數據并行處理平臺應達到的目標,結合遙感圖像處理的實際需求,提出了集群間兩級并行海量遙感數據并行處理模型。
　　(2)集群間基于優(yōu)先級的任務調度算法。這是應用于海量遙感數據并行處理模型的第一級的調度算法,本文通過對幾種經典任務分配算法的分析,結合遙感數據處理的實際需求,提出了一種適用于集群間的任

4、務調度算法,算法根據計算節(jié)點實時的性能和負載信息,來生成計算節(jié)點的優(yōu)先級隊列,經過四個步驟將任務分給并行計算節(jié)點;每次分配任務時,均實時的調整優(yōu)先級隊列。同時給出任務求解過程的優(yōu)化操作,加快任務求解速度,節(jié)約計算資源。
　　(3)單計算節(jié)點基于算法生成樹的遙感算法并行執(zhí)行算法,該算法是應用于海量遙感數據并處理模型的第二級任務調度算法。通過對遙感產品算法的拆分和依賴性分析,提出算法生成樹的概念,在此基礎上,設計并實現了基于算法生成樹

5、的并行算法執(zhí)行方法,該算法能大幅度提高單計算節(jié)點的CPU利用率,縮短遙感算法的執(zhí)行時間。
　　(4)系統(tǒng)實現。結合環(huán)保部的實際業(yè)務需求和其自身的特點,在.Net開發(fā)平臺下,實現了基于集群間任務并行和單計算節(jié)點內部算法組件并行的海量遙感數據并行處理平臺——生態(tài)環(huán)境遙感產品生產分系統(tǒng),該系統(tǒng)部署后,在一定程度上緩解了生態(tài)保護與檢測方面的壓力,解決了大數據量遙感數據處理這個關鍵問題,實現了遙感圖像處理自動化、規(guī)模化,并實現了遙感產品生產