Spark Shuffle的內存調度算法分析及優(yōu)化.pdf

1、隨著分布式計算框架的不斷發(fā)展和普及，Spark以其先進的設計理念，迅速成為開源社區(qū)的熱門研究項目。對于大數(shù)據(jù)計算框架而言，Shuffle過程的設計優(yōu)劣和性能高低直接影響著整個系統(tǒng)的性能和吞吐量。本文研究的主要內容為SparkShuffle過程中不同Task間內存分配算法的分析與優(yōu)化。在分析已有Shuffle優(yōu)化算法的基礎上，發(fā)現(xiàn)因各Task對內存需求不均衡而造成Shuffle運行效率低的瓶頸。針對公平分配內存調度算法的不足，提出了一種基

2、于溢出歷史的自適應內存調度算法，并通過典型實驗證明本文算法能有效提高內存利用率和程序運行效率，提高Spark系統(tǒng)的整體運行性能。本文的主要貢獻包括:
　　1)闡述了分布式計算的主流框架MapReduce，包括MapReduce的編程模型、現(xiàn)狀和不足。通過介紹Spark的設計理念分析了Spark對MapReduce模型的改進，比較了兩者的優(yōu)缺點。
　　2)研究了Spark Shuffle的概念、發(fā)展及優(yōu)化過程，通過閱讀分析Sp

3、arkShuffle的源碼研究Shuffle內存調度的思想，指出了公平分配算法存在的不足。
　　3)提出了基于溢出歷史的自適應內存調度算法SBSA，解決Spark Shuffle公平分配內存調度算法影響Shuffle運行效率的問題。本算法詳細設計了空閑內存的計算方式、關鍵Task可從空閑內存借用的內存比例以及Task可用內存的最大閾值。
　　4)通過典型實驗比較了SBSA算法與先來先服務算法、公平分配調度算法的性能差異，實驗