Hadoop環(huán)境下的動態(tài)資源管理研究與實現(xiàn).pdf

1、隨著“大數(shù)據(jù)時代”的到來，越來越多的數(shù)據(jù)需要被處理、分析，這對業(yè)界的存儲、計算等技術(shù)提出了需求和挑戰(zhàn)。隨著Hadoop的問世，這些技術(shù)難題得到了很好的解決方案。然而，盡管Hadoop適用的場景有限，但在幾年前它幾乎是人們處理大數(shù)據(jù)的唯一有效工具，這也就導(dǎo)致了Hadoop的廣泛誤用。為了解決第一代Hadoop被大量誤用的情況，同時可以為眾多計算框架提供資源調(diào)度的基礎(chǔ)平臺，Hadoop團(tuán)隊對其進(jìn)行了大規(guī)模重構(gòu)，把第一代MapReduce(M

2、Rv1)中由JobTracker中負(fù)責(zé)的資源調(diào)度分配與監(jiān)控的職責(zé)分為兩部分，其中的資源調(diào)度與分配部分形成一個平臺化的工具：YARN(MRv2)。YARN克服了MRv1中大量缺陷，以提高資源利用率為目標(biāo)進(jìn)行改造，獲得了較大成就。
　　然而，YARN仍然存在著資源未被充分利用的情況。每一個應(yīng)用程序在向YARN申請資源時都需要指定需要的CPU和內(nèi)存量大小，運行的任務(wù)使用的資源不能超過申請的資源量，又由于管理員往往并不能明確的知道每個應(yīng)用

3、程序?qū)嶋H需要的資源量，這就導(dǎo)致應(yīng)用程序在申請資源時會申請比實際需求更多的資源，從而導(dǎo)致資源浪費。此外，由于許多計算框架都是以應(yīng)用程序的身份運行在YARN上，這些計算框架會長期運行一個服務(wù)進(jìn)程來接受自己的子任務(wù)提交并管理子任務(wù)，這些服務(wù)進(jìn)程對資源的需求量也是隨著計算框架的繁忙程度而變化的，而YARN在分配資源后程序所得到的資源量是固定不變的，在這種情況下，若是仍然只能為它們分配固定大小的資源量，這仍然會造成資源浪費。
　　針對YAR

4、N在資源分配上仍然存在的不足，在大量研究了當(dāng)前研究人員對MRv1的資源調(diào)度優(yōu)化方案以及YARN本身的資源調(diào)度原理后，本文提出了動態(tài)資源管理的解決方案——Yadoop，目標(biāo)是讓YARN的資源分配單位——容器內(nèi)的資源量可以根據(jù)容器內(nèi)進(jìn)程的實際使用情況動態(tài)變化，既不影響容器內(nèi)任務(wù)的正常運行，又能將容器資源量調(diào)整到一個合適的位置，減少資源浪費，增加集群并發(fā)量，從而達(dá)到提高集群資源利用率和提高應(yīng)用程序運行效率的目的。
　　Yadoop動態(tài)資