并行文件系統(tǒng)數(shù)據(jù)訪問的負(fù)載平衡.pdf

1、為了有效地在并行文件系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)訪問的負(fù)載平衡，本文以PVFS為例,采用數(shù)據(jù)遷移與副本相結(jié)合的機(jī)制。該機(jī)制在PVFS中增加一些模塊，在各個(gè)IOD(I/O節(jié)點(diǎn))上統(tǒng)計(jì)得到負(fù)載信息，MGR(管理節(jié)點(diǎn))每隔一段時(shí)間向所有的IOD發(fā)請(qǐng)求，要求把負(fù)載信息傳遞上來。檢測哪些磁盤的熱度比較高，找出這個(gè)磁盤上的熱點(diǎn)。為提高遷移的收益，選擇遷移的熱點(diǎn)應(yīng)該是那些使遷移收益/代價(jià)最高的數(shù)據(jù)文件，將這些熱點(diǎn)遷移到熱度比較低的磁盤上去，使負(fù)載趨于平衡。系統(tǒng)實(shí)

2、現(xiàn)的模塊主要有：負(fù)載平衡的元數(shù)據(jù)管理，負(fù)載信息的統(tǒng)計(jì)，負(fù)載信息的收集，負(fù)載平衡的計(jì)算，負(fù)載的遷移。通過對(duì)PVFS做負(fù)載平衡，性能有一定的提高。但是有些數(shù)據(jù)的熱度很大，遷移到哪兒都會(huì)引起這個(gè)磁盤的熱度上升很多，引起新的負(fù)載不平衡的現(xiàn)象產(chǎn)生，這時(shí)，遷移機(jī)制就失效了。為解決這一問題，當(dāng)這樣的高熱點(diǎn)出現(xiàn)時(shí)可以采用副本的方法。選擇當(dāng)前經(jīng)過統(tǒng)計(jì)為最冷的磁盤做副本。當(dāng)讀熱點(diǎn)文件時(shí)，由于熱點(diǎn)文件已經(jīng)做了幾個(gè)副本，隨機(jī)選擇一個(gè)副本進(jìn)行讀操作。副本必須維