面向高并發(fā)數(shù)據(jù)訪問(wèn)的并行I-O性能優(yōu)化機(jī)制研究.pdf

1、在當(dāng)今大數(shù)據(jù)時(shí)代下，很多科學(xué)計(jì)算應(yīng)用正從傳統(tǒng)的計(jì)算密集型向數(shù)據(jù)密集型模式進(jìn)行轉(zhuǎn)變。在這些科學(xué)計(jì)算應(yīng)用中，多個(gè)進(jìn)程同時(shí)訪問(wèn)一個(gè)共享文件是一種非常常見(jiàn)的并行I/O訪問(wèn)模式，其I/O性能始終是制約并行程序運(yùn)行效率的一個(gè)重要因素，為了提高程序性能，針對(duì)這種訪問(wèn)模式進(jìn)行I/O優(yōu)化的MPI-IO庫(kù)被廣泛采用，得到了良好的效果。與此同時(shí)，為了適應(yīng)大數(shù)據(jù)存儲(chǔ)與訪問(wèn)需求，諸如Lustre等并行文件系統(tǒng)也被越來(lái)越多地部署在高性能計(jì)算環(huán)境中，這為傳統(tǒng)并行I/

2、O中高并發(fā)數(shù)據(jù)訪問(wèn)優(yōu)化帶來(lái)了新的挑戰(zhàn)。
　　為了解決新環(huán)境下面臨的并行I/O性能問(wèn)題，面向高并發(fā)數(shù)據(jù)訪問(wèn)的并行I/O性能優(yōu)化系統(tǒng)，通過(guò)采用將應(yīng)用I/O訪問(wèn)模式與數(shù)據(jù)物理布局相匹配的設(shè)計(jì)思路，重新組織I/O請(qǐng)求順序，使得I/O代理進(jìn)程與I/O節(jié)點(diǎn)之間形成“一對(duì)一”的匹配模式，從而減少高并發(fā)數(shù)據(jù)訪問(wèn)時(shí)的數(shù)據(jù)訪問(wèn)競(jìng)爭(zhēng)。該優(yōu)化系統(tǒng)先通過(guò)獲取分析應(yīng)用I/O訪問(wèn)模式，從而將其轉(zhuǎn)換成數(shù)據(jù)物理存儲(chǔ)訪問(wèn)信息。然后綜合兩者信息，設(shè)計(jì)實(shí)現(xiàn)優(yōu)化的代理進(jìn)程

3、選擇方法與文件域劃分方式，使得各I/O節(jié)點(diǎn)都能保證均衡的I/O負(fù)載，同時(shí)將待訪問(wèn)的文件數(shù)據(jù)段按鎖邊界對(duì)齊，減少鎖競(jìng)爭(zhēng)的發(fā)生。最后對(duì)I/O請(qǐng)求進(jìn)行重新組織調(diào)整，得到最優(yōu)的請(qǐng)求順序，從而保證將一個(gè)大的數(shù)據(jù)請(qǐng)求分成若干子請(qǐng)求時(shí)，在完成每個(gè)子請(qǐng)求的迭代過(guò)程中，不會(huì)產(chǎn)生資源訪問(wèn)競(jìng)爭(zhēng)。這種基于迭代過(guò)程這一更細(xì)的并行粒度的優(yōu)化策略，為I/O請(qǐng)求重組織提供了更高的靈活性，保證減少數(shù)據(jù)訪問(wèn)競(jìng)爭(zhēng)的同時(shí)，不會(huì)引入額外的進(jìn)程間通信開(kāi)銷。
　　基于Lust