基于對象的主動存儲關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)存儲應(yīng)用現(xiàn)了一些新特點(diǎn)：數(shù)據(jù)總量爆炸性增長的趨勢越來越快，存儲管理和維護(hù)的自動化和智能化程度要求越來越高，多平臺的互操作性和數(shù)據(jù)共享能力越來越重要。網(wǎng)絡(luò)存儲正發(fā)生著革命性的變化，基于對象的存儲應(yīng)運(yùn)而生?；趯ο蟮拇鎯⒋鎯涌谧髁烁拘缘母淖?，提出了對象接口，由此克服了塊接口與文件接口的缺陷，使得對象存儲系統(tǒng)在安全性，數(shù)據(jù)共享，可擴(kuò)展性及性能等方面能做到最好的折中。對象接口訪問的基本單位是對象，對象除了

2、包含用戶數(shù)據(jù)外，還包含能描述對象特征的屬性。通過在用戶和設(shè)備之間傳遞對象屬性信息，對象接口比其他接口具有更為豐富的語義表達(dá)能力。 隨著電子技術(shù)的發(fā)展，存儲設(shè)備上已嵌入了越來越多的處理能力，上層應(yīng)用的部分功能可以遷往設(shè)備（即“主動存儲”的概念）。目前廣泛流行的存儲設(shè)備是“啞設(shè)備”，只能被動地響應(yīng)用戶的請求，隨著設(shè)備功能越來越復(fù)雜，傳統(tǒng)的對設(shè)備透明的管理方式已很難勝任。人們迫切需要一種設(shè)備參與在內(nèi)、更簡單靈活的方式來管理，而主動存儲

3、能很好地滿足這些應(yīng)用的需求。另外，由于硬磁盤本身機(jī)械運(yùn)動的本質(zhì)特征沒有明顯改變，在網(wǎng)絡(luò)存儲條件下網(wǎng)絡(luò)延遲不能忽略，特別是網(wǎng)絡(luò)共享跨越了廣域網(wǎng)，如何提高處理節(jié)點(diǎn)和存儲節(jié)點(diǎn)間的數(shù)據(jù)傳輸速率成為當(dāng)前提高系統(tǒng)整體性能的關(guān)鍵因素。主動存儲系統(tǒng)能夠在很大程度上解決該項(xiàng)難題。可以說主動存儲系統(tǒng)代表著將計(jì)算向數(shù)據(jù)移近的發(fā)展方向。但在對象接口出現(xiàn)之前，原有設(shè)備使用的接口是一種簡單透明的接口，這妨礙了設(shè)備端和用戶端的任務(wù)合作。對象接口的出現(xiàn)加速了主動存儲的

4、發(fā)展進(jìn)程，主動存儲可以利用富于表達(dá)力的對象接口將更多的信息在設(shè)備端和用戶端之間傳遞?？梢哉f對象存儲與主動存儲的結(jié)合將是未來存儲界領(lǐng)先的技術(shù)之一。 基于對象的主動存儲系統(tǒng)（OBASS）結(jié)合了對象接口與主動存儲的優(yōu)點(diǎn)，主動存儲將建立在對象基礎(chǔ)上，所有信息都以對象的形式出現(xiàn)。OBASS的基礎(chǔ)是基于對象的存儲設(shè)備（OSD），在軟件層次上，OSD主要分為三層：對象層、主動服務(wù)層以及存儲質(zhì)量控制層。對象層統(tǒng)一管理所有對象，負(fù)責(zé)對象的磁盤數(shù)據(jù)

5、組織（包括磁盤內(nèi)對象數(shù)據(jù)布局和磁盤間的對象放置）。主動服務(wù)層實(shí)現(xiàn)了主動存儲功能，上層應(yīng)用把功能模塊下載到OSD中后作為特殊的對象（方法對象），由對象層存儲與管理，由主動服務(wù)層調(diào)度方法對象執(zhí)行。存儲服務(wù)質(zhì)量控制層對所有層次模塊的執(zhí)行過程施加影響，使OSD在不同的負(fù)載狀況下能滿足不同用戶的對象讀寫QoS要求。 磁盤內(nèi)的對象數(shù)據(jù)組織即對象文件系統(tǒng)，其中一個(gè)重要的特性是性能的持久性，即對象文件系統(tǒng)在長期的使用的過程中，經(jīng)歷了頻繁的對象創(chuàng)

6、建、刪除和寫操作后，其性能仍然能夠維持在較高水平。性能持久性是通過柔性空閑空間管理和分配粒度可變的漸近空間分配策略實(shí)現(xiàn)的。 磁盤間的對象放置策略研究對象在多個(gè)磁盤間的放置，使得整個(gè)系統(tǒng)性能達(dá)到最優(yōu)，負(fù)載得以均衡。不同的應(yīng)用放置策略是不同的，對于流媒體應(yīng)用，適用的放置策略是基于阻塞概率模型的放置策略；而對于事務(wù)處理，基于響應(yīng)時(shí)間模型的放置策略更合適。對象放置策略應(yīng)能運(yùn)用于在線環(huán)境，但在線運(yùn)行時(shí)負(fù)載特點(diǎn)是無法事先預(yù)料的，利用OSD的

7、智能性及對象的屬性，對象放置策略可對負(fù)載的特征進(jìn)行自主學(xué)習(xí)，并根據(jù)學(xué)習(xí)的結(jié)果指導(dǎo)對象放置。 為實(shí)現(xiàn)基于對象的主動存儲，首先對現(xiàn)有的T10 OSD標(biāo)準(zhǔn)進(jìn)行修改，擴(kuò)充對象概念引入方法對象使其支持主動存儲。方法對象的執(zhí)行有兩種方式：一種是外界用戶的請求觸發(fā)執(zhí)行，另一種是條件滿足時(shí)的策略觸發(fā)執(zhí)行。主動服務(wù)層建立了統(tǒng)一的框架，把這兩種方法的調(diào)度機(jī)制有效結(jié)合起來，支持計(jì)算任務(wù)與管理任務(wù)向OSD遷移。方法的執(zhí)行機(jī)制是主動存儲的核心，針對過濾型

8、方法和服務(wù)型方法這兩類不同方法，分別提出了在Linux系統(tǒng)下的實(shí)現(xiàn)機(jī)制。為評估主動存儲的效能，將這兩類方法分別運(yùn)用于兩種不同應(yīng)用：OSDFS文件系統(tǒng)及對象存儲系統(tǒng)的負(fù)載均衡。在OSDFS中，兩種常規(guī)操作lookup和unlink作為過濾型方法下放到OSD中，分析表明，這可以大大減少網(wǎng)絡(luò)延遲和內(nèi)存拷貝。而負(fù)載均衡算法可以作為服務(wù)型方法運(yùn)行在OSD中，實(shí)驗(yàn)表明，啟用對象復(fù)制和對象遷移的負(fù)載均衡算法能最大程度地減少平均系統(tǒng)響應(yīng)度。 存

9、儲服務(wù)質(zhì)量控制分三個(gè)層次實(shí)現(xiàn)QoS：上層調(diào)度器實(shí)現(xiàn)對象請求調(diào)度，從對象級保證QoS；中層調(diào)度器實(shí)現(xiàn)對象預(yù)處理，與對象文件系統(tǒng)及緩存結(jié)合，對于對象讀，通過對象的預(yù)取，對于對象寫，通過頁面預(yù)分配、延遲空間分配及延遲寫保障對象讀寫的QoS；而下層調(diào)度器與Linux I/O子系統(tǒng)中的塊I/O調(diào)度器結(jié)合，綜合考慮帶優(yōu)先級的實(shí)時(shí)負(fù)載以及非實(shí)時(shí)負(fù)載的調(diào)度，即考慮I/O請求的時(shí)限，磁頭定位時(shí)間和優(yōu)先級三個(gè)因素在內(nèi)的I/O調(diào)度。將OSD的QoS調(diào)度模塊（