基于閃存的樂觀數據復制技術研究.pdf

1、隨著計算機科技與互聯網技術的高速發(fā)展，全球的應用系統(tǒng)產生了海量的數據。這些數據系統(tǒng)一方面要求較高的訪問性能，另一方面也要求較高的可用性，同時也要求具有容量與地理的高可擴展性。所以，分布式存儲系統(tǒng)的大規(guī)模使用就成為了滿足以上需求的必然選擇，而其中，數據復制技術尤其是樂觀數據復制技術是最為核心的技術之一。樂觀數據復制的本質是在各個分布節(jié)點上數據副本的創(chuàng)建與維護，那么就必然需要和存儲介質發(fā)生關聯。傳統(tǒng)的存儲介質一般以機械磁盤為主，但是機械磁盤

2、是上個世紀70年代的產物，已經遠遠落后于整體的計算機發(fā)展進度，不能滿足對數據的高吞吐率讀寫要求，所以一種新型的電子存儲器:閃存，應運而生。閃存相比傳統(tǒng)磁盤，具有讀寫吞吐率高，隨機讀寫性能優(yōu)越，并發(fā)讀寫優(yōu)勢明顯等優(yōu)點，但是，由于其特殊的物理結構，也存在著“寫放大”與“重寫前擦除”等缺點。所以，傳統(tǒng)的應用系統(tǒng)雖然直接通過硬件的升級就可以收到良好的性能提升，但是系統(tǒng)仍然需要進一步的調整與優(yōu)化，解決“閃存并發(fā)寫入優(yōu)勢的合理應用”與“閃存寫入操作

3、缺陷的規(guī)避”這兩大問題，才可以充分地發(fā)揮閃存的特性。那么，作為與存儲介質關系緊密的樂觀數據復制系統(tǒng)，在采用閃存作為存儲介質之后，也需要進行算法本身的改進與優(yōu)化，才可以解決上述兩大問題，實現數據復制性能等指標的迸一步提升。
　　樂觀數據復制根據數據更新的數據流，可以分為5個過程，即操作提交，數據更新分發(fā)，數據更新調度，沖突檢測/解決，以及數據更新提交。其中與存儲系統(tǒng)緊密相關的為三個過程，即數據更新分發(fā)，數據更新調度與數據更新提交。所

4、以，針對基于閃存的系統(tǒng)需要解決的兩大問題，從上述三個過程出發(fā)，本文的主要內容如下:
　　本文首先針對在數據更新的分發(fā)過程中，一般以單一數據更新為單位，容易產生大量不適合閃存寫入特點的隨機小數據量寫操作的缺陷，提出了閃存感知的成組數據更新分發(fā)算法FAGUA。該算法以相關數據集為數據更新分發(fā)的基本單位，并只在相關數據集的修改比率達到一定閾值的時候才觸發(fā)分發(fā)過程，從而實現了以閃存數據塊或其整數倍為基準的寫對齊，解決了基于閃存特性的數據更

5、新分發(fā)時機選擇問題。之后，又基于FAGUA，提出了改進的數據更新分發(fā)算法IRN-FAGUA，即基于理想數據副本的FAGUA算法。該算法首先對每個相關數據集的理想數據副本數目進行計算，然后以此為依據，解決了在數據更新的分發(fā)過程中是否需要創(chuàng)建或替換數據副本的問題。FAGUA與IRN-FAGUA規(guī)避了閃存的寫入缺陷，降低了閃存的擦寫次數，提高了整體的數據復制性能，同時由于數據相關性的引入，也大大地提高了數據副本的本地命中率。
　　之后，

6、本文又針對數據更新調度過程中的缺陷，即調度結構往往為單隊列設計，無法充分發(fā)揮閃存的并發(fā)寫入優(yōu)勢，提出了基于閃存的多隊列數據更新調度算法，FBSA。FBSA以數據修改集作為數據分發(fā)內容，通過對不同數據修改集之間的依賴關系判斷，以最小化其非本隊列數據依賴集中的元素個數為目標，實現了多隊列的調度結構創(chuàng)建。同時，以最大化后臺提交過程的并行度為目標，盡可能同時從所有的調度隊列中獲取頭元素用于并發(fā)提交，從而實現了多隊列調度結構的充分使用。該算法可以

7、充分地發(fā)揮閃存的并發(fā)寫入優(yōu)勢，有利于閃存利用率與數據復制性能的提升。
　　最后，針對數據更新的提交過程中，提交一般以單獨的操作為單位，從而也會產生大量小數據量隨機寫，不適合閃存寫入特點的缺陷，本文提出了基于上下文的數據更新提交算法，CBCA。CBCA通過對一定時間窗口內所有操作的上下文分析，得出所有操作之間的可合并，可覆蓋或可回滾關系，然后對操作進行合并或者消除，實現了以閃存數據塊大小為基準的組提交。從而規(guī)避了閃存的寫入缺陷，有利