基于數據塊的大數據遷移策略研究.pdf

1、21世紀是信息爆炸的時代，信息數據量的增長極其迅猛。因此不但需要大量的存儲設備來存儲數據，同時還需要對這些數據的存儲進行有效地管理。根據實驗研究表明，存儲系統(tǒng)中所存儲的數據中有約70％-80%是處于“靜止”狀態(tài)，經過一到三個月后基本上很少被訪問到。由于系統(tǒng)中只有少部分數據會被頻繁的訪問到，因此將數據全部存儲在高性能設備中會帶來成本上的增加。為了滿足存儲系統(tǒng)性能的同時進一步降低存儲的成本，分層存儲思想的提出正是為了來解決這個問題。

2、　　分層存儲的思想主要來源于信息生命周期管理ILM（Information Lifecycle Management）。分層存儲是將數據價值高的數據放置價格昂貴但是性能很高的存儲設備之中，而將數據價值低的數據放置于價格較便宜的大容量低性能的存儲設備之中。為了使得分層存儲在性能和開銷上達到平衡，一個良好的分層存儲系統(tǒng)就顯得尤為重要。但現(xiàn)今對于分層存儲的研究大多基于文件級數據和卷級數據。這類分層存儲在進行數據價值評價時所考慮的價值因素通過文

3、件自身的屬性能夠直觀的獲得，并且文件和卷所占存儲空間比較大，一次遷移的數據量太大必然導致遷移的時間間隔加大，使得系統(tǒng)反應緩慢，并且文件遷移時對資源的消耗也很大。而塊級數據在粒度上比文件級和卷級數據小，并且可以通過對數據塊進行冗余數據的刪除，從而減小數據總量。同時塊級數據在數據遷移時由于數據塊較小，遷移時對資源的消耗會減小。但是，一方面，塊級數據對于數據價值的評價比文件級數據的評價更加復雜；另一方面，在對塊級數據進行遷移時時間的間隔設計也

4、跟文件級和卷級數據有所差別。基于以上提出的幾點問題，通過對已有分層存儲技術深入的分析和研究，本文對基于塊級數據的分層存儲的遷移策略做了以下研究：
　　1、通過對現(xiàn)今對分層存儲系統(tǒng)結構的所用設備技術的分析及研究，提出一種基于塊級數據的自動分層結構BATSS（Block-level Automated Tiered Storage Structure）。
　　2、對比文件級數據價值評價相關因素的研究，提出一種基于塊級數據價值評價

5、的模型BDV（Block-level Data Valuation）。該模型充分考慮到塊級數據的特點，通過對I/O頻次、塊級數據大小、塊級數據關聯(lián)度等因素的綜合分析得出塊級數據價值。而后根據得出塊級數據價值對塊級數據進行分層存儲。
　　3、提出基于主動遷移閾值和被動遷移閾值的雙閾值遷移策略。雙閾值遷移策略設計的基本思想是能夠最大化的利用高性能的存儲設備。主動遷移閾值是按照設定好的閾值將價值高于此閾值的塊級數據存入對應的存儲設備之中

6、，而低于該閾值的塊級數據存入下一層的存儲設備之中。而被動遷移閾值是根據某一層存儲容量的剩余量來設定的。當容量達到被動遷移閾值時，停止主動遷移，并將該層數據價值較小的數據遷移到下一層存儲設備之中。
　　4、提出基于遷移隊列大小/遷移帶寬的動態(tài)遷移時間間隔遷移策略。數據每次進行遷移時都會產生一個遷移隊列，遷移隊列的大小是一個動態(tài)的，因為每次遷移的量都會不一樣，但每次遷移的帶寬是固定的。因此遷移時間是一個動態(tài)的時間，這樣能夠提升系統(tǒng)性能