面向移動終端的數據去重研究.pdf

1、在信息社會高速發(fā)展的時期，移動互聯網快速發(fā)展，加上個人云存儲等以個人云為基礎的服務快速興起，推動了數據云同步和云存儲業(yè)務的增長，使得網絡數據信息量呈現爆炸式增長形勢，給網絡存儲空間和網絡帶寬帶來了巨大的壓力，尤其是在移動互聯網領域，問題則更為明顯。眾所周知，移動終端存儲空間相對較小，并且移動互聯網的接入網絡如蜂窩網的成本相對較高，所以，面向移動終端的數據云服務對存儲空間和網絡帶寬有著更高的要求，如何減少冗余數據的傳輸和存儲就顯得至關重要

2、。
　　重復數據刪除技術(DataDe-duplicationTechnology)通過刪除數據存儲系統中相同的文件或相同的文件數據塊，只保留重復文件或重復數據塊的一個備份，以達到消除數據冗余并縮減網絡存儲空間的目的，同時提升了網絡帶寬的利用率。根據文件數據去重的粒度重復數據刪除技術可分為文件級別的重復數據刪除技術、數據塊級別的重復數據刪除技術和數據對象級別的重復數據刪除技術。目前重復數據刪除技術已經應用于數據備份和存儲系統中，大

3、幅減少了數據冗余，提高了存儲空間的有效利用率。但是，由于移動互聯網接入網絡和移動終端內存小等一系列局限性，重復數據刪除技術并沒有在移動互聯網領域得到廣泛應用。雖然在移動互聯網領域也出現了部分應用重復數據刪除技術的實例，但是該類應用仍然有很多不足之處可以得到改進。比如以Dropbox為代表的基于個人云服務的應用采用了以定長切分算法(FSP)為基礎的數據塊級別的重復數據刪除算法，此方法雖然簡單有效，但是對于增加數據和刪除數據的操作敏感性太高

4、，從而影響了數據去重率。
　　本文提出將多種重復數據刪除技術應用于移動互聯網領域，以數據去重率和移動終端設備性能損耗兩方面作為主要衡量標準，面向移動互聯平臺對重復數據刪除算法進行深入的研究和優(yōu)化。主要完成了以下兩方面工作:第一，結合移動互聯網在移動終端性能和網絡接入等多方面的限制，綜合數據去重率和機器開銷兩方面因素，選取適用于移動互聯網的最優(yōu)重復數據刪除算法進行深入研究和優(yōu)化;第二，采集多種類型的文件作為樣本，對移動互聯平臺的最優(yōu)