Hadoop平臺上結構化數(shù)據(jù)的壓縮技術研究與實現(xiàn).pdf

1、隨著電子商務、社會計算、物聯(lián)網(wǎng)等新應用的發(fā)展，促使相關數(shù)據(jù)的規(guī)模呈現(xiàn)出快速增長的趨勢，大數(shù)據(jù)正改變著人們的生活、工作和思維方式。準確、高效地從大數(shù)據(jù)中挖掘出潛在的有用信息進而支持決策變得越發(fā)重要，并逐步成為數(shù)據(jù)科學領域關注的熱點。
　　分布式存儲和計算平臺Hadoop以分布式文件系統(tǒng)HDFS和分布式計算框架MapReduce為核心，已成為大數(shù)據(jù)處理領域事實上的標準。數(shù)據(jù)壓縮是提高查詢處理性能的重要手段。出于通用性考慮， HDFS按

2、統(tǒng)一的方法存儲結構化和非結構化數(shù)據(jù)，并支持常見的重量級壓縮方法，但查詢處理中需要解壓，且解壓開銷較大，結構化數(shù)據(jù)的優(yōu)勢無法充分體現(xiàn)。在列存儲系統(tǒng)中，輕量級壓縮方法應用十分普遍，且查詢處理可直接對壓縮數(shù)據(jù)進行。然而，查詢處理中元組重構是一個重要的性能瓶頸，尤其是在分布式環(huán)境下，元組重構時巨大的網(wǎng)絡開銷制約了查詢處理性能。來源于PAX存儲模型的行列混合存儲結構結合了行存儲和列存儲各自的優(yōu)勢，能夠為分布式環(huán)境下的大數(shù)據(jù)處理提供良好的存儲模型。

3、
　　本文主要研究內容為Hadoop平臺上結構化數(shù)據(jù)壓縮的設計與實現(xiàn)。首先，分析了幾種常見的輕量級數(shù)據(jù)壓縮算法的實現(xiàn)原理，并結合壓縮算法的特點，在HDFS之上設計了一套行列混合存儲數(shù)據(jù)頁結構；然后，提出并實現(xiàn)了基于MapReduce的自適應輕量級數(shù)據(jù)壓縮方案，將大數(shù)據(jù)分塊并行壓縮，壓縮后的數(shù)據(jù)存儲為設計的混合存儲結構并保存在HDFS上，并設計了該存儲結構上的數(shù)據(jù)讀取接口；同時，提出了動態(tài)數(shù)據(jù)節(jié)點選中優(yōu)先級隊列樹結構，對數(shù)據(jù)在集群中