基于Hadoop的海洋數(shù)據(jù)存儲處理系統(tǒng).pdf

1、海洋作為一個資源寶庫，已經(jīng)得到了許多國家的關(guān)注。并且隨著對海洋資源的開發(fā)與利用的不斷深入，越來越多的海洋科學(xué)數(shù)據(jù)就涌現(xiàn)出來。這些海洋數(shù)據(jù)有著自己的特點，例如:多樣，復(fù)雜，動態(tài)變化和異構(gòu)等，因此需要有針對性的存儲和處理策略。但是目前對于海洋科學(xué)數(shù)據(jù)的存儲與采集都沒有形成統(tǒng)一的標(biāo)準(zhǔn)與規(guī)范。所以如何合理的存儲與管理海洋數(shù)據(jù)并且對海洋數(shù)據(jù)實現(xiàn)高效的利用已成為海洋科學(xué)研究的關(guān)鍵問題之一。
　　傳統(tǒng)的處理大規(guī)模數(shù)據(jù)的方法也有很多，一般會通過并

2、行計算，分布式計算，網(wǎng)格計算等，這些技術(shù)有著自己的局限性。它們在資源配置上面價格昂貴，并且要通過繁瑣的編程才能實現(xiàn)對計算大規(guī)模數(shù)據(jù)的有效分割和合理分配。而以Hadoop為代表的云計算，云存儲卻能很好的解決這些問題。
　　本文在對Hadoop分布式存儲與處理技術(shù)進(jìn)行研究的基礎(chǔ)上，在一例海洋探測系統(tǒng)開發(fā)實踐過程中，研究了Hadoop技術(shù)在海洋數(shù)據(jù)存儲和處理的應(yīng)用，設(shè)計了基于Hadoop的海洋數(shù)據(jù)存儲處理系統(tǒng)架構(gòu)，并對Hadoop上的海

3、洋數(shù)據(jù)的處理進(jìn)行了一定的研究。本文針對海洋數(shù)據(jù)存儲處理系統(tǒng)的建設(shè)需求，對云計算的關(guān)鍵技術(shù):Hadoop，HBase，HDFS進(jìn)行了分析和總結(jié);在分析了海洋數(shù)據(jù)的特點總結(jié)得出了海洋數(shù)據(jù)處理的需求，并結(jié)合著用戶對系統(tǒng)的需求分析，設(shè)計出了系統(tǒng)的整體架構(gòu)，實現(xiàn)了數(shù)據(jù)存儲在HDFS上的功能，并且對上傳的數(shù)據(jù)進(jìn)行了優(yōu)化處理，本系統(tǒng)采用的是數(shù)據(jù)去重技術(shù)，然后利用mapreduce的實現(xiàn)了對特殊格式NetCDF格式文件的讀取以及

4、轉(zhuǎn)換成自定義的.txt格式數(shù)據(jù)的功能，接下來設(shè)計了面向列存儲的HBase數(shù)據(jù)表，實現(xiàn)了將海洋數(shù)據(jù)存儲到HBase數(shù)據(jù)庫中，最后實現(xiàn)了系統(tǒng)的前臺用戶查詢界面對數(shù)據(jù)的各種操作功能，本系統(tǒng)實現(xiàn)了根據(jù)不同的登錄用戶提供不同的操作模塊。在本文最后進(jìn)行了數(shù)據(jù)壓力測試和數(shù)據(jù)檢索測試，通過數(shù)據(jù)結(jié)果證明數(shù)據(jù)存儲在Hadoop上面的可行性。
　　基于Hadoop的海洋數(shù)據(jù)的存儲與處理系統(tǒng)為云技術(shù)處理海洋數(shù)據(jù)提供了一種可行的解決方案，可以有效的存儲和處