一種海量結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)研究.pdf

1、隨著計(jì)算機(jī)的普及及互聯(lián)網(wǎng)的迅猛發(fā)展，信息呈現(xiàn)爆炸式地增長(zhǎng)。人們需要從這些越來越多、越來越復(fù)雜的數(shù)據(jù)中找到對(duì)自己有用的信息，因而，對(duì)于海量數(shù)據(jù)的處理和分析變得越來越重要。當(dāng)前，社會(huì)上有很多針對(duì)海量數(shù)據(jù)處理和分析的工具，如Hadoop、各種并性數(shù)據(jù)庫和HadoopDB等。但是，Hadoop處理結(jié)構(gòu)化數(shù)據(jù)比較困難，HadoopDB僅僅是一個(gè)試驗(yàn)性的項(xiàng)目，由各種各樣的缺點(diǎn)。因此，對(duì)于海量的結(jié)構(gòu)化數(shù)據(jù)來說，需要一種新的處理技術(shù)或工具。
　　

2、本文研究了一種基于Hadoop平臺(tái)的海量結(jié)構(gòu)化數(shù)據(jù)處理的技術(shù)。FlexDB系統(tǒng)使用SQL語言，便于學(xué)習(xí)和使用;使用ANTLR建立分析器，并對(duì)SELECT查詢等操作做了一些優(yōu)化，以便提高查詢效率;基于MapReduce的思想，可以把所有的操作都分成子操作來完成。
　　要利用系統(tǒng)處理信息，首先要把要處理數(shù)據(jù)裝載如系統(tǒng)，此時(shí)要對(duì)元數(shù)據(jù)數(shù)據(jù)序進(jìn)行操作以記錄下數(shù)據(jù)的基本信息并在各節(jié)點(diǎn)創(chuàng)建子表;然后可以對(duì)數(shù)據(jù)進(jìn)行處理，主要是SELECT查詢操

3、作，并把處理結(jié)果顯示出來或?qū)懘娴较鄳?yīng)的數(shù)據(jù)庫中，也可能查詢之后刪除某些記錄或字表，此時(shí)進(jìn)行DELETE刪除操作。
　　論文首先介紹了研究背景和意義，之后介紹了當(dāng)前國(guó)內(nèi)外海量結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)的現(xiàn)狀;然后介紹了系統(tǒng)中使用的各種技術(shù)和相關(guān)思想;接著介紹了FlexDB系統(tǒng)的結(jié)構(gòu)框架并詳細(xì)描述了數(shù)據(jù)裝載與語法分析器部分的實(shí)現(xiàn);之后使用一組數(shù)據(jù)讓FlexDB、Hive、HadoopDB分別進(jìn)行處理，證明新技術(shù)的比較優(yōu)勢(shì);最后對(duì)論文進(jìn)行了總結(jié)