基于HBase的SQL轉化引擎研究.pdf

1、互聯(lián)網(wǎng)和移動通信的出現(xiàn),是信息化高速發(fā)展的結果?；ヂ?lián)網(wǎng)和移動通信逐漸成為人們最主要的交流溝通工具。信息化的世界需要大數(shù)據(jù)的支持,大數(shù)據(jù)的出現(xiàn)又使得關系型數(shù)據(jù)庫暴露出了種種的不足,這使得關系型數(shù)據(jù)庫的統(tǒng)治地位岌岌可危。在此背景下,NoSQL數(shù)據(jù)庫孕育而生,NoSQL數(shù)據(jù)庫產(chǎn)品猶如雨后春筍般蓬勃發(fā)展。這些數(shù)據(jù)庫的最大特點就是能夠進行GB級別到TB級別的數(shù)據(jù)處理。其中,HBase備受關注。然而,為了使得數(shù)據(jù)庫能夠支持大數(shù)據(jù)的處理和非結構化數(shù)據(jù)

2、,NoSQL數(shù)據(jù)庫放棄了關系型數(shù)據(jù)庫強制的事務完整性,二級索引機制和SQL語句作為輸入的查詢操作。隨著HBase的流行,人們開始著手為HBase實現(xiàn)一個支持SQL的轉化層,以降低對HBase使用的學習難度。
　　本文開篇對本論文撰寫的研究背景和意義進行了闡述,說明了設計和實現(xiàn)一個基于HBase的SQL轉化引擎的重要性。然后,用一章的內(nèi)容對SQL轉化引擎相關的背景知識進行了介紹,主要包括對Hadoop的概念和架構的介紹;對HBase

3、整體設計介紹和 HBase與傳統(tǒng)關系型數(shù)據(jù)庫對比分析;以及對 ANTLR這個解析工具的工作流程和作用進行了詳細的說明介紹。接下來,是對SQL轉化引擎系統(tǒng)設計架構的介紹,分層介紹了SQL解析層、SQL分析層、SQL-HBase轉化層以及HBase API調用層。接著,是對SQL轉化引擎的系統(tǒng)實現(xiàn)進行了充分的討論,說明了各個部分實現(xiàn)的原理和關鍵技術。需要補充的是,系統(tǒng)實現(xiàn)利用了 HBase現(xiàn)有的大部分接口和協(xié)處理器框架來完成傳統(tǒng)關系型數(shù)據(jù)庫

4、的查詢和聚合。文章最后也對SQL轉化引擎的效果進行了通過性測試和時間性能測試。
　　綜上所述,本論文提出了設計一個基于HBase的SQL轉化引擎,使得HBase能接收SQL語句作來操縱HBase的設想變?yōu)楝F(xiàn)實。通過ANTLR對SQL語句進行解析,對解析的結果進行對象化封裝并對參數(shù)進行遍歷訪問求解出需要查找的列和行,再調用了經(jīng)過封裝的HBase API類方法來返回結果,實現(xiàn)了一個可用的,簡單的SQL轉化引擎。本論文也是對HBase擴