智慧城市大數(shù)據(jù)平臺的流式計算服務(wù)系統(tǒng).pdf

1、智慧城市大數(shù)據(jù)處理應(yīng)用中包括很多對流式數(shù)據(jù)的計算處理，例如智慧鄰里社交應(yīng)用中的即時通信消息處理和輿情監(jiān)控、智慧樓宇應(yīng)用中的樓宇狀態(tài)信息監(jiān)測、車聯(lián)網(wǎng)應(yīng)用中的城市交通路線規(guī)劃等等。這些面向智慧城市大數(shù)據(jù)處理的流式計算應(yīng)用大多采用云基礎(chǔ)設(shè)施和分布式系統(tǒng)架構(gòu)，涉及流式數(shù)據(jù)分析、復(fù)雜事件處理和業(yè)務(wù)規(guī)則處理等多種模式，對應(yīng)用開發(fā)人員的技術(shù)能力要求高。因此，如何在云基礎(chǔ)設(shè)施服務(wù)（IaaS，Infrastructure as a Service)的基礎(chǔ)

2、上，為面向智慧城市大數(shù)據(jù)處理的流式計算應(yīng)用開發(fā)及運行提供統(tǒng)一的通用平臺服務(wù)（PaaS，Platform as a Service),以方便應(yīng)用開發(fā)人員專注于應(yīng)用業(yè)務(wù)邏輯、提高開發(fā)效率，是亟待解決的實際應(yīng)用問題。
　　針對上述問題，本文以實驗室承擔(dān)的“智慧鄰里社區(qū)服務(wù)軟件系統(tǒng)研發(fā)”實際項目為背景，在對流式計算、復(fù)雜事件處理、規(guī)則引擎等相關(guān)技術(shù)和Storm、Esper、Drools等開源框架深入分析研究的基礎(chǔ)上，結(jié)合實際需求，提出了一

3、個統(tǒng)一的流式計算服務(wù)（Stream Computing Service，以下簡稱SCS)模型，并基于該模型和Storm等開源框架設(shè)計并實現(xiàn)了一個流式計算服務(wù)系統(tǒng)。該系統(tǒng)解決了 Storm中應(yīng)用執(zhí)行實體并行度不能動態(tài)調(diào)整的問題，可以為面向智慧城市大數(shù)據(jù)處理的流式計算應(yīng)用提供PaaS平臺服務(wù)，應(yīng)用開發(fā)者僅需定義SCS應(yīng)用描述文件并開發(fā)相關(guān)業(yè)務(wù)處理邏輯代碼即可構(gòu)建完整應(yīng)用。本文基于該系統(tǒng)進一步開發(fā)了一個智慧鄰里社區(qū)服務(wù)系統(tǒng)中的鄰里社交即時消息

4、處理應(yīng)用實例。測試情況表明，該系統(tǒng)是可行及有效的。
　　本文的工作要點主要有：
　　1)流式計算服務(wù)系統(tǒng)以SCS模型和Storm開源框架為基礎(chǔ)，但 Storm應(yīng)用執(zhí)行實體的并行度不能動態(tài)調(diào)整，導(dǎo)致SCS應(yīng)用在大數(shù)據(jù)量時處理能力難以擴展等問題。本文在深入分析Storm源碼的基礎(chǔ)上，提出了一種可對Storm應(yīng)用執(zhí)行實體的并行度進行動態(tài)調(diào)整的PDC算法，并基于該算法設(shè)計實現(xiàn)了并行度動態(tài)調(diào)整（PDCM)模塊。測試及應(yīng)用實例情況表明，

5、該模塊可動態(tài)調(diào)整Storm應(yīng)用執(zhí)行實體的并行度及執(zhí)行實體間的并行度比例關(guān)系。
　　2)基于云基礎(chǔ)設(shè)施和分布式系統(tǒng)架構(gòu)的流式計算應(yīng)用對應(yīng)用開發(fā)者的技術(shù)能力要求高。為了在平臺服務(wù)的基礎(chǔ)上支持對流式計算應(yīng)用的開發(fā)，本文提出一種統(tǒng)一的SCS模型，基于該模型設(shè)計并實現(xiàn)了 SCS應(yīng)用定義工具，使得開發(fā)者僅需要通過定義SCS服務(wù)描述文件并實現(xiàn)關(guān)鍵處理邏輯便可生成一個可運行于SCS系統(tǒng)的流式計算應(yīng)用。測試及應(yīng)用實例情況表明，該工具是可行及有效的。

6、
　　3)基于SCS模型的流式計算應(yīng)用可由SCS應(yīng)用描述文件定義并構(gòu)建，應(yīng)用的運行需由SCS執(zhí)行引擎來實現(xiàn)，本文基于開源框架Storm、Esper和Drools設(shè)計并實現(xiàn)了一個基于SCS模型的SCS執(zhí)行引擎。該執(zhí)行引擎將基于Esper的復(fù)雜事件處理和基于Drools的業(yè)務(wù)規(guī)則處理作為統(tǒng)一的Storm處理節(jié)點，并以一致的方式利用Storm的分布式機制來解決其可擴展性問題。該執(zhí)行引擎還實現(xiàn)了 SCS模型中具有并發(fā)和分流關(guān)系的節(jié)點間數(shù)據(jù)