智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)研究.pdf

1、隨著全球能源互聯(lián)網(wǎng)的建設以及智能電網(wǎng)建設的快速推進，大量的物聯(lián)網(wǎng)信息采集設備終端將會接入電網(wǎng)，這些終端將會產生海量的采集數(shù)據(jù)—智能電網(wǎng)大數(shù)據(jù)。為應對這些海量數(shù)據(jù)分析的需求，本文研究了智能電網(wǎng)大數(shù)據(jù)的流處理和批處理引擎的構建，并在此基礎上完成了智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)的設計。
　　本文在國內外的研究的基礎上研究了智能電網(wǎng)大數(shù)據(jù)的來源和分類，對智能電網(wǎng)大數(shù)據(jù)分析的主要需求進行了分析。本文對大數(shù)據(jù)相關的分布式計算理論進行了介紹，

2、其中主要介紹了分布式計算框架MapReduce、分布式文件系統(tǒng)GFS和HDFS、分布式應用程序協(xié)調服務Chubby和ZooKeeper、分布式資源管理框架YARN和Mesos的原理和架構，同時也介紹了Map Reduce迭代計算模型、BSP計算模型、SSP計算模型這三種分布式數(shù)據(jù)分算法基礎模型;隨后研究了智能電網(wǎng)大數(shù)據(jù)流處理的任務需求，對流處理的概念進行了介紹，同時研究了智能電網(wǎng)大數(shù)據(jù)流處理系統(tǒng)的需求特征，著重研究了Strom、Spar

3、k Streaming、 Samza這三種流處理引擎以及其應用場景，根據(jù)其特點和智能電網(wǎng)大數(shù)據(jù)流處理分析的特性需求本文選擇Strom作為構建智能大數(shù)據(jù)在線分析與決策系統(tǒng)的流處理引擎，并通過基于Storm的VFDT算法在重要電力客戶供用電安全實時分析中的應用展示了Strom在電網(wǎng)數(shù)據(jù)實時分析上的有效性，通過機器的擴展和模擬數(shù)據(jù)流的增加進行壓力測試證明了Strom流處理引擎的在智能電網(wǎng)大數(shù)據(jù)分析場景中的可擴展性;隨后，對智能電網(wǎng)大數(shù)據(jù)批處理