基于Hadoop的MBR膜污染數(shù)據(jù)的分析與仿真預測研究.pdf

1、膜生物反應器(MBR)是將膜分離技術(shù)與生物反應器技術(shù)相結(jié)合的一種污水處理工藝，在污水處理方面具有很大的優(yōu)勢和巨大的發(fā)展空間。實驗研究表明膜污染嚴重阻礙MBR的發(fā)展，膜污染導致的直接現(xiàn)象是膜通量的減小。為了更好的監(jiān)測膜污染的情況，從膜通量入手，通過對MBR膜污染機理的分析和研究，確定MBR膜通量的主要影響因素，并利用實驗和實際的MBR工藝獲得影響MBR膜通量因素的真實數(shù)據(jù)。
　　為了解決MBR膜污染數(shù)據(jù)的存儲和分析問題，引入當今的主

2、流大數(shù)據(jù)云計算平臺Hadoop。Hadoop是一個可靠的、高容錯的、可擴展的分布式計算平臺，其核心包括分布式文件系統(tǒng)HDFS和計算框架MapReduce?；贖adoop的優(yōu)勢，結(jié)合數(shù)據(jù)倉庫Hive，將數(shù)據(jù)存儲在、HDFS上，構(gòu)建分布式大規(guī)模MBR膜污染存儲和分析平臺，實現(xiàn)對數(shù)據(jù)的管理。由于Hive是基于Hadoop的MapReduce計算框架的，具有很高的延時性，因此采用Impala做實時查詢和分析。但是Impala并不支持所有Hiv

3、e所支持的功能，并且依賴Hive，最終采用兩者結(jié)合的方式，使用Impala做實時分析，Hive進行批處理作業(yè)。鑒于Hive的高延時性，為了獲得更好的用戶體驗，通過TCP/IP通信和Java多線程技術(shù)獲取Linux的標準輸出和錯誤輸出，實現(xiàn)對Hive查詢和分析進度的監(jiān)控。
　　利用Hadoop平臺實現(xiàn)了MBR數(shù)據(jù)的管理，另外為了實現(xiàn)對膜通量的仿真預測，引入最小二乘支持向量機(LSSVM)，針對LSSVM參數(shù)人為選擇的盲目性，采用粒子