分布式日志數(shù)據(jù)采集代理框架的研究與設計.pdf

1、計算機網(wǎng)絡在各行業(yè)中獲得廣泛應用的時候，網(wǎng)絡安全也成為機構和企業(yè)越來越關注的問題。雖然防火墻、防病毒系統(tǒng)、IDS、漏洞掃描等安全產(chǎn)品被部署于網(wǎng)絡中，但多種安全設備缺乏有效整合，面對其產(chǎn)生的海量日志信息，網(wǎng)絡管理人員往往難以應付，網(wǎng)絡安全威脅依然突出。為了將原本孤立的安全設備有機地結(jié)合起來，形成統(tǒng)一的整體，協(xié)調(diào)一致地響應各種安全信息事件，我們提出“統(tǒng)一網(wǎng)絡安全管理平臺”的研究與開發(fā)，它是一種全面的網(wǎng)絡安全解決方案。 統(tǒng)一網(wǎng)絡安全管

2、理平臺通過它的各個數(shù)據(jù)采集Agent收集和分析各安全設備的日志和告警信息，在控制中心對被保護的網(wǎng)絡系統(tǒng)進行整體的報警分析、風險評估，確保安全事件得到及時的響應和處理。其中，從各種安全設備高效、靈活地采集日志數(shù)據(jù)是進行統(tǒng)一網(wǎng)絡安全管理的一項重要的工作。但由于日志數(shù)據(jù)來源廣泛、格式不同、數(shù)據(jù)量大，這些都給日志的采集工作造成了相當?shù)碾y度。于是，本文提出一種分布式數(shù)據(jù)采集代理框架，它可以有效的解決該平臺中的日志采集問題，而且能適用于各種不同結(jié)構

3、、不同規(guī)模的網(wǎng)絡環(huán)境。 為此，本文在對統(tǒng)一網(wǎng)絡安全管理平臺進行整體分析的基礎上，研究了數(shù)據(jù)采集的插件技術、事件類型，結(jié)合Agent技術設計并實現(xiàn)了數(shù)據(jù)采集Agent模型。以數(shù)據(jù)采集Agent模型為基礎，本文進一步研究、設計了分布式日志數(shù)據(jù)采集代理的框架結(jié)構以及分級結(jié)構中的事件多級融合、組件之間通信機制。該分布式數(shù)據(jù)采集代理框架可應用于不同規(guī)模的網(wǎng)絡環(huán)境，具有多方面的靈活擴展性，強大的實時監(jiān)控能力，事件多級融合機制，安全、高效的數(shù)