廣告播放質(zhì)量監(jiān)控系統(tǒng)的性能優(yōu)化.pdf

1、隨著移動互聯(lián)網(wǎng)的發(fā)展，網(wǎng)站、視頻和移動客戶端等各種渠道產(chǎn)生的廣告越來越多，使得廣告播放中產(chǎn)生的日志的數(shù)據(jù)量呈現(xiàn)出爆炸式增長的趨勢。原有廣告質(zhì)量監(jiān)控系統(tǒng)隨著廣告日志數(shù)據(jù)爆發(fā)性增長，遇到了性能和擴展上的瓶頸，變得難以滿足業(yè)務(wù)的擴展。如何有效收集、計算和存儲廣告播放過程中大規(guī)模的日志數(shù)據(jù)來實時地分析各地區(qū)的廣告播放情況就成了新的挑戰(zhàn)。
　　大數(shù)據(jù)處理技術(shù)的出現(xiàn)和發(fā)展，為這類問題的解決提供了新的思路。本文針對原有廣告播放質(zhì)量監(jiān)控系統(tǒng)在性能

2、和可擴展性上存在的問題，從數(shù)據(jù)收集，實時計算，數(shù)據(jù)存儲等三方面進行優(yōu)化。通過利用大數(shù)據(jù)處理技術(shù)，包括Flume日志收集系統(tǒng)、RocketMQ消息隊列、Storm實時計算系統(tǒng)和Redis內(nèi)存數(shù)據(jù)庫等，以提升整個系統(tǒng)的性能。
　　論文主要工作如下:
　　第一，優(yōu)化了系統(tǒng)的數(shù)據(jù)收集層，引入Flume日志收集系統(tǒng)作為數(shù)據(jù)收集層實時導(dǎo)入數(shù)據(jù)，使用RocketMQ替代Redis消息隊列，解決了Redis列隊容量受內(nèi)存限制以及消費者故障后

3、可以回溯消費的需求。
　　第二，實時計算邏輯優(yōu)化。根據(jù)廣告播放系統(tǒng)日志需要多時間粒度統(tǒng)計的特點，優(yōu)化計算邏輯，減少寫Redis緩存的次數(shù)。
　　第三，存儲層次化優(yōu)化。采用統(tǒng)一查詢接口服務(wù)，從而通過配置擴容支持Redis按業(yè)務(wù)橫向擴展。利用數(shù)據(jù)庫連接池技術(shù)，以提升統(tǒng)一接口的訪問效率。將熱點緩存清理的方式變成通過RDB文件清理Redis的方式，減少了清理緩存時使用的內(nèi)存。通過Redis監(jiān)控的可視化，從而可以動態(tài)監(jiān)控Redis存儲