基于Spark的云化報(bào)表系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著4G業(yè)務(wù)的發(fā)展，業(yè)務(wù)模式更新?lián)Q代，其規(guī)模也迅速擴(kuò)大，業(yè)務(wù)數(shù)據(jù)量成線性地增長(zhǎng)。報(bào)表系統(tǒng)通過(guò)存儲(chǔ)過(guò)程實(shí)時(shí)地處理營(yíng)業(yè)員或者營(yíng)業(yè)廳的當(dāng)天全量數(shù)據(jù)，尤其在報(bào)表查詢高峰期的情況下，會(huì)導(dǎo)致一段時(shí)間內(nèi)數(shù)據(jù)庫(kù)的處理壓力倍增，從而拖累整個(gè)系統(tǒng)的正常運(yùn)行。對(duì)于營(yíng)業(yè)員來(lái)說(shuō)，下班查帳時(shí)表現(xiàn)得更為明顯。由于存在以上問(wèn)題，本文才設(shè)計(jì)了云化報(bào)表系統(tǒng)。
　　本文的報(bào)表系統(tǒng)主要完成以下幾個(gè)方面的工作：
　　本文的云化報(bào)表系統(tǒng)主要包含四個(gè)層面的工作，分別是數(shù)

2、據(jù)抽取層，Spark計(jì)算層，業(yè)務(wù)邏輯層和界面層。數(shù)據(jù)抽取層的工作主要是實(shí)時(shí)增量數(shù)據(jù)的抽取，生產(chǎn)庫(kù)使用OGG（Oracle Golden Gate）同步到鏡像庫(kù)過(guò)程中生成的增量數(shù)據(jù)文件，利用Kafka消息系統(tǒng)把增量數(shù)據(jù)發(fā)送到Spark計(jì)算層；Spark計(jì)算層的作用是實(shí)時(shí)增量數(shù)據(jù)的計(jì)算，利用Spark Streaming處理訂閱的Kafka消息，處理Kafka發(fā)送的增量數(shù)據(jù)，首先把增量數(shù)據(jù)備份到HBase上，計(jì)算完成后再把數(shù)據(jù)存入Redis