基于WCF的通信數(shù)據(jù)ETL服務的設計與實現(xiàn).pdf

1、網(wǎng)絡優(yōu)化是在對移動通信數(shù)據(jù)處理分析的基礎上，對現(xiàn)有的網(wǎng)絡設備進行調(diào)整，使之能夠更好的服務廣大手機用戶的重要工作。各大網(wǎng)絡設備與服務的提供商都需要一個數(shù)據(jù)分析平臺對基站所產(chǎn)生的日志文件進行分析，找到網(wǎng)絡中需要調(diào)整的方向或者目前網(wǎng)絡中存在的問題。
　　通過對網(wǎng)絡優(yōu)化中常用的移動通信數(shù)據(jù)的研究和對網(wǎng)絡優(yōu)化工作人員需求的調(diào)查，發(fā)現(xiàn)現(xiàn)有的網(wǎng)絡優(yōu)化工作仍然采用手動的方式，網(wǎng)絡優(yōu)化人員日常工作有相當一部分時間在處理各種各樣的日志文件。數(shù)據(jù)處理程

2、序不完善，很多的常用分析功能都需要人工完成，費時費力，而且重復性工作很多。根據(jù)網(wǎng)絡優(yōu)化工作人員的具體需求，總結(jié)在移動通信領域的數(shù)據(jù)處理需求，最終設計了基于WCF的通信數(shù)據(jù)ETL服務。系統(tǒng)使用WCF寄宿Windows服務的方式向外開放調(diào)用接口，方便外界引用數(shù)據(jù)服務，調(diào)用系統(tǒng)功能。系統(tǒng)使用基于表結(jié)構(gòu)描述的數(shù)據(jù)存儲方式，并對數(shù)據(jù)進行橫向切分，使用SQLServer數(shù)據(jù)庫很好的對大量不同格式的移動通信數(shù)據(jù)進行了表示和存儲。在細致分析需求的基礎上

3、，將數(shù)據(jù)導入過程細化，分為文件列取、下載、解析、保存四個步驟，細致檢測數(shù)據(jù)導入過程，檢測任務異常。系統(tǒng)允許開發(fā)人員通過編寫插件的方式進行二次開發(fā)，在不修改系統(tǒng)的情況下對系統(tǒng)進行直接擴展，增加數(shù)據(jù)處理功能。為了方便數(shù)據(jù)讀取，滿足數(shù)據(jù)透明性，在查詢條件的限制和功能靈活性的平衡上做了一定的嘗試，在考慮系統(tǒng)擴展性，預留計算擴展接口的情況下，提供兩種不同的數(shù)據(jù)讀取方式，并基于這兩種數(shù)據(jù)讀取方式，提供了面向移動通信領域的常用網(wǎng)絡數(shù)據(jù)計算。系統(tǒng)設計和