中文短信內(nèi)容過濾算法的實現(xiàn)與應用.pdf

1、隨著網(wǎng)絡的發(fā)展和手機的普及，經(jīng)互聯(lián)網(wǎng)發(fā)送的短信數(shù)量與日俱增。這樣就需要一個短信監(jiān)控系統(tǒng)，對從互聯(lián)網(wǎng)向手機發(fā)送的短信內(nèi)容進行監(jiān)控。但大多數(shù)的短信內(nèi)容提供商無法在其自身的短信服務器上對有害的短信進行復雜的過濾工作。于是，關于“如何對短信服務器的短信內(nèi)容進行有效的管理？”的問題凸顯出來。為了解決這個問題，本文找到并實現(xiàn)了一個適合對中文短信進行內(nèi)容監(jiān)控的過濾算法——ExB+MBDM算法。并將此算法應用于一套自動過濾系統(tǒng)，用以過濾移動夢網(wǎng)上的中文

2、短信。該系統(tǒng)架設在短信內(nèi)容提供商的短信服務器與移動的短信網(wǎng)關之間。
　　那么，什么樣的短信內(nèi)容的過濾方式才能夠滿足實際應用的需求呢？這個問題成為搭建短信內(nèi)容過濾系統(tǒng)的關鍵所在。短信內(nèi)容的過濾方式就是指短信內(nèi)容的過濾算法。短信內(nèi)容過濾算法屬于多模匹配算法的范疇，算法的的優(yōu)劣對整個過濾系統(tǒng)的效率有著巨大的影響。本文重點在于實現(xiàn)適合中文短信內(nèi)容的過濾算法，并對其加以應用。
　　中文短信的內(nèi)容過濾問題具有的：字符集規(guī)模龐大（中文）、

3、模式集中的模式長度小且模式數(shù)量眾多、輸入文本短小等特征。作者在對多種匹配算法分析和實驗后，找到了適合對中文短信內(nèi)容的過濾算法——多模匹配算法，并對該算法進行了實現(xiàn)和應用。
　　本課題所實現(xiàn)的過濾算法（稱為ExB+MBDM算法）在總體上分為預處理階段和匹配階段兩大部分。在預處理階段，將模式關鍵字鏈表、AC自動機和DAWG自動機有機地結合起來，共同組成一個廣義的預處理自動機，來對模式集進行處理；預處理自動機的處理結果，被儲存到一個叫做

4、模式匹配表的靜態(tài)表里，此表就是預處理自動機的靜態(tài)表示。在匹配階段，總體上采用KIM算法的“兩步分析”的思想，將匹配階段分為粗分析和細分析兩個步驟；首先采用ExB算法的“排斥”思想與OM算法的“字符頻率表”技術相結合的方法對輸入短信進行粗分析；然后再利用MBDM算法的匹配方法，對粗分析所挑選出的數(shù)據(jù)進行細分析，另外WM算法的“自動機入口”技術亦有所利用。
　　算法的實現(xiàn)和驗證表明ExB+MBDM算法是正確且有效率的。而基于此算法的過