基于HTTP協(xié)議面向藏文文本的實時監(jiān)測技術研究.pdf

1、2014年以來網(wǎng)絡信息安全成為當今社會的熱門話題。網(wǎng)絡信息安全不僅包括網(wǎng)絡信息的保密性、完整性和真實可靠性方面，還包括對網(wǎng)絡中充斥著的大量垃圾信息的監(jiān)管和預防。目前以漢語為對象的垃圾信息過濾以及文本監(jiān)測技術已經(jīng)非常成熟，但是以藏文文本為對象的檢測技術還有待發(fā)展。隨著藏文編碼國際標準和國家標準的發(fā)布和普及，藏文分詞技術的日益完善和提高，基于藏文國際編碼標準和藏文分詞技術的各類應用需求不斷呈現(xiàn)出來。
　　網(wǎng)絡信息安全對維護國家利益，維

2、護社會穩(wěn)定，推動信息技術發(fā)展有著重要意義。遏制垃圾信息的傳播，以及對出現(xiàn)垃圾信息的及時預警是網(wǎng)絡信息安全不可或缺的一部分。一個實時監(jiān)測預警系統(tǒng)能起到維護網(wǎng)絡環(huán)境和諧、快速反應敏感信息、協(xié)助網(wǎng)管人員及時處理突發(fā)情況等作用。
　　本文提出了基于HTTP協(xié)議面向藏文文本的實時監(jiān)測系統(tǒng)的整體構架，并根據(jù)此架構實現(xiàn)了一個藏文文本實時監(jiān)測系統(tǒng)。文中主要通過研究基于HTTP的數(shù)據(jù)還原技術，實時抓取網(wǎng)絡中傳輸?shù)幕贖TTP協(xié)議的數(shù)據(jù)包，并對數(shù)據(jù)包

3、進行排序、拆分重組、數(shù)據(jù)解壓，從而實現(xiàn)實時還原HTTP數(shù)據(jù)內容；通過研究多語言環(huán)境中藏文文本抽取方法，根據(jù)還原文本數(shù)據(jù)的編碼方式，采取對應的藏文文本抽措施，實現(xiàn)抽取藏文文本的功能；通過研究有限自動機（DFA）算法和哈希表查找算法，利用有限自動機的思想，結合哈希表查找算法的特性，提出一個高效的關鍵詞查找算法，實現(xiàn)實時預警關鍵詞的功能。本文首次提出并實現(xiàn)將藏文分詞技術應用到藏文文本實時監(jiān)測系統(tǒng)中。藏文分詞技術的應用，有利于提高實時預警系統(tǒng)的