消除重復(fù)藏文網(wǎng)頁的完整解決方案(圖文)

1、消除重復(fù)藏文網(wǎng)頁的完整解決方案消除重復(fù)藏文網(wǎng)頁的完整解決方案(圖文圖文)2藏語及藏語編碼2.1藏語特點藏文共有30個輔音字母，4個元音符號，有自身一套嚴(yán)格而完整的字母組合排列規(guī)則。藏文除了進(jìn)行橫向拼寫外，同時還進(jìn)行縱向拼寫，即前加字、基字（字元）、后加字、再后加字進(jìn)行橫向拼寫，字元本身還可以是基字與上加字、下加字、元音的縱向拼寫。音節(jié)連寫時中間用點隔開，將兩點之間的部分稱為音節(jié)。音節(jié)中的縱向單位叫字丁，一個音節(jié)至少1個字丁，最多4個字丁

2、，即最多7個成分(基字、上加字、下加字、前加字、后加字、又后加字，元音)構(gòu)成，7個成分中除基字外，其它成分少一個或幾個仍然可以成音節(jié)。字丁是音節(jié)的基本單位，音節(jié)是語音結(jié)構(gòu)的基本單位，詞匯有音節(jié)構(gòu)成，按照一定的語法結(jié)構(gòu)構(gòu)成句子[1]。（例如圖一）藏文的字符可以通過疊加組合為新的字形，其變化形式異常復(fù)雜，所以從信息處理的角度而言藏文屬于復(fù)雜文字的范疇。論文參考。2.2藏語編碼特點藏語編碼千差萬別，從區(qū)域上大體分為兩類：國內(nèi)編碼和國際編碼。國

3、內(nèi)有方正DOS編碼（以制定者的名字稱呼其編碼主要是因為同樣使用GBK編碼的藏文編碼不止一家，并且字符碼位分布迥然不同，因此本文中國內(nèi)藏文編碼就以制定者的名字加編碼二字稱呼），方正Windows編碼，華光DOS編碼，華光Windows編碼，同元編碼等[357]；國際編碼如Unicode基本集編碼，Unicode基本集編碼和基本集擴(kuò)充集A，ISOIEC106461編碼[8]華光編碼尚未分析過。就一個藏文音節(jié)來分析，采用同元編碼時需要8個字節(jié)

4、；采用方正Windows編碼時需要8個字節(jié)；采用Unicode編碼時需要14個字節(jié)。存儲上的差別在當(dāng)前相對廉價的硬件資源當(dāng)中，尚不能產(chǎn)生制約。但是編碼不統(tǒng)一，就根本無法進(jìn)行消重檢測。3重復(fù)頁面消除消除重復(fù)頁面的一般步驟是：頁面特征提??；相似度計算；根據(jù)閥值消除重復(fù)[2]。3.1頁面特征提取Shingle算法[2]頁面特征提取為算法當(dāng)中的經(jīng)典算法，Shingle在英語里有層層疊放的瓦片的意思，該算法正如其名，下面使用例子來加以說明。例如：

5、藏文已有近一千四百年的歷史，用藏文記載的經(jīng)典文獻(xiàn)、古籍著述和譯作浩如煙海。以5個漢字為一個Shingle粒度，使用該算法處理后，結(jié)果如圖二，正如層層疊放的瓦片。但是藏文Shingle粒度的選擇及粒度的最小單位都沒有人提出。藏文也是拼音文字，是由元音、輔音字符按照書寫順序依次寫出，與英語很類似但與漢語幾乎完全不同，編碼也是這樣。因此通過統(tǒng)計和實驗獲知，Shingle粒度的最小單位應(yīng)該為音節(jié)，藏語音節(jié)是由音節(jié)點劃分出來的，易于劃分，并且藏語