基于條件隨機(jī)場(chǎng)的垃圾郵件識(shí)別.pdf

1、條件隨機(jī)場(chǎng)最早提出是用來(lái)解決標(biāo)注問(wèn)題的，它沒(méi)有隱馬爾科夫模型被人詬病的獨(dú)立性假設(shè)問(wèn)題，也沒(méi)有最大熵模型的標(biāo)注偏置問(wèn)題，這些優(yōu)點(diǎn)使得條件隨機(jī)場(chǎng)模型成為了目前標(biāo)注領(lǐng)域最好的模型。
　　應(yīng)用條件隨機(jī)場(chǎng)模型處理郵件的分類，首先要把待分類的郵件樣本表示成條件隨機(jī)場(chǎng)的觀測(cè)序列，還需要把郵件的類別（垃圾郵件，非垃圾郵件），表示成條件隨機(jī)場(chǎng)的狀態(tài)序列；再結(jié)合文本分類領(lǐng)域方面的知識(shí)來(lái)構(gòu)造特殊類型的特征函數(shù)來(lái)提取狀態(tài)序列、觀測(cè)序列間的特征，本文推廣常

2、用的一階鏈?zhǔn)綏l件隨機(jī)場(chǎng)到含有跳鏈的鏈?zhǔn)綏l件隨機(jī)場(chǎng)，提取特征函數(shù)時(shí)考慮狀態(tài)序列更多節(jié)點(diǎn)間的相關(guān)性，給出了所有可能特征函數(shù)的一般形式；進(jìn)而完成模型的構(gòu)建，因?yàn)樵诿糠忄]件樣本和郵件類別間都可以構(gòu)建條件隨機(jī)場(chǎng)，并計(jì)算郵件樣本屬于給定類別的條件概率，本文對(duì)各封郵件間的性質(zhì)做出了更多的假設(shè)，分為相互獨(dú)立和具有馬爾科夫性兩種情況（前者是后者的一種特殊情形），分別構(gòu)建樣本的聯(lián)合條件概率，并給出了各自參數(shù)極大似然估計(jì)的簡(jiǎn)單推導(dǎo)。最后再完成模型的預(yù)測(cè)和評(píng)價(jià)