基于positive和unlabeled樣本的半監(jiān)督分類(lèi)研究.pdf

1、隨著網(wǎng)絡(luò)的迅速發(fā)展，文本信息的數(shù)量也日益增加，文本分類(lèi)成為處理和解決大量文本數(shù)據(jù)的關(guān)鍵技術(shù)。傳統(tǒng)的文本分類(lèi)，通過(guò)預(yù)先定義類(lèi)別或者標(biāo)記類(lèi)別，對(duì)大量樣本數(shù)據(jù)的訓(xùn)練構(gòu)建合理的分類(lèi)器。提出了一些有效的方法，如Rocchio algorithm，，the naive Bayesian method(NB)，support vector machines(SVM)。這些方法被稱(chēng)為基于機(jī)器學(xué)習(xí)的有監(jiān)督學(xué)習(xí)方法，他們需要獲得大量的人工標(biāo)注的訓(xùn)練文檔。通

2、過(guò)對(duì)訓(xùn)練文檔的學(xué)習(xí)，計(jì)算分類(lèi)器的參數(shù)，對(duì)文檔集進(jìn)行分類(lèi)的過(guò)程。然而獲得大量的、帶有類(lèi)別標(biāo)注的樣本的代價(jià)是相當(dāng)昂貴的，而這些方法只有通過(guò)大規(guī)模的訓(xùn)練才能獲得較高精度的分類(lèi)效果。此外，在實(shí)際應(yīng)用中，分類(lèi)體系常常是不一致的，這為目錄的日常維護(hù)帶來(lái)了一定的困難。無(wú)監(jiān)督學(xué)習(xí)在無(wú)訓(xùn)練樣本的情況下，針對(duì)樣本分布特征進(jìn)行樣本標(biāo)注，但是準(zhǔn)確性較差。從而引出了是否能夠從帶有類(lèi)別標(biāo)注和不帶有類(lèi)別標(biāo)注的混合文檔中分類(lèi)文本的問(wèn)題。它只需要部分帶有類(lèi)別標(biāo)注的訓(xùn)練樣

3、本，結(jié)合未標(biāo)注樣本含有的知識(shí)來(lái)學(xué)習(xí)構(gòu)建分類(lèi)器。為了區(qū)別于傳統(tǒng)的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，在機(jī)器學(xué)習(xí)的領(lǐng)域被稱(chēng)為半監(jiān)督學(xué)習(xí)。本文主要以此為思想基礎(chǔ)，研究在僅有Positive樣本或者少量訓(xùn)練樣本的情況下，如何通過(guò)對(duì)Unlabeled樣本數(shù)據(jù)的有效學(xué)習(xí)，來(lái)挖掘潛在的有價(jià)值的信息，優(yōu)化分類(lèi)器的參數(shù)，對(duì)Unlabeled樣本進(jìn)行較高準(zhǔn)確率的分類(lèi)。 本文主要做了以下幾方面工作： 1.研究貝葉斯模型標(biāo)注positive和unlabele

4、d樣本，結(jié)合EM迭代算法，估計(jì)未帶標(biāo)簽的樣本缺值。引入了相關(guān)的聚類(lèi)算法，包括分類(lèi)器初始前的樣本值研究，以及EM極大似然估計(jì)過(guò)程中的性能計(jì)算。 2.采用信息熵的離散事件概率估計(jì)理論，研究高斯分布中負(fù)例樣本的產(chǎn)生及其準(zhǔn)確率。在一定的約束條件下，選擇具有最大不確定性的分布.判斷詞的概率分布，從而整體上判斷某一未標(biāo)樣本是否用于當(dāng)前分類(lèi)器的分類(lèi)樣本。熵值反應(yīng)了特征詞分布的差異情況，如果熵值較大，說(shuō)明該詞與訓(xùn)練樣本數(shù)據(jù)就越有可能有類(lèi)似的分布

5、。對(duì)于一個(gè)與訓(xùn)練樣本數(shù)據(jù)分布差異較大的特征詞，它的熵值較小?；谛畔㈧乩碚摚瑢?duì)數(shù)據(jù)的標(biāo)準(zhǔn)化處理，采用極大值標(biāo)準(zhǔn)化處理方法。 3.采用主動(dòng)學(xué)習(xí)的方法進(jìn)行半監(jiān)督分類(lèi)，提出了二階段的主動(dòng)學(xué)習(xí)策略。對(duì)于未標(biāo)文檔是否適應(yīng)于當(dāng)前訓(xùn)練集環(huán)境下的分類(lèi)；未標(biāo)文檔中哪些文檔可以作為新加入的訓(xùn)練文檔，完善分類(lèi)器的學(xué)習(xí)。 4.結(jié)合最大熵和機(jī)器學(xué)習(xí)的技術(shù)，在BBS情感分類(lèi)中的一個(gè)應(yīng)用。以詞語(yǔ)的語(yǔ)義傾向識(shí)別為基礎(chǔ)，利用最大熵識(shí)別文檔中具有語(yǔ)義傾向的