基于概念描述及內(nèi)容擴(kuò)展的短文本分類方法研究.pdf

1、隨著信息時(shí)代的發(fā)展，使得人們?cè)絹?lái)越依賴手機(jī)和互聯(lián)網(wǎng)獲取信息，而在這些信息中有很大的一部分都是以短文本的形式存放，因此對(duì)這些海量短文本的挖掘能夠很好的了解用戶的興趣信息和輿情走向，幫助我們精確的投放廣告和了解用戶的觀點(diǎn)立場(chǎng)。但是由于短文本的文本長(zhǎng)度較短，通常不會(huì)超過(guò)160個(gè)字符，而傳統(tǒng)的文本挖掘方式往往依賴于文本中的詞頻等統(tǒng)計(jì)信息，因此傳統(tǒng)的文本分類算法應(yīng)用到短文本上效果難以滿足人們的要求?；谶@樣的背景，本文對(duì)短文本分類相關(guān)的技術(shù)進(jìn)行了

2、研究和探索。本文的主要工作和貢獻(xiàn)在于：
　?、偈紫?，針對(duì)文本處理中的近義詞或者同義詞，本文通過(guò)《同義詞詞林》構(gòu)建了一個(gè)概念詞表，使本文中對(duì)短文本進(jìn)行的處理提高到概念層，使得近義詞和同義詞在概念層得到統(tǒng)一的概念，提高檢索相似概念短文本的準(zhǔn)確率；
　?、谄浯?，在真實(shí)短文本語(yǔ)料的基礎(chǔ)上，構(gòu)建了一種使用概念描述的短文本分類方法。該方法首先對(duì)待分類短文本進(jìn)行一個(gè)“概念化”的擴(kuò)展，即使用 BM25算法到數(shù)據(jù)庫(kù)中檢索和待分類短文本擁有相似

3、概念的訓(xùn)練短文本，組合形成長(zhǎng)文本，然后使用傳統(tǒng)長(zhǎng)文本分類器進(jìn)行分類。該方法充分挖掘了短文本所包含的語(yǔ)義信息，并利用了傳統(tǒng)文本分類方法研究相對(duì)成熟的特點(diǎn)，將短文本分類問(wèn)題轉(zhuǎn)化為長(zhǎng)文本分類問(wèn)題，實(shí)驗(yàn)結(jié)果表明該方法可以提高短文本分類的準(zhǔn)確性；
　?、圻M(jìn)而，對(duì)待分類短文本擴(kuò)展時(shí)使用的BM25算法進(jìn)行了改進(jìn)。在對(duì)待分類短文本進(jìn)行檢索擁有相似概念短文本的過(guò)程中，本文使用的是信息檢索領(lǐng)域經(jīng)典的BM25算法進(jìn)行排序，但是BM25算法對(duì)文檔中每種詞