基于維基百科的漢語詞語及短文本相關度計算方法研究.pdf

1、隨著網(wǎng)絡信息技術的不斷發(fā)展，文本作為信息的重要載體也隨之大量涌現(xiàn)，因而文本的自動處理就成為了信息處理的一個重要領域。詞語和文本的相關度計算作為文本信息處理的重要研究方向，越來越多的被國內(nèi)外研究者所關注，同時它也是信息檢索、文本分類、詞義消歧、機器翻譯等多種自然語言處理技術的重要基礎。為了促進自然語言處理技術的發(fā)展，研究詞語和文本相關度計算具有重要的理論意義和現(xiàn)實意義。
　　本文提出了基于中文維基百科分類體系和文檔鏈接的詞語相關度計

2、算方法。傳統(tǒng)的大部分漢語詞語相關度計算方法是基于知網(wǎng)（HowNet）的。本文將中文維基百科作為語義資源，利用其分類層次、概念文檔之間的鏈接來計算漢語詞語之間的相關度。在借鑒向量空間模型和谷歌相似度（Google Similarity Distance）計算方法基礎上，通過構建分類圖和相關語義向量來實現(xiàn)漢語詞語相關度的計算。
　　詞語的語義相關度可以利用到文本之間的相關度計算中，尤其對于短文本，短文本作為文本的一種，它具有獨特的語言

3、特征，單條短文本長度一般都非常短，因此樣本特征非常稀疏，很難準確抽取有效的語言特征，難以充分挖掘與利用特征之間的關聯(lián)性。本文綜合考慮短文本的結構特點，并且根據(jù)詞語語義相關度值，提出了最大序列算法和動態(tài)權值算法。
　　本文抽取了中文維基百科的文檔鏈接、分類體系、重定向鏈接等語義資源，實驗測試分別使用測試集WordSimilarity-353和新聞標題等短文本語料對本文提出的基于中文維基百科的詞語相關度算法和短文本相關度算法進行了實驗