基于領域信息加權的文本相似度計算研究與實現(xiàn).pdf

1、信息資源通過Internet的全球化共享使科學技術在各種領域的研究進展和成果日益多的得到關注。在管理有關學術研究方面的信息時需要對各種領域的專家信息及其研究項目內容信息進行有效和有序的管理，其中最關鍵的技術是對文本信息的處理，而文本相似度的計算是其中非常基礎的問題。本文在實現(xiàn)文本相似度計算的過程中針對包括常用的文本特征選擇方法不完善和文本表示模型考慮因素不全面等問題做了以下工作：
　　1.在文本預處理階段，基于最大匹配算法并結合統(tǒng)

2、計策略建立了一個分詞系統(tǒng)。該系統(tǒng)的分詞詞典被建立成了雙層哈希結構并通過結合統(tǒng)計策略為系統(tǒng)添加了對未登錄詞的自動識別功能。該方法不僅提高了分詞精度還因詞典的合理有效存儲加快了預處理的速度。
　　2.在特征選擇時，通過建立領域特征詞集合對原始特征進行二次選擇。該方法是根據(jù)詞在不同類別中互信息的表征差異，通過計算詞與不同類別的互信息的差值來實現(xiàn)的。它在一定程度上抑制了單純使用互信息時因出現(xiàn)一個詞在多個領域中有較大的互信息而產生的特征“噪

3、聲”。
　　3.在相似度計算時，結合文本分類對以詞作為最小單位生成的TF-IDF項進行領域信息的加權并引入了分類的后驗概率作為一個衡量領域類別信息加權可信度的指標，使分類與加權形成一個自適應的模式。該方法彌補了傳統(tǒng)TF-IDF忽略詞包含的領域信息（即一個詞對特定領域類別的表征能力）這一不足。
　　最后采用復旦大學搜集的語料和廣西開發(fā)院科技項目評估系統(tǒng)中專家的真實信息作為實驗對象，對比了基于傳統(tǒng)互信息和基于建立領域特征詞的方法