基于詞匯集聚的網絡文本相關度計算.pdf

1、隨著Internet網信息的急速膨脹，各項和Web有關的服務也都逐漸增多，Web信息在很多方面得到了廣泛的應用。在本文中，我們探索了網絡文本之間的相關度計算方法。重點討論了以下兩個問題：
　　首先，網絡文本的獲得。網絡文本的獲得是指從網頁中抽取出主題正文信息，屬于信息抽取。網頁具有半結構化的特點，其內容不光有我們所要的表達某一主題的文本，還有以盈利為目的廣告信息、用來指示與該網頁相關聯的網頁的鏈接及鏈接描述（錨文本）、給瀏覽器閱讀

2、的網頁源代碼等等，從中抽取出其中表達某一主題的文本，過濾掉不相干的信息，這是我們所要研究的內容。
　　其次，文本相關度的計算。文本相關度指文本之間聯系的緊密程度。人們常?；谙蛄靠臻g模型來計算文本之間的相關度。
　　本文首次用最大熵解決了網絡文本的獲取問題，提出了基于最大熵的網頁正文信息抽取算法；對于文本相關度計算，我們研究了詞匯集聚與文本主題之間的關系，分析了詞匯集聚反應文本主題的幾個因素，并組合了這些因素，最后我們提出了