Web文本挖掘技術在網頁推薦中的應用研究.pdf

1、隨著科學技術的發(fā)展，目前Web成為了世界上最大的數據源。這些信息在頁面上的分布廣且無固定結構，因此面對龐大復雜的信息，人們獲得有用的知識顯得越來越困難，同時也難以滿足用戶對感興趣的知識的渴求。在這種背景下，推薦系統(tǒng)應運而生。它根據用戶的愛好或者瀏覽信息的相關性給用戶推薦對象。
　　 本文主要研究Web文本挖掘技術在網站文本推薦中的應用。首先根據前人研究成果提出一種基于該技術的模型，然后按照該模型的流程依次剖析Web頁面主要內容的

2、提取、Web文本的聚類和一種改進的推薦算法。推薦算法作為模型核心，內容的提取作為文本聚類算法和改進推薦算法的輸入，文本聚類則作為推薦算法中的預處理步驟。本文研究內容如下:
　　 1，基于經典推薦模型，結合Web文本的特點，設計出一個針對網站中文本的推薦模型。
　　 2，研究了Web頁面結構的解析及如何從結構化樹中查找到本頁面的主要內容。推薦內容的總學習數據庫可以通過網絡爬蟲獲取，同時利用深度優(yōu)先算法構建DOM（Docum

3、entObjectModel）樹。利用剪枝技術剔除無用節(jié)點，最后提取出頁面主要內容。
　　 3，Web文本的聚類研究。針對歐氏距離等常用距離的不足，提出近似推土機距離(approximateEMD)。利用近似EMD(EarthMover'sDistance)距離代替常規(guī)距離，使得實體間的度量更加精確。實驗采用中國科學院計算技術研究所的文本數據，基于歐氏距離的DBSCAN算法聚類的平均正確率是78.9％，基于EMD的改進算法的平均