基于鏈接相似性分析的WEB結構挖掘方法研究.pdf

1、WEB服務和應用近年來得到了飛速發(fā)展,其信息量呈幾何級數增長,每天都有數以百萬計的網頁加入到WEB中。它已經成為了一個涉及教育、政府、電子商務、新聞、廣告、消費信息、金融管理和許多其它信息服務的、巨大的、分布廣泛、全球性的信息服務中心。WEB網頁它們之間相互鏈接,盤根錯節(jié),組織成了一個類似于人類社會的網絡,結合鏈接相似性分析方法,將對WEB資源挖掘進行研究,幫助人們高效的獲取所需信息,尋找所需領域的權威信息。
　　本文針對WEB結

2、構挖掘中的四個問題進行研究:WEB頁面鏈接預測算法、垃圾頁面(SPAM)識別算法、WEB結構挖掘算法以及WEB頁面聚類算法。
　　首先,提出了基于相似性的多路徑游走鏈接預測算法。1)提出新的衰減因子,通過使用新的衰減因子定義出新的相似度公式;2)改進 Rubin算法,與新的相似度公式相結合進行相似度計算,得出節(jié)點的相似度;3)對節(jié)點相似度排序,從而進行預測可能性判斷,得出預測結果。4)最后通過實驗對算法進行了驗證。
　　其次

3、,提出了頁面互相鏈接相似度的概念,然后給出了一個Spam頁面鏈接結構的假設,并且提出了一種基于頁面互鏈接相似度聚類的Spam頁面識別算法,該算法考慮了網頁之間會出現的彼此互相連接的關系,因此更加合理;并通過實驗分析,驗證了所提假設,并實驗驗證了算法的有效性。
　　再次,針對 PageRank算法其存在的“主題漂移”和偏重舊網頁現象,提出了一種基于相似度和時間反饋因子的改進PageRank算法。第一步,利用向量空間模型VSM來計算鏈

4、接文本和其指向網頁之間的相似度;第二步,根據網頁產生時間,設計一個時間反饋因子,削弱舊網頁的網頁等級值,提高新網頁的網頁等級值;第三步,將相似度值和時間反饋因子融入到 PageRank算法計算網頁等級值中,根據算法流程計算改進后網頁的PageRank值。最后通過實驗對算法的性能進行了分析。
　　第四,研究國內外已有的基于局部信息的啟發(fā)式聚類方法研究現狀,然后進行總結分析;并詳細研究基于局部信息的標簽傳播方法,分析該算法在迭代過程中