基于時間鏈接分析的頁面排序優(yōu)化算法研究.pdf

1、Web結(jié)構(gòu)挖掘是從WWW的組織結(jié)構(gòu)、Web文檔結(jié)構(gòu)和鏈接關系中推導知識的過程。目前基于網(wǎng)絡的組織結(jié)構(gòu)和鏈接關系進行挖掘的算法主要有兩種，其中有代表性的算法主要是Larry Page等人設計的PageRank算法。通過分析和研究PageRank、HITS，TimedPagrank等基于鏈接結(jié)構(gòu)的搜索結(jié)果排名算法，發(fā)現(xiàn)傳統(tǒng)的頁面排序算法偏重于舊網(wǎng)頁，使得一些舊的頁面經(jīng)常出現(xiàn)在檢索結(jié)果的前面。本文引入時間鏈接分析，使用爬蟲抓起頁面時HTTP協(xié)

2、議反饋回來的修改時間作為頁面和鏈接的時間，并綜合考慮頁面的出入鏈接個數(shù)和時間來計算頁面的權重值。所開發(fā)出的WTPR算法，能使新網(wǎng)頁集在排序中上升，同時，高質(zhì)量的舊網(wǎng)頁比普通的舊網(wǎng)頁能獲得較高的排序值。 文研究頁面排序算法，主要做了如下工作： 首先介紹Web結(jié)構(gòu)數(shù)據(jù)挖掘，對Web鏈接分析的工作原理及相關定義進行了詳細的介紹，分析了Web鏈接分析的研究現(xiàn)狀和主要工作，為下面章節(jié)介紹基于超鏈接分析的頁面排序算法打下了堅實的基礎

3、。 其次針對PageRank算法存在的這些缺陷，引入時間鏈接分析，通過分析爬蟲Websphnix抓起頁面時HTTP協(xié)議反饋回來的網(wǎng)頁最后修改時間來表示網(wǎng)頁年齡，并在此基礎上對網(wǎng)絡的組織結(jié)構(gòu)和鏈接質(zhì)量以及時間序列進行挖掘。根據(jù)網(wǎng)頁年齡，提出了基于網(wǎng)頁年齡衰減的頁面排序算法Age-WPR，并進行了實驗驗證。 繼而針對靜態(tài)網(wǎng)頁年齡不能滿足當前網(wǎng)絡的動態(tài)變化，以及頁面時間的不確定性，本文提出了興趣區(qū)間的概念，并具體定義了動態(tài)網(wǎng)絡