基于Web挖掘的網站邏輯結構生成系統(tǒng).pdf

1、隨著單個web站點的日益龐大，web超鏈結構的日趨復雜，傳統(tǒng)的建立在單個網頁和單純超鏈結構上的web模型已很難適應基于各種不同應用需求的web分析。為有效解決web分析所需知識的表示、應用與獲取問題，新的web模型應能充分體現(xiàn)網頁間的邏輯關聯(lián)信息以及網站內部的組織結構特征。本文首先建立了一種新的web站點邏輯結構模型，然后提出了三種web邏輯結構挖掘算法并實現(xiàn)了一個完整的web站點邏輯結構自動生成系統(tǒng)。在實驗部分，通過對當前幾個大型的知

2、名web站點進行實際測試，以及與wen syan li等人的經典算法進行對比測試，表明算法在精度上能夠達到較好的水平，而在效率上則有明顯優(yōu)勢。本文所作的工作主要有以下幾點： (1) 提出了建立在web站點邏輯域及其導入路徑之上的web站點邏輯結構模型。 (2) 以上述模型為最終目標，提出了兩種邏輯域挖掘算法和一種邏輯域導入路徑挖掘算法，分別是：基于網頁分塊聚類和基于邏輯域核的web站點邏輯域挖掘算法以及基于啟發(fā)式規(guī)則的邏

3、輯域導入路徑挖掘算法。 (3) 以上述算法為基礎，設計并實現(xiàn)了web站點邏輯結構自動生成系統(tǒng)。該系統(tǒng)能夠自動從給定站點的入口地址，抓取回指定數(shù)量的網頁。對取回的網頁，生成其基于超鏈拓撲結構的有向圖和儲存每個網頁相關信息的網頁信息庫，并以這兩個數(shù)據(jù)結構為基礎，通過運行上述算法，最終得到web站點的整體邏輯結構。 (4) 考慮到算法的可用性，在算法的效率上也進行了較深入的研究。對耗時最多的基于邏輯域核的挖掘算法，其時間復雜度