Web日志頻繁序列模式挖掘的研究.pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來越豐富，如何分析和利用這些海量的數(shù)據(jù)是當前突出的問題。Web日志挖掘是網(wǎng)絡信息處理的一門新技術，也是數(shù)據(jù)挖掘在Internet領域的一個重要應用。 頻繁序列模式挖掘是Web日志挖掘的一個重要研究方向，通過它可以用來改善Web站點的組織結構，提高網(wǎng)站的性能。序列模式挖掘(sequence pattem mining)是由R.Agawal和R.Sfikant在1995年提出

2、的，給定一個序列集，其中每一個序列由項集構成，然后給定用戶確定的最小支持度閾值，序列模式挖掘就是去發(fā)現(xiàn)所有的頻繁子序列(即：這些子序列的出現(xiàn)頻率不小于給定的最小支持度)。Web日志挖掘的過程包括三個步驟：數(shù)據(jù)預處理、模式發(fā)現(xiàn)和模式分析。本文主要對數(shù)據(jù)預處理和模式發(fā)現(xiàn)兩個步驟進行研究。 數(shù)據(jù)預處理是Web日志挖掘的重要環(huán)節(jié)，它決定著模式發(fā)現(xiàn)和模式分析算法的性能。Web日志挖掘的數(shù)據(jù)預處理主要包括5個階段：數(shù)據(jù)凈化、用戶識別、會話識

3、別、路徑完善和事務識別等。本文對數(shù)據(jù)預處理的各個環(huán)節(jié)進行研究，并介紹各個環(huán)節(jié)中的一些特殊處理方法，根據(jù)對Web服務器日志數(shù)據(jù)格式的分析，對會話概念進行了形式化描述，然后在分析目前會話構造算法的基礎上，主要提出了一種基于時間和引用的啟發(fā)式方法來構造會話。序列模式挖掘同關聯(lián)規(guī)則挖掘具有很大的相似性，但也有不同的地方，本文通過比較序列模式和關聯(lián)規(guī)則，更清楚地體現(xiàn)了序列模式的特點。當前的頻繁序列模式的挖掘算法一般都是基于Apriori的改進算法

4、，這種算法由于每生成一個k-頻繁項集，都需要掃描整個事務數(shù)據(jù)庫，因此在查找最大頻繁項集上花費的時間代價太大，而本文采用了一種基于后綴樹的頻繁序列模式的挖掘算法有效的解決了Apriori算法的不足。后綴樹是一種數(shù)據(jù)結構，存儲了給定字符串的所有后綴的壓縮樹。建筑后綴樹所花費的時間只與字符串的長度有關，而查找最大頻繁序列模式是通過對后綴樹的深度優(yōu)先遍歷來實現(xiàn)的，由于這兩種算法都可以在線性時間內(nèi)完成，因而大大提高了效率。 通過實驗驗證，