基于點(diǎn)擊流的Web數(shù)據(jù)挖掘研究與應(yīng)用.pdf

1、安徽大學(xué)碩士學(xué)位論文基于點(diǎn)擊流的Web數(shù)據(jù)挖掘研究與應(yīng)用姓名：許艷丹申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)指導(dǎo)教師：李龍澍201104摘要并結(jié)合數(shù)據(jù)挖掘等技術(shù)，進(jìn)而分析網(wǎng)站用戶的行為的潛在有效信息，從而為網(wǎng)站經(jīng)營(yíng)者提供決策支持。SQLServer2005是微軟下一代的數(shù)據(jù)管理和商業(yè)智能平臺(tái)，在商業(yè)智能方面，SQLServer2005提供了三大服務(wù)，分別是集成服務(wù)(SQLServerIntegrationServices，SSIS)、分

2、析服務(wù)(SQLSewerAnalysisServices，SSAS)和報(bào)表服務(wù)(SQLServerReportingServices，SSRS)。ETL是指將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中抽取(Extraction)、轉(zhuǎn)換(Transformation)、裝載(Loading)的過(guò)程。ETL目的就是對(duì)企業(yè)的異構(gòu)數(shù)據(jù)源中的分散的、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換然后加載到數(shù)據(jù)倉(cāng)庫(kù)中。本文基于點(diǎn)擊流的web日志挖掘研究與應(yīng)用是從Web日志挖掘技術(shù)的理

3、論與方法展開(kāi)研究，研究對(duì)象是建立在安徽國(guó)防科技職業(yè)學(xué)院網(wǎng)站系統(tǒng)之上的web日志數(shù)據(jù)，結(jié)合招生網(wǎng)站的實(shí)際數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理后建立一個(gè)實(shí)驗(yàn)性點(diǎn)擊流數(shù)據(jù)倉(cāng)庫(kù)，旨在實(shí)現(xiàn)以Web日志為數(shù)據(jù)源，獲取用戶潛在信息，為高校如何通過(guò)網(wǎng)絡(luò)高效的推廣宣傳自己、高校生源情況分析以及為網(wǎng)站管理者進(jìn)行網(wǎng)站結(jié)構(gòu)優(yōu)化提供決策支持。本文主要研究的內(nèi)容如下：(1)使用NET語(yǔ)言對(duì)點(diǎn)擊流數(shù)據(jù)源進(jìn)行各種預(yù)處理，為點(diǎn)擊流數(shù)據(jù)倉(cāng)庫(kù)的建立提供可靠的數(shù)據(jù)準(zhǔn)備，如：日志過(guò)濾、

4、用戶識(shí)別、會(huì)話識(shí)別等。對(duì)于用戶識(shí)別，本文綜合考慮各種方法的優(yōu)缺點(diǎn)，采用基于Agent、Session和IP地址的方法。(2)數(shù)據(jù)挖掘技術(shù)的方法、工具有很多，SSIS(SQLServerIntegraUonServices)是SQLServer2005中的一個(gè)全新的組件，它提供了構(gòu)建企業(yè)級(jí)數(shù)據(jù)整合應(yīng)用程序所需的功能和性能且具有可視化調(diào)試等特點(diǎn)。本文選擇采用基于SSIS的數(shù)據(jù)倉(cāng)庫(kù)ETL工具完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載工作，并將其應(yīng)用到了安徽國(guó)