Web訪(fǎng)問(wèn)挖掘研究.pdf

1、web訪(fǎng)問(wèn)挖掘研究摘要今天，Web正以驚人的速度發(fā)展著，它己成為人們進(jìn)行信息發(fā)布、交互及獲取的主要工具，人們上網(wǎng)的主要目的也是為了獲取信息。根據(jù)預(yù)測(cè)，在十幾年內(nèi)，人類(lèi)的所有信息都將能在互聯(lián)網(wǎng)上得到。網(wǎng)上如此豐富的數(shù)據(jù)也帶來(lái)了巨大的挑戰(zhàn):怎樣使web變得讓人們更容易獲取信息。當(dāng)前，人們從網(wǎng)上獲取信息的主要工具還是搜索引擎。今天的搜索引擎還存在低精確度、低檢索率、不能充分表達(dá)用戶(hù)的需求、沒(méi)有用戶(hù)定制功能等諸多問(wèn)題。由于web是一個(gè)無(wú)集中控制

2、、無(wú)統(tǒng)一結(jié)構(gòu)、無(wú)完整性約束并可無(wú)限擴(kuò)充的松散的分布式信息系統(tǒng)，并且網(wǎng)上99%的信息對(duì)99%的用戶(hù)是沒(méi)有價(jià)值的[GRS991。網(wǎng)上大部分信息是以HTML文檔的形式存在的，除了超鏈外，沒(méi)有明顯的結(jié)構(gòu)信息，對(duì)文檔內(nèi)容的抽取和分析是相當(dāng)困難的，因而，完全消除搜索引擎存在的問(wèn)題是不容易的。本文研究web訪(fǎng)問(wèn)挖掘的主要目的是獲取用戶(hù)訪(fǎng)問(wèn)web的目標(biāo)、興趣和偏愛(ài)等行為模式，以此來(lái)改進(jìn)Web站點(diǎn)的結(jié)構(gòu)和Web提供服務(wù)的方式，實(shí)現(xiàn)站點(diǎn)的自動(dòng)化管理和信息個(gè)

3、性化服務(wù)，從而幫助用戶(hù)更容易地獲取所需信息。Web訪(fǎng)問(wèn)挖掘?qū)τ陔娮由虅?wù)也有重要意義:可以提高客戶(hù)關(guān)系管理CRM(customerrelationshipmanagement)的質(zhì)量可以幫助進(jìn)行商業(yè)決策和安全管理通過(guò)個(gè)性化服務(wù)，可以實(shí)現(xiàn)電子商務(wù)的最終目標(biāo)一一onetoone的行銷(xiāo)策略。本文所做的研究工作主要有:(1)深入討論了web訪(fǎng)問(wèn)挖掘中，數(shù)據(jù)準(zhǔn)備階段遇到的各種問(wèn)題，給出了一種識(shí)別用戶(hù)訪(fǎng)問(wèn)事務(wù)的簡(jiǎn)單、易行的方法。(2)用戶(hù)瀏覽web時(shí)

4、，有些頁(yè)面瀏覽頻率會(huì)相當(dāng)高，如站點(diǎn)首頁(yè)、嵌有很多超鏈的導(dǎo)航頁(yè)等，因而對(duì)用戶(hù)訪(fǎng)問(wèn)事務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘時(shí)，就會(huì)產(chǎn)生組合爆炸，發(fā)現(xiàn)過(guò)多的規(guī)則而難以理解，本文給出了帶約束關(guān)聯(lián)規(guī)則的快速挖掘算法，解決了組合爆炸問(wèn)題，并使得提交用戶(hù)的規(guī)則的意義更清楚。(3)討論了基于廣義后綴樹(shù)的訪(fǎng)問(wèn)事務(wù)數(shù)據(jù)多功能挖掘方法?；趶V義后綴樹(shù)，能夠快速挖掘用戶(hù)瀏覽web的關(guān)鍵路徑計(jì)算用戶(hù)瀏覽web頁(yè)面的可達(dá)集和可達(dá)概率基于發(fā)現(xiàn)的關(guān)鍵路徑，給出了對(duì)海量日志數(shù)據(jù)聚類(lèi)的C

5、WKP算法，該算法解決了現(xiàn)有聚類(lèi)模型忽略用戶(hù)瀏覽web的有序、連續(xù)、重復(fù)特性及聚類(lèi)維數(shù)過(guò)高的缺點(diǎn)，并且，基于廣義后綴樹(shù)的路徑發(fā)現(xiàn)，不需要關(guān)聯(lián)規(guī)則頻繁侯選集的計(jì)算，因而速度更快，算法具有更好的伸縮性能。(4)對(duì)于發(fā)現(xiàn)的模式，研究了在個(gè)性化服務(wù)，站點(diǎn)的組織、自動(dòng)調(diào)整和重構(gòu)，電子商務(wù)等領(lǐng)域的應(yīng)用方法。對(duì)于個(gè)性化服務(wù)，著重討論了兩種方法:基于推薦的方法和基IResearchonWebAccessMiningAbstractTodaytheWor

6、ldWideWebisrapidlyemergingasanimportantmediumforthedisseminationexchangeandgetingofinformation.AccordingtomostpredictionsthemajorityofhumaninformationwillbeavailableontheWebintenyears.Thesehugeamountsofdataraiseagrandcha

7、llengenamelyhowtoturntheWebintomoreusefulinformationutility.Atpresentthemaintoolsofgettinginformationarestillsearchengines.Todayssearchengineshoweverareplaguedbythefollowingfourproblems:thelowprecisionproblemthelowrecall

8、problemAlimitedqueryinterfacethatisonlybasedonkeywordorientedsearchandhavenofunctionofcustomizationtoindividualusers.TheseproblemsinturncanbeattributedtothefollowingcharacteristicsoftheWeb.FirstandforemosttheWebisahugedi

9、verseanddynamiccollectionofinterlinkedhypertextdocuments.Furthermoreitisbelievedthat99%oftheinformationontheWebisofnointerestto99%ofthepeople.:widelySecondexceptforhyperlinkstheWebislargelyunstructured.Finallymostinforma

10、tionontheWebisintheformofHTMLdocumentsforwhichanalysisandextractionofcontentisverydifficultThereforeitisnoteasytoovercomeallproblemscausedbysearchengines.Inthisthesisweusewebaccessminingtodiscoveruserbrowsingpatternssuch

11、asaimsinterestsandpreferences.Thenthesepaternsareutilizedinimprovingthestructureofwebsitesandthemannerofwebservice.Thuswecanhelpusersgetingwhattheyneedmoreeasilybypersonalizedinformationserviceandautomatedsiteadministrat

12、ion.ItisalsoimportantforEcommercetominethewebaccessdata.Thesignificanceliesinimprovingthecustomerrelationshipmanagementassisting訪(fǎng)makingdecisionandsecuritymanagementandhelpingmerchandisersimplementingaonetoonemarketingstr

13、ategy.Thedissertationiscomposedofthefollowingparts:(1)Wediscussvariousproblemsmetduringdatapreparinginwebaccessminingthengiveasimplemethodtoidentifyuseraccesstransactionsaccordingtohostaddressandbrowserversionusedbyusers

14、whiletheybrowsetheweb(2)Somewebpagesarefrequentlyaccessedforinstancehomepageandnavigationpagesandotherpagesareseldombrowsed.SowhenusingthecurrentApriorialgorithmtodiscoverexplodesassociationrulesfromthesedatawewillmeetat