MapReduce在Web日志挖掘中的應(yīng)用.pdf

1、隨著Internet的迅猛發(fā)展與互聯(lián)網(wǎng)用戶的快速增加，Internet上的數(shù)據(jù)也呈爆炸式的增長。對于互聯(lián)網(wǎng)提供商來說，這些海量數(shù)據(jù)中隱藏著大量有用的信息和知識，而這些信息和知識對分析用戶的各項需求和評估產(chǎn)品的效果有著重要的意義。但是長期以來，海量數(shù)據(jù)的分析和處理都是一個艱巨而復(fù)雜的任務(wù)，高速準確的從這些海量數(shù)據(jù)中挖掘出有用的信息和知識，可以讓互聯(lián)網(wǎng)提供商在激烈的商業(yè)競爭中占領(lǐng)先機，從而獲取商業(yè)上的成功與經(jīng)濟利益。
　　在這些需要處

2、理的海量信息中包括了存儲于網(wǎng)站服務(wù)器上的用戶訪問Web頁面的日志記錄，從這些日志記錄中分析和發(fā)現(xiàn)用戶訪問的規(guī)律和模式對互聯(lián)網(wǎng)提供商有著重要的意義，它可以使Web站點的結(jié)構(gòu)更為合理，更好的面向用戶提供有針對性商業(yè)服務(wù)，優(yōu)化用戶體驗。但是存在于這些日志中龐大的數(shù)據(jù)量和信息已經(jīng)不是傳統(tǒng)單機串行方式能夠應(yīng)對的了，這樣一項新興的技術(shù)-云計算進入了大家的視野。云計算作為一項新興的技術(shù)，是網(wǎng)格計算、分布式計算、并行計算等技術(shù)相互融合的產(chǎn)物，它旨在將眾

3、多較為低端的計算實體整合為一個完美的系統(tǒng)，因而被眾多IT巨頭所看重，稱為未來IT技術(shù)發(fā)展的一個重要方向。
　　MapReduce編程模型作為云計算中的一項核心技術(shù)，是Google公司于2004年提出的，它提供了一系列簡單而有強大的接口，通過這些接口，可以把大尺度的計算自動并發(fā)和分布執(zhí)行，從而實現(xiàn)大規(guī)模分布式并行計算。Hadoop作為MapReduce的開源實現(xiàn)，一經(jīng)推出就引起了廣大IT廠商的注意，并得到了廣泛的應(yīng)用，具有很高的商業(yè)

4、價值與應(yīng)用前景。
　　本文介紹了Web日志挖掘的整個過程，并對Hadoop平臺相關(guān)技術(shù)與開發(fā)方法進行探討，詳細介紹了Hadoop分布式文件系統(tǒng)HDFS與Hadoop中的MapReduce框架，在前文的基礎(chǔ)上對關(guān)聯(lián)規(guī)則挖掘算法的重點研究。在通過研究了幾種傳統(tǒng)串行、并行關(guān)聯(lián)規(guī)則算法，分析各自的優(yōu)缺點之后，針對MapReduce編程模型的特點設(shè)計改進了基于劃分的AprioriTid算法。在文章的最后，實現(xiàn)了基于Hadoop平臺的Web日