基于Mahout的數(shù)據(jù)挖掘平臺的設(shè)計與實現(xiàn).pdf

1、隨著信息化進程的不斷推進，各行各業(yè)擁有的數(shù)據(jù)量急劇增加，越來越多的中小企業(yè)、科研單位等都需要使用數(shù)據(jù)挖掘系統(tǒng)對自己的海量數(shù)據(jù)進行分析和挖掘。而現(xiàn)有的數(shù)據(jù)挖掘系統(tǒng)大多是針對某一特定領(lǐng)域開發(fā)的，系統(tǒng)實現(xiàn)較為復(fù)雜。尤其是處理的數(shù)據(jù)量特別龐大時，就需要通過云技術(shù)來實現(xiàn)挖掘算法，這種實現(xiàn)方式要求開發(fā)人員不但熟練掌握數(shù)據(jù)挖掘的相關(guān)原理應(yīng)用，也必須深入理解云平臺的底層實現(xiàn)機制，而普通開發(fā)人員很難具備這樣的能力，造成了海量數(shù)據(jù)挖據(jù)技術(shù)的商業(yè)化應(yīng)用難以推

2、廣。鑒于此，本文提出了一種以Mahout為基礎(chǔ)的數(shù)據(jù)挖掘平臺，它將在Hadoop云平臺下為用戶提供大規(guī)模數(shù)據(jù)集的挖掘服務(wù)，開發(fā)人員只需要通過調(diào)用本平臺的相關(guān)接口，就可以簡單快捷的構(gòu)建自己的數(shù)據(jù)挖掘應(yīng)用程序，從而將開發(fā)人員從復(fù)雜的數(shù)據(jù)挖掘技術(shù)中解脫出來。
　　在本文中，Mahout相關(guān)的數(shù)據(jù)挖掘算法被作為一種底層應(yīng)用資源來看待，所以數(shù)據(jù)挖掘算法并不是本文的研究重點。本文希望向用戶屏蔽在云平臺上實現(xiàn)數(shù)據(jù)挖掘的具體實現(xiàn)，將數(shù)據(jù)挖掘技術(shù)大

3、眾化、簡單化，從而推廣數(shù)據(jù)挖掘技術(shù)在云平臺上的廣泛應(yīng)用。具體地說，第一，為了使用戶的需求定義簡單明了，本文設(shè)計了用戶定義挖掘需求的相關(guān)規(guī)范，用以描述用戶的具體需求，包括數(shù)據(jù)規(guī)約工具和挖掘策略規(guī)約工具。其中，數(shù)據(jù)規(guī)約工具是定義用戶的數(shù)據(jù)訪問方式，挖掘策略規(guī)約工具是定義一個具體的挖掘策略，它包含了用戶選擇的算法，技術(shù)參數(shù)等內(nèi)容。為了滿足不同人群的應(yīng)用需求，挖掘策略規(guī)約工具還將挖掘參數(shù)設(shè)置分為通用設(shè)置和專業(yè)設(shè)置，通用設(shè)置是面對普通用戶的，專業(yè)

4、設(shè)置是面對有更高需求的挖掘?qū)I(yè)人士的。第二，本文設(shè)計了挖掘需求的解析方法，主要針對挖掘?qū)ο竺枋鑫募屯诰虿呗悦枋鑫募?。第三，為了方便獲取不同的數(shù)據(jù)集，并將其轉(zhuǎn)換成Mahout可以處理的格式，本文提供了各種數(shù)據(jù)源的訪問策略以及數(shù)據(jù)集的轉(zhuǎn)換方法。第四，本文對挖掘任務(wù)的執(zhí)行階段進行了細致劃分，保證任務(wù)的執(zhí)行信息能夠及時反饋，用以實現(xiàn)任務(wù)的實時監(jiān)控。最后，本文設(shè)計了Mahout算法的統(tǒng)一化、簡單化應(yīng)用方式，通過屏蔽不同算法之間的差異，使算法的應(yīng)