基于云計算的海量數(shù)據(jù)挖掘分類算法研究.pdf

1、隨著數(shù)據(jù)存儲量的急劇增加，海量數(shù)據(jù)處理和海量數(shù)據(jù)計算成為了數(shù)據(jù)挖掘領(lǐng)域中一個重要的問題。傳統(tǒng)的串行數(shù)據(jù)挖掘算法往往只能夠處理一些小規(guī)模的數(shù)據(jù)，當(dāng)面對海量數(shù)據(jù)時，它們的執(zhí)行速度會降低甚至無法運行，因此這對目前的數(shù)據(jù)挖掘提出了嚴(yán)峻的挑戰(zhàn)和考驗。而分類算法作為數(shù)據(jù)挖掘中極其重要的一個部分，在信息檢索、網(wǎng)絡(luò)搜索以及CRM等方面扮演著重要的角色。目前絕大多數(shù)的分類算法都是串行的，在處理大數(shù)據(jù)集時可行性差、效率低、分類準(zhǔn)確率低的問題日益突出，導(dǎo)致了

2、計算資源的不可估量以及執(zhí)行時間的無限延長。
　　現(xiàn)代社會所處理的數(shù)據(jù)是海量的，在云計算出現(xiàn)以前，在做數(shù)據(jù)挖掘時以往都期望用高性能機或者是更大規(guī)模的計算設(shè)備來進(jìn)行處理；另外在海量數(shù)據(jù)的背景下，挖掘過程當(dāng)中需要有很好的開發(fā)環(huán)境和應(yīng)用環(huán)境，在這樣的情況下，采用基于云計算的方式來進(jìn)行數(shù)據(jù)挖掘是比較合適的。而且由于目前并行分類算法的缺少，大規(guī)模數(shù)據(jù)集日益龐大，傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)已經(jīng)不能對這些海量數(shù)據(jù)進(jìn)行高效挖掘和利用，如何提高算法的并行性和

3、效率是目前亟需解決的問題。
　　本論文以實驗室粵港關(guān)鍵領(lǐng)域重點突破項目為基礎(chǔ)，分析和研究了輿情分析系統(tǒng)項目中應(yīng)用到的海量數(shù)據(jù)挖掘的相關(guān)技術(shù)。由于輿情分析系統(tǒng)處理的數(shù)據(jù)都來自因特網(wǎng)，每天需要處理的數(shù)據(jù)量非常龐大，要對這些海量數(shù)據(jù)集進(jìn)行訓(xùn)練和分類，就必須保證輿情分析系統(tǒng)能維持在一個穩(wěn)定、高效的環(huán)境。如何提高輿情分析系統(tǒng)分類的效率和性能，是本論文要解決的問題。
　　本論文的先進(jìn)性在于，分類算法在輿情分析系統(tǒng)中是非常重要的一部分，根