基于Spark的Fp-Growth算法的并行化實現(xiàn)與優(yōu)化.pdf

1、隨著計算機技術(shù)尤其是網(wǎng)絡(luò)技術(shù)的發(fā)展，計算機需要處理的數(shù)據(jù)也呈現(xiàn)急速的增長。傳統(tǒng)的數(shù)據(jù)挖掘算法基本上都是串行的算法，運行在單機上，由于硬件資源的限制，面對海量的數(shù)據(jù)，這些算法并不能高效的進行數(shù)據(jù)挖掘。為了提高傳統(tǒng)的數(shù)據(jù)挖掘算法對大數(shù)據(jù)的處理能力，需要實現(xiàn)算法的并行化，結(jié)合分布式技術(shù)，利用多臺機器的資源來高效的進行數(shù)據(jù)挖掘。
　　Apache Spark是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架，該分布式框架著眼于大數(shù)據(jù)處理，通過將中間結(jié)果緩

2、存在內(nèi)存以減少磁盤 I/O，比基于磁盤的MapReduce框架在性能上有了數(shù)量級的提升，因此可以利用Spark相比于Hadoop的平臺優(yōu)勢來提高算法的并行計算效率和并行化性能。
　　Fp-Growth算法是一種被廣泛應(yīng)用的頻繁模式挖掘算法，在挖掘頻繁模式時效率較高。但針對海量數(shù)據(jù)規(guī)模進行挖掘時，算法會遇到內(nèi)存瓶頸。為了解決在面對海量數(shù)據(jù)時的內(nèi)存瓶頸。結(jié)合Spark平臺的優(yōu)勢，經(jīng)典的Fp-Growth算法的各個步驟可以實現(xiàn)并行化。并