一種基于Hadoop的KNN增量式算法的設計與實現.pdf

1、隨著海量數據的急劇增長，數據的有效處理和計算成為目前亟待解決的問題。目前，由傳統(tǒng)的機構結構化數據發(fā)展到大量半結構化、非結構化數據，這種趨勢給傳統(tǒng)的數據處理工具帶來了很大的挑戰(zhàn)。云計算技術是目前解決海量非傳統(tǒng)數據的有效途徑之一。云計算技術是將各種軟硬件資源統(tǒng)一放到一個公共的資源池中；應用的個人和單位完全透明地根據需要獲取云計算模型中的計算力、存儲空間等服務。其中，Hadoop平臺是當前廣泛應用于云計算環(huán)境中的處理大規(guī)模海量數據的典型的開源

2、分布式處理系統(tǒng)。Hadoop平臺易于編程的MapReduce并行模式被大量應用到數據挖掘、信息處理和推薦系統(tǒng)中。
　　增量式計算是伴隨海量數據處理產生的一種數據處理方式，該計算模式核心是盡可能用小的計算量來完成盡可能多得計算任務。其中表現在二次數據計算過程中，盡可能地利用之前初次數據計算的結果；二次計算僅針對原始數據變化的部分進行計算，最大限度的整合、重用初次計算結果，最終得到最終的二次計算結果，實現對海量數據的高效處理。

3、　　本文通過分析增量計算的特點和Hadoop平臺框架的優(yōu)劣，選取了數據挖掘領域中常見的KNN分類算法進行并行化，同時針對KNN算法結構進行了Hadoop平臺增量計算改造，提出了一種基于Hadoop平臺的KNN算法的增量計算。本文中著重針對KNN增量計算特征對Hadoop進行源碼級別的改造，而應用層對次改造完全透明。通過選取數據集與原始 Hadoop平臺進行對比，結果表明基于Hadoop平臺的KNN分類增量計算能夠取得和原始Hadoop平