基于Hadoop的大數(shù)據(jù)相關(guān)性分析與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，以及各行各業(yè)辦公網(wǎng)絡(luò)化，人類積累了海量的業(yè)務(wù)數(shù)據(jù)。面對(duì)這些海量數(shù)據(jù)，如何快速高效的挖掘和分析這些數(shù)據(jù)背后的價(jià)值便成為各企業(yè)迫切的需求。本文便是在這樣一個(gè)背景下提出一種大數(shù)據(jù)相關(guān)性分析方法，并實(shí)現(xiàn)相關(guān)性分析過(guò)程。通過(guò)相關(guān)性分析系統(tǒng)分析出大數(shù)據(jù)之間的關(guān)聯(lián)信息，進(jìn)行相關(guān)性分析，從而通過(guò)已有的數(shù)據(jù)去預(yù)測(cè)未知的一種變化趨勢(shì)。本文具體研究?jī)?nèi)容如下:
　　本文搭建了大數(shù)據(jù)分 析處理平臺(tái)，并提出基于維度Rowkey

2、的設(shè)計(jì)算法。針對(duì)大數(shù)據(jù)具有數(shù)據(jù)量大、維度高、復(fù)雜度高、非結(jié)構(gòu)化等特點(diǎn)，搭建了基于Hadoop和HBase的大數(shù)據(jù)的存儲(chǔ)和處理集群，該集群包括5臺(tái)服務(wù)器，其中一臺(tái)作為master節(jié)點(diǎn)，另外4臺(tái)作為slave節(jié)點(diǎn)。通過(guò)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行前期處理，然后提出基于維度Rowkey的設(shè)計(jì)算法，從而實(shí)現(xiàn)有效數(shù)據(jù)切分，使得數(shù)據(jù)均衡的分布在集群中的不同節(jié)點(diǎn)上，從而直接提高分析平臺(tái)的并行計(jì)算效率。
　　本文中，還提出了一種Hadoop/HBase之上的大

3、數(shù)據(jù)分布式索引技術(shù)。目的是要實(shí)現(xiàn)對(duì)大數(shù)據(jù)的高效、實(shí)時(shí)的查詢和檢索。這種多維索引包括全局索引和局部索引兩級(jí)結(jié)構(gòu)，整個(gè)索引的核心在于如何創(chuàng)建局部索引并將它應(yīng)用到全局。接下來(lái)提出一種基于PCA的維度排序算法，對(duì)數(shù)據(jù)進(jìn)行相關(guān)性分析實(shí)驗(yàn)。通過(guò)對(duì)新求出的“主元”向量的重要性進(jìn)行維度排序，然后僅僅保留排名靠前的包含重要信息的那部分維度，從而達(dá)到對(duì)數(shù)據(jù)降維，簡(jiǎn)化模型和壓縮數(shù)據(jù)的效果。最后通過(guò)R軟件對(duì)它們進(jìn)行相關(guān)性分析實(shí)驗(yàn)。最后利用D3和Web技術(shù)實(shí)現(xiàn)了