基于Hadoop的網(wǎng)絡驗證平臺的研究.pdf

1、云計算[1]是2007年底正式推出的一個嶄新的概念,它可以說是一個歷史性的創(chuàng)新,意味著計算服務也可以作為一種商品進行買賣,就像煤氣、水電一樣,取用方便,費用低廉,而區(qū)別只是在于它是通過互聯(lián)網(wǎng)傳輸?shù)摹，F(xiàn)今為止,Google、IBM、亞馬遜等IT商業(yè)巨頭都提拱了自己的云計算平臺,并把云計算作為其未來發(fā)展的最主要戰(zhàn)略之一。因此,云計算的研究不但緊跟業(yè)界技術發(fā)展的趨勢,同時還具有較高的應用價值。
　　 在云計算系統(tǒng)的后臺,提拱了成千上萬

2、的服務器,如何很好地組織如此巨大的服務器集群是云計算系統(tǒng)穩(wěn)定運行重要問題。一個合理的網(wǎng)絡拓撲結構不僅能夠提高網(wǎng)絡的性能,而且能夠保證網(wǎng)絡的穩(wěn)定性,使網(wǎng)絡在部分節(jié)點或鏈路故障或擁擠堵塞時也能正常工作。云計算系統(tǒng)后端的網(wǎng)絡拓撲特性與一般的網(wǎng)絡拓撲不同,因此我們應該重新考慮和研究。
　　 數(shù)據(jù)是信息的攜帶者,而信息是數(shù)據(jù)的含義,通常情況下認為數(shù)據(jù)是信息系統(tǒng)的基本。使用計算機來處理數(shù)據(jù),提取信息是信息系統(tǒng)的基本需求。在現(xiàn)今高度信息化的社

3、會里,Web可以說是最大的信息系統(tǒng),其數(shù)據(jù)具有海量、多樣、異構、動態(tài)變化等基本特征。如何實現(xiàn)快速有效地從這些數(shù)據(jù)中抽取出對企業(yè)有益的信息已成為程序員在進行軟件開發(fā)過程中碰到的最重要的工作?；谶@個出發(fā)點,本文在分析現(xiàn)有分布式存儲和分布式計算等關鍵技術基礎上,結合對Hadoop的集群技術的研究以及自身的業(yè)務需求和實際軟硬件實力,提出了一種基于Hadoop的海量數(shù)據(jù)處理模型,并從數(shù)據(jù)結構設計、程序流程組織和編程技術的使用等幾個方面來介紹這個

4、模型的開發(fā)方法,最后將該模型應用于網(wǎng)絡驗證平臺的web日志數(shù)據(jù)處理過程中。它允許程序員可以沒有并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗,就能夠處理超大規(guī)模的分布式系統(tǒng)的資源。該模型還可以應用在諸如非文本圖片存儲、搜索引擎、網(wǎng)格計算[2]等需要處理大數(shù)據(jù)量的網(wǎng)絡應用中。
　　 本課題的特點是將研究的模型與實際業(yè)務應用相結合,利用前沿的分布式框架技術來很好地滿足項目的需求,并將模型部署到實例當中,用實驗結果來檢驗模型的實用價值,比如高效率、低成