基于hadoop的海量圖片存儲(chǔ)模型的分析和設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與深入應(yīng)用，出現(xiàn)了越來(lái)越多像“新浪”“騰訊”“淘寶”等大型門戶網(wǎng)站或電子商務(wù)網(wǎng)站。這些網(wǎng)站都存儲(chǔ)有大量圖片資源，且圖片數(shù)量呈爆炸式的增長(zhǎng)。鑒于商業(yè)存儲(chǔ)擴(kuò)容成本太高，如何在滿足高并發(fā)訪問(wèn)的前提下構(gòu)建廉價(jià)高效的圖片存儲(chǔ)管理系統(tǒng)已經(jīng)成為軟件架構(gòu)師在工作中遇到的最令人頭疼的問(wèn)題。
　　云存儲(chǔ)概念的提出給我們指出了一種解決思路，通過(guò)研究分析，我們可以采用分布式存儲(chǔ)解決上述問(wèn)題。本文在分析國(guó)內(nèi)外現(xiàn)有的分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)的基

2、礎(chǔ)上，通過(guò)對(duì)Hadoop的HDFS、MapReduce技術(shù)的研究以及自身圖片存儲(chǔ)的業(yè)務(wù)需求分析和實(shí)際軟硬件實(shí)力評(píng)估，提出了一種基于Hadoop的海量圖片存儲(chǔ)模型。該模型的實(shí)現(xiàn)以Hadoop的HDFS分布式文件系統(tǒng)為基礎(chǔ)，硬件構(gòu)筑在普通的Linux機(jī)器集群上，通過(guò)內(nèi)部監(jiān)控實(shí)現(xiàn)高容錯(cuò)、高響應(yīng)、負(fù)載均衡，對(duì)外提供服務(wù)滿足高并發(fā)高可靠的應(yīng)用。它采用了HA架構(gòu)和平滑擴(kuò)容，保證了整個(gè)文件系統(tǒng)的可用性和擴(kuò)展性。它同時(shí)采用扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳

3、統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)，可將文件名映射到文件的物理地址，簡(jiǎn)化了文件的訪問(wèn)流程，提供了良好的讀寫性能。本文主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：
　　首先，通過(guò)對(duì)現(xiàn)今互聯(lián)網(wǎng)發(fā)展對(duì)圖片存儲(chǔ)的需求進(jìn)行總結(jié)，分析了傳統(tǒng)商業(yè)存儲(chǔ)的不足，同時(shí)介紹分布式存儲(chǔ)的國(guó)內(nèi)外發(fā)展現(xiàn)狀，提出基于Hadoop的海量圖片存儲(chǔ)模型。
　　其次，根據(jù)圖片存儲(chǔ)的需求分析，基于Hadoop的MapReduce思想設(shè)計(jì)存儲(chǔ)模型，優(yōu)化編程實(shí)現(xiàn)，建立圖片存儲(chǔ)模型，實(shí)現(xiàn)圖片存取在高并

4、發(fā)高訪問(wèn)下的高可靠性。系統(tǒng)采用Master/Slave架構(gòu)，通過(guò)Master的管理，實(shí)現(xiàn)在廉價(jià)PC機(jī)上部署系統(tǒng)前提下的高擴(kuò)展性和高容錯(cuò)性。此外，通過(guò)設(shè)計(jì)負(fù)載均衡和緩存系統(tǒng)，實(shí)現(xiàn)各存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)優(yōu)化和存儲(chǔ)系統(tǒng)的穩(wěn)定。
　　然后，論文基于Hadoop的分布式列數(shù)據(jù)庫(kù)Hbase，對(duì)圖片元數(shù)據(jù)存儲(chǔ)。通過(guò)圖片文件名設(shè)計(jì)、索引優(yōu)化，實(shí)現(xiàn)同一類型的圖片存儲(chǔ)物理位置盡可能相近或相鄰，提高海量圖片數(shù)據(jù)的查詢效率。
　　最后，論文搭建測(cè)試集群系