高性能集群拓撲及組成介紹

1、中國礦大高性能集群各子模塊介紹,,1、集群拓撲結(jié)構(gòu)圖,礦大高性能集群拓撲圖,71個刀片計算節(jié)點：2顆6核 2.66GHz CPU/24GB內(nèi)存；2個胖計算節(jié)點：4顆4核1.86GHz CPU/32GB內(nèi)存; 2個GPU計算節(jié)點：2塊NV C2050 GPU; 4個登錄、管理刀片節(jié)點；,Clusnap存儲系統(tǒng)： 52TB裸存儲；,網(wǎng)絡(luò)： 雙向40Gb infiniband 計算網(wǎng)絡(luò)、千兆管理網(wǎng)絡(luò)、百兆IPMI監(jiān)控網(wǎng)絡(luò)；,其它： Gridv

2、iew集群管理系統(tǒng)；機房基礎(chǔ)設(shè)施（機柜、UPS、空調(diào)散熱系統(tǒng)等）,2、節(jié)點介紹,節(jié)點—刀片TC5600,曙光天潮TC5600機架式刀片HPC服務(wù)器是曙光公司開發(fā)的一款突破傳統(tǒng)服務(wù)器理念的HPC刀片產(chǎn)品,,后視圖,,正視圖,,,,,,,,,,,,,,,,,,,,后視圖,,正視圖,,風(fēng)扇電源模組,,網(wǎng)絡(luò)背板,,,PDU模塊,,刀片機箱,,系統(tǒng)風(fēng)扇模組在系統(tǒng)后部,,TC5600系統(tǒng)組成,TC5600整體視圖,,,,,,,,,,,,,,,機箱后

3、視圖,,風(fēng)扇電源模組,,網(wǎng)絡(luò)背板,,,PDU模塊,,刀片機箱,,系統(tǒng)風(fēng)扇,TC5600各部件規(guī)格,TC5600整體規(guī)格,TC5600刀片規(guī)格,TC5600產(chǎn)品特點,,,靈活運行環(huán)境,可安全運行在環(huán)境溫度30攝氏度的機房中，有效降低了環(huán)境設(shè)備耗能，提高了數(shù)據(jù)中心總效能，降低了運營成本,,,刀片統(tǒng)一散熱,TC5600刀片HPC服務(wù)器采用具有自主知識產(chǎn)權(quán)的機柜級front-to-back散熱技術(shù)，內(nèi)部無需風(fēng)扇，也有效提高了設(shè)備可靠性,,,超高

4、計算密度,每機架在標(biāo)準42U空間內(nèi)提供80個DP節(jié)點，每機架可提供高達11.25萬億次計算能力,,,高效電源管理,TC5600刀片采用統(tǒng)一的電源管理策略提高了系統(tǒng)電源效率及機房配電系統(tǒng)的相間平衡率,新型的HPC刀片產(chǎn)品,TC5600使用說明,,1 安裝好機箱,,2 打開風(fēng)扇電源模組,,3 打開刀片節(jié)點,,4 安裝系統(tǒng)使用,1 VGA接口2 主面板3 硬盤倉4 節(jié)點卡扣7 節(jié)點指示燈8 Power按鈕及ID按鈕9 USB接

5、口,TC5600使用說明,,KVM本地操作,,本地KVM,連接好KVM和刀片節(jié)點的VGA和USB接線，即可對TC5600進行本地操作,,遠程KVM,通過TCP/IP網(wǎng)絡(luò)協(xié)議可以登錄到節(jié)點的BMC芯片，進而打開節(jié)點的管理控制臺，對節(jié)點進行遠程操作,,KVM遠程操作,,KVM遠程操作時確?？蛻舳撕偷镀?jié)點BMC芯片的IP能夠ping通，利用網(wǎng)絡(luò)登錄帶到BMC芯片中，進而登錄節(jié)點,,對各個節(jié)點進行操作的方式,四路胖計算節(jié)點-I840r-GP服

6、務(wù)器,13,,性能更強勁、擴展更自由、維護更方便,規(guī)格,I840r—GP前視圖,A：超薄光驅(qū)槽位 B：網(wǎng)卡指示燈 C：前面控制面板 D：前置VGA 接口E：前置USB 接口（3 個） F：5.25 英寸設(shè)備擴展位 G：2.5 英寸硬盤位,GPU計算節(jié)點-W580I,什么是GPU？GPU英文全稱Graphic Processing Unit，中文翻譯為“圖形處理器”。GPU是相對于CPU的一個概念，由于在現(xiàn)代的計算機中（特別是家用系統(tǒng)

7、，游戲的發(fā)燒友）圖形的處理變得越來越重要，需要一個專門的圖形核心處理器，所以就把專門處理圖形部分的處理器叫做GPU。GPU為什么比CPU快？,W580I主要技術(shù),W580I技術(shù)特點-多卡支持,強大的系統(tǒng)總線帶寬多達9個PCI插槽4個PCI-E 2.0 X16規(guī)格的插槽，支持全長、全高、雙寬圖形卡,,曙光圖形工作站技術(shù)特點-系統(tǒng)散熱,結(jié)構(gòu)與散熱優(yōu)勢GPU卡本身發(fā)熱量和功耗都比較大，最大的可能達到單卡300W左右，對系統(tǒng)散熱和功耗

8、控制帶來極大的問題特別是現(xiàn)在CPU與GPU數(shù)量的配比逐漸增高，也導(dǎo)致了在單一系統(tǒng)中需求更多的GPU曙光產(chǎn)品采用標(biāo)準的4U產(chǎn)品改良設(shè)計空間上可支持更多的GPU卡，目前系統(tǒng)本身最大可支持4片GPU卡散熱上采用高效能系統(tǒng)風(fēng)扇，并且分為內(nèi)扇和外扇兩部分,機箱內(nèi)部4個熱插拔智能風(fēng)扇，可隨機箱內(nèi)部的溫度進行轉(zhuǎn)速的調(diào)節(jié),機箱后部有2個可從機箱外部拆卸的熱插拔散熱風(fēng)扇,3、存儲系統(tǒng)介紹,存儲系統(tǒng)組成,Clusnap+FC SAN存儲,曙光Clu

9、Snap集群容錯模塊,第三天機器失效!意料之中!,第五天算完!,第一天平安無事!,第二天居然還平安無事？,第三天OMG，機器死機，要來的終究會來的…..,第七天，運氣不錯，居然堅持了4天！,無CluSnap,有CluSnap,上帝保佑我能算完！,我很有底！,高速非易失性緩存（Cache）的作用,t,t,t,?t,?t,T（運算時間）＝t＋?t＋t＋?t＋t＝3t＋2?t,,如果一個運算需要設(shè)置N個檢查點，則系統(tǒng)的損耗時間為：

10、N×?t,以一個需要32GB內(nèi)存大小的應(yīng)用為例，在通常的系統(tǒng)中，建立一個檢查點需要32000/40=800秒的時間，如果你每天需要設(shè)置24個檢查點，則需要額外消耗800×24≈5小時！,高速非易失性緩存技術(shù)可以大大降低將5小時降低為15分鐘！,,,,,FC SAN存儲-DS6310FE,FC SAN存儲-DS6310FE,磁盤陣列概念和優(yōu)點,磁盤陣列是一種把若干硬磁盤驅(qū)動器按照一定要求組成一個整體，整個磁盤陣列由

11、陣列控制器管理的系統(tǒng).,１.傳輸速率快２.儲存容量可提升３.提升I/O每秒的數(shù)量４.增加數(shù)據(jù)安全性及穩(wěn)定性５.大量數(shù)據(jù)快速及簡易管理６.增加可用運時間，減少維護,存儲系統(tǒng)結(jié)構(gòu),后端,控制器A,控制器B,前端,存儲結(jié)構(gòu)圖,SATASASFCSCSI,X86PoserpcIopPmc..,FCSASISCSIIB,WindowsLinuxMac..,外接式磁盤陣列柜各組成部分作用,控制器：處理IO請求、進

12、行RAID運算，監(jiān)控和管理整個外接式磁盤陣列柜，分為CISC處理器和RIS C處理器,屬于系統(tǒng)的核心部件，類似于服務(wù)器的主板，一般處理器，內(nèi)存，接口芯片都在控制器上，中高端磁盤陣列一般采用雙控制器，或者多控制器架構(gòu)。主機接口：用于連接主機（服務(wù)器），構(gòu)建服務(wù)器與磁盤陣列之間的數(shù)據(jù)交換通道，通常有SCSI、FC、SAS、iSCSI幾種類型。擴展接口：用于連接磁盤擴展柜，擴大存儲空間；通常有FC、SAS兩種類型（擴展柜接口類型一般和主柜

13、一樣，SAS擴展柜連接距離短）。電源，風(fēng)扇 ：為整個磁盤陣列柜提供電力，磁盤陣列一般為冗余電源設(shè)計，用于散熱。硬盤：FC,FC-SATA,SAS,SATA,SATA-SAS.,主流存儲架構(gòu),DAS架構(gòu)NAS架構(gòu)SAN架構(gòu),DAS架構(gòu),DAS是Direct Attached Storage的縮寫，即“直接連接存儲”。它是指將外置存儲設(shè)備通過連接電纜，直接連接到一臺計算機上。采用直接外掛存儲方案的服務(wù)器結(jié)構(gòu)如同PC機架構(gòu)，外部數(shù)據(jù)存

14、儲設(shè)備采用SCSI技術(shù)，或者FC(Fibre Channel)技術(shù)，直接掛接在內(nèi)部總線上的方式，數(shù)據(jù)存儲是整個服務(wù)器結(jié)構(gòu)的一部分 。,DAS架構(gòu),結(jié)構(gòu)示意：,DAS架構(gòu),DAS方式實現(xiàn)了機內(nèi)存儲到存儲子系統(tǒng)的跨越，但是缺點依然有很多： 􀁺 擴展性差，服務(wù)器與存儲設(shè)備直接連接的方式導(dǎo)致出現(xiàn)新的應(yīng)用需求時，只能為新增的服務(wù)器單獨配置存儲設(shè)備，造成重復(fù)投資。􀁺 資源利用率低，DAS方式的存儲長期來看存儲

15、空間無法充分利用，存在浪費。不同的應(yīng)用服務(wù)器面對的存儲數(shù)據(jù)量是不一致的，同時業(yè)務(wù)發(fā)展的狀況也決定這存儲數(shù)據(jù)量的變化。因此，出現(xiàn)了部分應(yīng)用對應(yīng)的存儲空間不夠用，另一些卻有大量的存儲空間閑置。􀁺 可管理性差，DAS方式數(shù)據(jù)依然是分散的，不同的應(yīng)用各有一套存儲設(shè)備。管理分散，無法集中。􀁺 異構(gòu)化嚴重，DAS方式使得企業(yè)在不同階段采購了不同型號不同廠商的存儲設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴重，導(dǎo)致維護成本據(jù)高不

16、下,結(jié)構(gòu)特點：,NAS架構(gòu),NAS系統(tǒng)擁有一個專用的服務(wù)器，服務(wù)器上安裝著一個優(yōu)化的文件系統(tǒng)和“瘦”操作系統(tǒng)，其作用類似于一個專用的文件服務(wù)器。這種專用文件服務(wù)器去掉了通用服務(wù)器原有的大多數(shù)計算功能，僅僅提供文件系統(tǒng)功能，用于存儲服務(wù)。而且，NAS系統(tǒng)中的核心操作系統(tǒng)是經(jīng)過特殊定制的，專門服務(wù)于文件請求且與主要的網(wǎng)絡(luò)環(huán)境兼容。,NAS架構(gòu),結(jié)構(gòu)示意：,NAS架構(gòu),適用范圍：,小型局域網(wǎng)絡(luò),廣域網(wǎng)郵件系統(tǒng)、辦公OA,校園網(wǎng),文檔歸檔,

17、VOD等異構(gòu)平臺共享對性能要求不是極高的應(yīng)用基于文件系統(tǒng)，不適合數(shù)據(jù)庫應(yīng)用,SAN架構(gòu),所謂的SAN(storage area network)，即存儲區(qū)域網(wǎng)絡(luò)，是指在網(wǎng)絡(luò)服務(wù)器群的后端，采用光纖通道等存儲專用協(xié)議連接成高速專用網(wǎng)絡(luò)，使網(wǎng)絡(luò)服務(wù)器與多種存儲設(shè)備直接連接。 SAN的最大特點就是可以實現(xiàn)網(wǎng)絡(luò)服務(wù)器與存儲設(shè)備之間的多對多連接，而且，這種連接是本地的高速連接。 SAN架構(gòu)的優(yōu)勢在于：強

18、大的擴展性、多種存儲設(shè)備的集中和新架構(gòu)支撐下的新型數(shù)據(jù)應(yīng)用方式。,Fibre Channel,Fibre Channel (FC)是1994年由ANSI標(biāo)準化組織制訂的一種適合于千兆位數(shù)據(jù)傳輸通信的成熟而安全的解決方案?！　ibre Channel 與傳統(tǒng)的SCSI技術(shù)相比，除了提供更高的數(shù)據(jù)傳輸速度，更遠的傳輸距離，更多的設(shè)備連接支持，更穩(wěn)定的性能，更簡易的安裝以外，最重要的是為SAN的發(fā)展提供了廣闊的天地.,FC SAN,結(jié)構(gòu)示

19、意：,FC SAN,特點：,基于設(shè)備塊級的訪問模式擴展性好易于集中管理高可靠性、可用性、可維護性 負載均衡傳輸效率高,低延遲成本高,ISCSI SAN,ISCSI是一種基于開放的工業(yè)標(biāo)準，通過它可以用TCP/IP對SCSI(小型計算機系統(tǒng)接口--一種數(shù)據(jù)傳輸?shù)墓矃f(xié)議)指令進行封裝，這樣就可以使這些指令能夠通過基于IP(以太網(wǎng)或千兆位以太網(wǎng))“網(wǎng)絡(luò)”進行傳輸。,ISCSI SAN,ISCSI結(jié)構(gòu)圖:,ISCSI SAN,IS

20、CSI的連接方式:,以太網(wǎng)卡+軟件方式主機端采用標(biāo)準的以太網(wǎng)卡，安裝Initiator軟件，通過Initiator軟件將以太網(wǎng)卡虛擬為ISCSI卡，實現(xiàn)主機和iSCSI設(shè)備之間的SCSI協(xié)議和TCP/IP協(xié)議傳輸功能。這種方式由于采用標(biāo)準網(wǎng)卡，無需額外配置適配器，因此硬件成本最低。缺點是進行ISCSI包文和TCP/IP包文轉(zhuǎn)換要點主機端的一部分資源。硬件TOE網(wǎng)卡實現(xiàn)方式 主機采用TOE(TCP/IP Offloading Eng

21、ine)網(wǎng)卡來連接網(wǎng)絡(luò)，TCP/IP協(xié)議棧功能由TOE卡完成，而iSCSI層的功能仍舊由主機來完成。 iSCSI HBA卡實現(xiàn)方式 使用iSCSI存儲適配器來完成服務(wù)器中的iSCSI層和TCP/IP協(xié)議棧功能。這種方式使得服務(wù)器CPU無需考慮iSCSI以及網(wǎng)絡(luò)配置，對服務(wù)器而言，iSCSI存儲器適配器是一個HBA設(shè)備，與服務(wù)器采用何種操作系統(tǒng)無關(guān)。該方式性能最好，但是價格也最為昂貴。,ISCSI SAN,ISCSI SAN,特點:,

22、基于設(shè)備塊級的訪問模式構(gòu)建所需成本低,可以利用現(xiàn)存網(wǎng)絡(luò)易于部署便于管理性能受網(wǎng)絡(luò)帶寬限制,DAS、NAS、SAN剖析,DAS、SAN的存儲網(wǎng)絡(luò),FC、Ethernet占據(jù)絕大部分市場份額Infiniband（IB）存儲逐漸興起,RAID基本概念——定義,RAID （Redundant Array of Independent Disks）即獨立磁盤冗余陣列，RAID技術(shù)將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤

23、，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。根據(jù)不同的組合方式可以分為不同的RAID級別,RAID出現(xiàn)原因,RAID級別,RAID組合方式——級別擴展,同時采用兩種不同的RAID方式還能組合成新的RAID級別,RAID級別 —— RAID 0,D,H,L,C,G,K,B,F,J,定義：RAID0即沒有容錯設(shè)計的條帶硬盤陣列（Striped Disk Array without Fault Tolerance），以條帶形式將RAID組的數(shù)據(jù)

24、均勻分布在各個硬盤中,,,,,,A,B,C,D,E,F,G,H,,,數(shù)據(jù),……,A,E,I,RAID級別 —— RAID 1,RAID 1 定義：RAID 1又稱鏡像（Mirror），數(shù)據(jù)同時一致寫到主硬盤和鏡像硬盤,E,D,C,B,A,E,D,C,B,A,,,,A,B,C,D,,,E,……,=,數(shù)據(jù),RAID級別 —— RAID 5,定義：RAID 5與RAID 3機制類似，但校驗數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時

25、保存數(shù)據(jù)和校驗信息，數(shù)據(jù)塊和對應(yīng)的校驗信息保存在不同硬盤上。RAID 5是最常用的RAID方式之一,……,P4,A3,A2,A1,A0,B4,P3,B2,B1,B0,C4,C3,P2,C1,C0,D4,D3,D2,P1,D0,E4,E3,E2,E1,P0,,,,,,,,,,,,,異或運算,A0,B0,C0,D0,A1,B1,C1,E1,A2,,,B2,D2,校驗信息Px分布式存儲,數(shù)據(jù),RAID級別 —— RAID 6,定義：RAID

26、 6 是帶有兩個獨立分布式奇偶校驗方案的獨立數(shù)據(jù)硬盤（Independent data disks with two independent distributed parity schemes）。廣義上講，能夠允許兩個硬盤同時失效的RAID級別統(tǒng)稱為RAID 6，狹義上講，特指Intel的RAID P+Q技術(shù)。硬盤空間利用率為(N-2)/N，N為RAID6陣列硬盤總數(shù),RAID組合級別 —— RAID 10,定義：RAID 10是將

27、鏡像和條帶進行兩級組合的RAID級別，第一級是RAID1鏡像對，第二級為RAID 0。RAID10也是一種應(yīng)用比較廣泛的RAID級別。,,,,,,,,,,A,B,C,D,E,F,G,H,,,A,A,C,B,B,C,D,D,E,E,F,F,G,G,H,H,RAID組合級別 —— RAID 0+1,A,B,C,D,E,F,G,H,定義：RAID 0+1是將條帶和鏡像進行兩級組合的RAID級別，第一級是RAID 0，第二級為RAID 1。一

28、般來說，RAID 0+1的失效概率要比RAID 10大，不過無硬盤故障下，RAID 0+1的讀取速度要比RAID 10快,,,,,,,,,,A,B,C,D,E,F,G,H,,,A,B,C,D,E,F,G,H,RAID組合級別 —— RAID 50,P13,F1,定義：RAID 50是將RAID5和RAID 0進行兩級組合的RAID級別，最低一級是RAID 5，第二級為RAID 0,A2,P02,A1,A0,B2,B1,P01,B0,P