高性能計算與云-第06講

分布式大規(guī)模企業(yè)計算互聯(lián)網(wǎng)應用的特殊性I/O操作強于計算操作復雜異構的機器環(huán)境變化的業(yè)務邏輯3/30分布式大規(guī)模企業(yè)計算并行化的嘗試在硬件工藝/技術不變的前提下，提升計算能力更強大的硬件對稱多處理器SMP分布式共享內存DSM分布式系統(tǒng)Share

diskSharenothing4/30分布式大規(guī)模企業(yè)計算？？？應用場景？？？解決方案？？？效率。。。5/30IBM

Platform

HPC6/30IBM

Platform

HPC7/30IBM

Platform

HPC計算功能真正運行計算任務占Cluster的大部分節(jié)點執(zhí)行整個方案一部分的一個或多個任務控制功能幫助各節(jié)點協(xié)同工作的服務：DHCP，DNS，NTP，和其他保證節(jié)點間通訊的類似服務決定哪些任務由哪些節(jié)點來完成由于一個錯誤可以影響整個Cluster

的可用性，所以對硬件， 數(shù)據(jù)要求冗余8/30IBM

Platform

HPC功能負責

大量數(shù)據(jù)提供并控制對

子系統(tǒng)的

，直接附加在節(jié)點上；也可以由一個或多個網(wǎng)絡共享設備組成特別提供對數(shù)據(jù)的高性能，并行/并發(fā)

。9/3010/30IBM

Platform

HPC安裝功能提供Images和快速，簡易安裝及重裝Cluster

節(jié)點的方法通常向計算節(jié)點提供包含操作系統(tǒng)，庫文件和其他軟件的文件系統(tǒng)也可以配制為計算節(jié)點管理功能管理和控制Cluster及其組件（LANs/Nodes)處理SNMP問題可以是

節(jié)點或與其他功能共用節(jié)點一個Cluster中可以有一個以上的管理節(jié)點12/30IBM

Platform

HPC

節(jié)點節(jié)點類型計算節(jié)點

I/O節(jié)點管理節(jié)點?

2010IBM

Corporation22提供一整套完善的的系統(tǒng)管理工具IBM

TivoliIBM

Systems

DirectorPlatform

management

that

is

easy

and

efficientManagement

of

physical

andvirtual

resourcesacross

heterogeneous

systemsToolsCenterConsolidated,

integrated

suite

of

management

toolsPowerful

bootable

media

creatorIntegrated

Management

Module

(IMM)Standards-based

hardware

which

combinesdiagnostic

and

remote

controlUEFI—next

generation

BIOSRicher

management

experience

and

future-readyUpward

integration

into

TivoliService

ManagementIBM

Systems

platform

solution

forSystem

x,

BladeCenter,

PowerSystems,

System

z

andstorageRedesignedsystem

toolportfolio

for

single-systemmanagement

and

scriptingHardware

and

firmwareadvances

whicharestandard

across

allnew

systemsRemoteDeployment

&ManagementIn

ligentworkloadmanagementIBM

Platform

HPC小結21/30MapReduce分布式編程模型互聯(lián)網(wǎng)應用的大規(guī)模數(shù)據(jù)計算解決方案22/30MapReduce語義Map：，空間變換Reduce：匯總，規(guī)約23/30MapReduce<key,value>數(shù)據(jù)結構map

(in_key,

in_value)

->

list(out_key,intermediate_value)reduce

(out_key,

list(intermediate_value))->list(out_value)分布式算法的

內容24/30系統(tǒng)視圖系統(tǒng)考量容災

擴展性并行能力…Master-slave結構25/30系統(tǒng)視圖26/30計算消耗網(wǎng)絡I/O磁盤I/O排序Map/Reduce計算行系統(tǒng)視圖并行能力子任務間并行M/R任務間并作業(yè)間并行A

systematic

view27/30范例28/30web點擊日志統(tǒng)計：PV/UV詞頻統(tǒng)計海量數(shù)據(jù)排序表JoinDiscussMapReduce能做？日志分析商業(yè)智能分析客戶大規(guī)模索引