6網(wǎng)格體系結(jié)構(gòu)五層沙漏模型

1、網(wǎng)格體系結(jié)構(gòu)五層沙漏模型 郝衛(wèi)東網(wǎng)格的基本概念n虛擬組織實例新建工廠n工廠建設位置所涉及的復雜金融預測模型.由應用服務提供商asp提供n存放企業(yè)歷史數(shù)據(jù)和信息的企業(yè)數(shù)據(jù)庫存放在一個存儲服務提供商(sap)管理的存儲系統(tǒng)n參加決策的部門首腦們處于不同的城市,需要交互協(xié)作地對廠址進行討論nasp可以根據(jù)需要從按需計算周期(cycles)提供商獲得額外的計算能力網(wǎng)格的基本概念n虛擬組織實例飛機聯(lián)合設計n目標：完成下一代超音速飛機可行性研究n方法：整個飛機的多學科高精度仿真n整合由不同參與者開發(fā)的所有軟件組件n軟件組件運行在各參與者的機器上n訪問適當?shù)脑O計數(shù)據(jù)庫，以及分布的其它數(shù)據(jù)網(wǎng)格的基本概念n虛擬

2、組織實例大規(guī)模在線游戲n由許多虛擬世界組成的大規(guī)模internet游戲n每個虛擬世界有自己的自然法則和因果關(guān)系，每個虛擬世界還有大量的居民，居民之間可以交互，可以從一個虛擬世界遷移到另一個虛擬世界，虛擬世界可能會按照需求擴張以容納增長的居民。n仿真：增加模擬虛擬世界自然法則的新仿真技術(shù)，仿真過程之間需要合作以模擬當虛擬世界發(fā)生沖突時發(fā)生的情景網(wǎng)格的基本概念n虛擬組織實例分析探測器結(jié)果數(shù)據(jù)ncern的主要探測器lhc的探測結(jié)果n來自世界上幾百所大學和科研單位的上千位物理學家聚到一起來設計、創(chuàng)建、操作和分析探測結(jié)果n集中了相關(guān)的計算資源、存儲資源和網(wǎng)絡資源，組建了可以分析pb數(shù)據(jù)量級的數(shù)據(jù)網(wǎng)格lh

3、c experimentsworld wide collaboration distributed computing & storage capacitylhc: 5000physicists 270 institutes 60 countries網(wǎng)格的基本概念n虛擬組織概念n上述實例的不同點n不同數(shù)量和類型的參與者;n不同的行為類型;n互操作的持續(xù)時間和規(guī)模不同;n訪問的資源不同n相同點n擁有不同優(yōu)先級的彼此不信任的參與者為了共同完成任務都需要共享資共享資源源n被共享的資源不僅是簡單的文件資源,還包括軟件資源,計算資源,數(shù)據(jù)資源,傳感器資源,網(wǎng)絡資源,通信資源等.n共享規(guī)則n資源提供者和資

4、源消費者需明確仔細的定義共享什么,誰可以共享,以及共享時所要滿足的條件.n由這些共享規(guī)則定義的一組個體和/或機構(gòu)形成”虛擬組織”(virtual organizations, vo)網(wǎng)格的基本概念ngrid的定義ncoordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.n 動態(tài)多機構(gòu)虛擬組織中的協(xié)同資源共享與問題解決ian fostersenior scientist, mathematics & computer science divisio

5、n, argonne national laboratoryprofessor, department of computer science,the university of c/foster網(wǎng)格的基本概念n共享關(guān)系帶來的技術(shù)挑戰(zhàn)n計算模式nc/s模式np2p模式n資源的異構(gòu)性和多樣性n程序,文件,數(shù)據(jù),計算機,傳感器,網(wǎng)絡等n對資源的高級精確的控制功能n包括細粒度的多所有者的訪問控制、授權(quán)、本地和全局策略的應用n資源虛擬化為服務n資源能以標準的方式透明訪問，而不需要考慮其物理位置和實現(xiàn)方法n應用模式的

6、挑戰(zhàn)n單用戶 vs 多用戶n性能敏感 vs 成本敏感n服務質(zhì)量n記帳網(wǎng)格的基本概念n虛擬組織中的共享關(guān)系實例n物理組織naircar，boeing，cyclesrun虛擬組織nvo-space：n作用：使用不同位置(aircar，boeing)的程序和數(shù)據(jù)設計先進的航天工具n性質(zhì)：國際性虛擬組織nvo-cycles:n作用:把未使用的計算周期聚集到一個本地服務提供者(cyclesru， boeing)以便完成計算密集型任務虛擬組織中的共享關(guān)系boeingaircarcyclesruvo-cycles中的參與者可以使用空閑cpu周期vo-space中的參與者可以運行程序b和dvo-space中的

7、參與者可以運行程序awhat is the grid?a three point checklist july 20, 2002ian fostergrid的三要素a grid is a system that:(1) coordinates resources that are not subject to centralized control 對非集中控制的資源進行協(xié)調(diào)對非集中控制的資源進行協(xié)調(diào) (2) using standard, open, general-purpose protocols and interfaces 使用標準的、開放的、通用的協(xié)議和接口使用標準的、開放的、通用

8、的協(xié)議和接口(3) to deliver nontrivial qualities of service (qos) 提供非平凡的服務質(zhì)量提供非平凡的服務質(zhì)量網(wǎng)絡計算體系結(jié)構(gòu)的發(fā)展n五層沙漏結(jié)構(gòu)n開放網(wǎng)格服務體系結(jié)構(gòu)ogsanopen grid service architecturenweb service 資源框架wsrfnweb service resource framework網(wǎng)絡計算體系結(jié)構(gòu)的發(fā)展（續(xù)）n網(wǎng)格計算體系結(jié)構(gòu)n層次體系結(jié)構(gòu)n開放網(wǎng)格服務體系結(jié)構(gòu)ogsanogsiwsrf（wsresource framework）八十年代中后期八十年代中后期2004自治多域服務聯(lián)自治多域

9、服務聯(lián)合計算合計算九十年代中期九十年代中期20012002多層網(wǎng)格多層網(wǎng)格體系結(jié)構(gòu)體系結(jié)構(gòu)n開放網(wǎng)開放網(wǎng)格服務體格服務體系結(jié)構(gòu)系結(jié)構(gòu)ogsaogsan技術(shù)體技術(shù)體系系ogsiogsinogsaogsan技術(shù)體技術(shù)體系系wsrfwsrf元計算元計算計算網(wǎng)格計算網(wǎng)格2020世紀世紀6060年代，提出了網(wǎng)格計算的基本思想年代，提出了網(wǎng)格計算的基本思想 。因特網(wǎng)的先驅(qū)：因特網(wǎng)的先驅(qū)：j.c.r.lickliderj.c.r.licklider提出銀河間計算提出銀河間計算機網(wǎng)絡的概念，相信世界上每個人能隨處使用計算機網(wǎng)絡的概念，相信世界上每個人能隨處使用計算機和獲取數(shù)據(jù)。機和獲取數(shù)據(jù)。2020世紀世紀8

10、080年代末，提出了年代末，提出了“元計算元計算”（meta-meta-computingcomputing）概念。）概念。 通過聯(lián)網(wǎng)環(huán)境透明地獲得和使用的強大的計算資源。通過聯(lián)網(wǎng)環(huán)境透明地獲得和使用的強大的計算資源。 9090年代末，提出了網(wǎng)格（年代末，提出了網(wǎng)格（gridgrid）概念。）概念。 一個無縫集成的計算和協(xié)同環(huán)境。一個無縫集成的計算和協(xié)同環(huán)境。網(wǎng)格的起源網(wǎng)格的起源 網(wǎng)格的發(fā)展v萌芽階段：在90年代早期，主要是千兆網(wǎng)的測試床，以及一些元計算的實驗；v如fafner(factoring via network-enabled recursion), v如i-way;v早期實驗階段：

11、在90年代中期到后期，包括一些學術(shù)性的軟件項目，比如，globus，legion，還有一些應用實驗；v迅速發(fā)展階段：2002年以來，出現(xiàn)了大量的應用社團和項目，主要基礎(chǔ)設施的開發(fā)的使用，工業(yè)對網(wǎng)格計算的興趣在增長等，比如ibm，platform，microsoft，sun，等重要的公司； 網(wǎng)格特點 作為一種新出現(xiàn)的重要基礎(chǔ)設施，了解這個設施的特點，可以幫助了解認識和把握網(wǎng)格。網(wǎng)格的特點如下： （1）分布性 網(wǎng)格特點（2）（2）自相似性 分形模型最重要特征就是自相似性，即整體和局部之間存在一定的相似性。整體和局部互相體現(xiàn)特征。網(wǎng)格特點（3）（3）動態(tài)性和多樣性 動態(tài)性包括動態(tài)增加和動態(tài)減少兩個方

12、面（4）自治性與管理的多重性 網(wǎng)絡中的資源首先是歸自身所有者擁有的，網(wǎng)格資源也必須接受網(wǎng)格的統(tǒng)一管理。 網(wǎng)格的自治性是指網(wǎng)格允許資源擁有者對他的資源有自主的管理能力。 網(wǎng)格管理多重性是指一方面它允許網(wǎng)格資源的擁有者對資源具有自主性管理，另一方面又要求網(wǎng)格資源必須接受網(wǎng)格的統(tǒng)一管理。網(wǎng)格體系結(jié)構(gòu)v體系結(jié)構(gòu)本身就是一個系統(tǒng)的整體框架結(jié)構(gòu)，通過它從整體上了解一個系統(tǒng)的構(gòu)架布局等。v網(wǎng)格體系結(jié)構(gòu)也是如此，我們給出一個通用意義上的定義：v網(wǎng)格體系結(jié)構(gòu)就是關(guān)于如何建造網(wǎng)格的技術(shù)。它給出了網(wǎng)格的基本組成與功能，描述了網(wǎng)格各組成部分的關(guān)系以及它們集成的方式或方法，刻畫了支持網(wǎng)格有效運轉(zhuǎn)的機制。網(wǎng)格體系結(jié)構(gòu)的精

13、髓n網(wǎng)格體系結(jié)構(gòu)體現(xiàn)了一個分合思想，貫穿兩條主線，一個是“分”，另一個就是“合”n網(wǎng)格體系結(jié)構(gòu)的作用是在一定程度上對網(wǎng)格的解剖。nga必須要能夠標識出網(wǎng)格的基本組成成分，要能夠清楚地說明網(wǎng)格整體是由那些關(guān)鍵部分結(jié)合在一起形成的。nga還必須能夠?qū)Ω鱾€部分地功能、目的、特點等進行清晰地描述，使人們能夠了解各個組成部分的作用。這是“分”的作用。n“分”的基礎(chǔ)之上，ga還需要進一步描述“合”的功能，n即充分了解網(wǎng)格的各個部分的作用機理、作用方式等的基礎(chǔ)上，將分的部分按照一定的方式進行組織和集成，形成一個特定功能的整體對外提供服務。網(wǎng)格體系結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)-網(wǎng)格的同軸模型網(wǎng)格的同軸模型高性能網(wǎng)絡通信高

14、性能網(wǎng)絡通信資源管理資源管理網(wǎng)格服務網(wǎng)格服務網(wǎng)格應用網(wǎng)格應用網(wǎng)格體系結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)-網(wǎng)格系統(tǒng)的組件模型網(wǎng)格系統(tǒng)的組件模型網(wǎng)格體系結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)-網(wǎng)格系統(tǒng)的組件模型網(wǎng)格系統(tǒng)的組件模型網(wǎng)格資源：網(wǎng)格資源：包括網(wǎng)絡上所有分布的，可訪問的計算資包括網(wǎng)絡上所有分布的，可訪問的計算資源。不僅僅實現(xiàn)了計算資源在物理上的連通。源。不僅僅實現(xiàn)了計算資源在物理上的連通。網(wǎng)格中間件：網(wǎng)格中間件：一系列工具和協(xié)議軟件。屏蔽網(wǎng)格資源一系列工具和協(xié)議軟件。屏蔽網(wǎng)格資源的分布、異構(gòu)特性，提供透明、一致的接口。的分布、異構(gòu)特性，提供透明、一致的接口。網(wǎng)格開發(fā)環(huán)境和工具：網(wǎng)格開發(fā)環(huán)境和工具：讓開發(fā)人員開發(fā)不同的應用讓開發(fā)人

15、員開發(fā)不同的應用以及用戶代理在全局資源中調(diào)度計算。以及用戶代理在全局資源中調(diào)度計算。網(wǎng)格應用層：網(wǎng)格應用層：是用戶需求的具體體現(xiàn)。提供網(wǎng)格入口是用戶需求的具體體現(xiàn)。提供網(wǎng)格入口(grid portals)技術(shù)技術(shù)。從網(wǎng)格開發(fā)角度體現(xiàn)出來的網(wǎng)格層次結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)的演變v五層沙漏結(jié)構(gòu) 由foster等最早提出的，是一個最先出現(xiàn)的應用和影響廣泛的結(jié)構(gòu)。vogsa體系結(jié)構(gòu) 開放網(wǎng)格服務結(jié)構(gòu)ogsa(open grid services architecture)是global grid forum 4的重要標準建議，是繼五層沙漏結(jié)構(gòu)之后最重要的一種網(wǎng)格體系結(jié)構(gòu)。是由foster等結(jié)合web serv

16、ice等技術(shù)，在ibm合作下提出的新的網(wǎng)格結(jié)構(gòu)。 五層沙漏結(jié)構(gòu)v五層沙漏結(jié)構(gòu)是一種以協(xié)議為中心的結(jié)構(gòu)，也十分強調(diào)服務與api（application programming interfaces）和sdk （software development kits）的重要性。v五層沙漏的基本思想：v共享v互操作v協(xié)議vapi/sdkv五層劃分沙漏結(jié)構(gòu)設計原則n保持參與的開銷最小n核心協(xié)議較少的，要普遍支持n提供一些核心服務為基礎(chǔ)n類似os內(nèi)核，移植方便n管轄多種資源，允許局部控制n用來構(gòu)建高層的、特定領(lǐng)域 的應用服務n支持適應性n“ip hourglass” modeldiverse global

17、services核心服務核心服務local osa p p l i c a t i o n s 高層功能 向瓶頸部分 的映射瓶頸部分 功能向底層 的映射瓶 頸 部分hourglass grid architecture比較internet architectureapplication構(gòu)造層構(gòu)造層fabric“controlling things locally”: access to, & control of, resources連通層連通層“talking to things”: 通訊通訊 (internet protocols) & 安全安全資源層資源層resource“共享單個資源共

18、享單個資源”: 協(xié)商訪問協(xié)商訪問, 控制使用控制使用聚合層聚合層collective“管理多個資源管理多個資源”: 無處不在的底層基礎(chǔ)服無處不在的底層基礎(chǔ)服務務services應用層“specialized services”: 面向用戶面向用戶或面向應用的分布式服務或面向應用的分布式服務 servicesinternettransportapplicationlinkinternet protocol architecture每一層存在的協(xié)議、服務和接口languages/frameworksfabric layerapplicationslocal access apis and prot

19、ocolscollective service apis and sdkscollective servicescollective service protocolsresource apis and sdksresource servicesresource service protocolsuser service protocolsuser service apis and sdksuser servicesconnectivity apisconnectivity protocols五層沙漏結(jié)構(gòu)構(gòu)造層(fabric)n構(gòu)造層本地控制的接口n提供資源n如計算資源，存儲資源，目錄，網(wǎng)絡資

20、源，傳感器等n資源可以是邏輯實體，如一個分布式文件系統(tǒng)、計算集群或分布式計算機池。n實現(xiàn)了本地的，具體于資源的操作n具有內(nèi)省機制，該機制支持發(fā)現(xiàn)資源的結(jié)構(gòu)、狀態(tài)和能力n實現(xiàn)資源本地管理機制。如集群資源具有內(nèi)部協(xié)議如集群管理協(xié)議和軟件，網(wǎng)格可以利用該協(xié)議提供對服務質(zhì)量的某種控制構(gòu)造層(fabric)n構(gòu)造層n計算資源n需要啟動程序并監(jiān)視和控制結(jié)果進程執(zhí)行的機制；需要內(nèi)省功能來確定硬件和軟件的特征，以及相關(guān)的狀態(tài)信息n存儲資源n需要發(fā)送和獲取文件的機制；需要對文件的部分子集進行讀和寫，以及執(zhí)行遠程數(shù)據(jù)選擇和數(shù)據(jù)裁剪的機制；對分配給數(shù)據(jù)傳輸?shù)馁Y源（磁盤空間、磁盤帶寬、網(wǎng)絡帶寬、cpu等）進行控制和管

21、理的機制；需要內(nèi)省功能來確定可用的空間和帶寬利用率等信息n網(wǎng)絡資源n需要對分配給網(wǎng)絡傳輸?shù)馁Y源（例如，優(yōu)先級隊列、預留的資源）進行管理的機制；需要內(nèi)省功能來確定網(wǎng)絡的特征和負載。grid體系結(jié)構(gòu)各層說明n構(gòu)造層(fabric)：提供一套對局部資源控制的工具和接口；n計算、存儲、網(wǎng)絡、數(shù)據(jù)和目錄等n對所控制的共享資源進行局部管轄和調(diào)度n實現(xiàn)各種資源本身的一些控制管理機制n不同類型資源不同的控制管理機制yh資源和作資源和作業(yè)管理系統(tǒng)業(yè)管理系統(tǒng)sgi資源和作資源和作業(yè)管理系統(tǒng)業(yè)管理系統(tǒng)ibm資源和作資源和作業(yè)管理系統(tǒng)業(yè)管理系統(tǒng)特定構(gòu)造層資源及其功能特性特定構(gòu)造層資源及其功能特性構(gòu)造層資源舉例 功能特

22、性 計算資源啟動程序，監(jiān)控和控制進程的執(zhí)行，控制進程資源分配的管理機制，提前預留機制，查詢功能.存儲資源存放與獲取文件的機制，第三方高性能傳輸方式，讀寫文件子集機制，遠程數(shù)據(jù)選取與歸約機制，對分配用于數(shù)據(jù)傳輸資源的控制管理機制，提前預約機制，查詢功能.網(wǎng)絡資源對網(wǎng)絡傳輸資源的管理機制，查詢功能（用來得到網(wǎng)絡特性和負載）.代碼庫源代碼和目標代碼管理機制，比如cvs控制系統(tǒng).目錄目錄查詢與更新操作機制，比如關(guān)系數(shù)據(jù)庫連接層n連接層安全便利的通信n定義了通信和認證核心協(xié)議n通信協(xié)議n通信協(xié)議實現(xiàn)傳輸（ip/tcp/udp, ipx/spx）、路由（ospf/rip/eigrp）和命名(dns/net

23、bios)n不局限于tcp/ip協(xié)議棧，還包括atm，高性能光纖網(wǎng)，無線網(wǎng)絡等通信協(xié)議連接層n連接層安全便利的通信n保證通信安全的認證核心協(xié)議n單一登錄n網(wǎng)格用戶需要啟動訪問多個遠程資源的計算任務，但是用戶應該只認證一次，而不必為訪問每個資源或管理域都“登錄”n委托和限制性委托n一個用戶必須能夠賦予一個程序代表他運行的能力，以便該程序能夠訪問授權(quán)該用戶訪問的資源n被委托的程序能夠有選擇的把它的權(quán)限的一部分委托給另外一個程序，即限制性委托n與本地安全方案的集成n在異構(gòu)網(wǎng)絡中，每個資源提供者通常都有本地安全方案，不能要求對本地安全方案進行大規(guī)模替換。n網(wǎng)格安全方案必須能和不同的本地方案互操作，實現(xiàn)

24、對本地環(huán)境的映射。n基于用戶的信任關(guān)系n如果用戶擁有地點a和地點b的權(quán)力，那么該用戶應該能夠一起使用地點a和地點b，而不需要地點a和地點b的安全管理者之間進行交互grid體系結(jié)構(gòu)各層說明n連通層(connectivity):定義了grid網(wǎng)絡事務處理的通信和驗證協(xié)議，基于internet協(xié)議；n基于internet協(xié)議，完成通信；n認證和安全通信連接層安全認證特性連接層安全認證特性特點描述單一登陸用戶只需登陸一次，就可以以該身份訪問不同的構(gòu)造層網(wǎng)格資源，不需要對不同的資源多次重復登陸，也不需要用戶進一步介入.代理用戶必須有讓程序以自己身份運行的能力，因此程序就能夠訪問用戶認證的不同資源.該程序

25、還能夠有條件將它的部分權(quán)限授予另一個程序（受限制的代理）.與局部安全方法的集成不同的資源可以使用其局部的安全方案，但是網(wǎng)格安全方案必須與那些局部的方案進行互操作.不要求網(wǎng)格安全方案完全代替局部安全方案，但是它必須能夠?qū)崿F(xiàn)向局部安全的映射.基于用戶的信任機制用戶可以使用多個提供者提供的資源，但并不是要求資源提供者在安全環(huán)境中協(xié)同操作或互操作.即如果一個用戶有權(quán)使用站點a和b的資源，用戶能夠?qū)和b的資源結(jié)合起來使用，并不要求a和b的安全管理相互作用.資源層n資源層實現(xiàn)經(jīng)過身份認證的網(wǎng)格用戶與遠端資源和服務進行交互的功能n定義單一資源上的共享操作協(xié)議n如安全協(xié)商、初始化、監(jiān)控、控制、記帳、付費等n

26、資源層協(xié)議調(diào)用fabric層的功能來訪問和控制本地資源n兩種主要協(xié)議類型n信息協(xié)議：用來獲得資源的結(jié)構(gòu)和狀態(tài)信息，如配置負載代價等n管理協(xié)議：用來協(xié)商對共享資源的訪問，指定資源請求策略（如資源預留，或資源qos），以及資源操作（如進程創(chuàng)建數(shù)據(jù)訪問等）的實例化grid體系結(jié)構(gòu)各層說明（續(xù)）n資源層（resource)：定義了一些對單個的資源共享操作協(xié)議n定義了某類資源的管理和操作等的標準協(xié)議和接口n可以遠程統(tǒng)一的訪問和共享操作資源n如交換、啟動、監(jiān)視、控制、記帳和支付等，以及應用程序接口和軟件包；例如：標準的作業(yè)管理系統(tǒng)接口和標準資源層的協(xié)議類型與描述資源層的協(xié)議類型與描述協(xié)議類型描述信息協(xié)議得

27、到資源的結(jié)構(gòu)和狀態(tài)信息，比如配置，當前負載，使用策略等.管理協(xié)議通過判斷訪問共享資源，指出資源需求以及執(zhí)行的操作.初始化共享關(guān)系，保證要求的協(xié)議操作與底層共享資源提供的共享策略一致.還要考慮記賬和付費的問題，協(xié)議還可能需要具有監(jiān)控操作的狀態(tài)并控制某些操作的功能.匯聚層n匯聚層所定義的協(xié)議和服務不是同某一特定資源相關(guān)的,而是用來定義資源集之間的交互n匯聚層能夠?qū)崿F(xiàn)多種不同的共享行為而不需要對共享資源施加新的限制,如n網(wǎng)格目錄服務:mds-2n協(xié)同分配調(diào)度代理服務:apples, condor-g,nimrod-g等n監(jiān)控和診斷服務n數(shù)據(jù)復制服務n匯聚層提供編程工具和編程模型n編程模型(chap24)n工作流系統(tǒng)n軟件發(fā)現(xiàn)服務（netsolve, ninf）n虛擬社區(qū)內(nèi)協(xié)同信息交換（如access grid, b, 群件系統(tǒng)等）n匯聚層同樣涉及安全策略和記帳問題grid體系結(jié)構(gòu)各層說明（續(xù)）n聚合(collective)：提供多個資源協(xié)同工作n聯(lián)合資源調(diào)度和預約，信息服務，數(shù)據(jù)復制服務、資源發(fā)現(xiàn)服務、團體授權(quán)服務、協(xié)作服務和分布記帳服務等；