




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、Word專業(yè)資料存儲設(shè)備項(xiàng)目Isilon集群存儲案介紹2012年4月16日目錄1解決案. 41.1ISILON 概述 . 41.2案設(shè)計(jì). 5Word專業(yè)資料1.3案指標(biāo)匯總. 71.4案競爭優(yōu)勢. 71.4.1超大可擴(kuò)展容量. 71.4.2超快擴(kuò)容速度. 71.4.3可增長的高性能. 71.4.4高可靠性. 71.4.5高可用性. 81.4.6高可維護(hù)性. 81.4.7高利用率. 81.4.8適合多應(yīng)用環(huán)境. 82服務(wù)式與級別. 92.1概述. 92.2技術(shù)支持. 92.3在線支持. 92.4本地服務(wù)支持.102.5售后服務(wù)技術(shù)支持詳述 .102.6地域覆蓋.113產(chǎn)品技術(shù)參考 . 123.
2、1特性與優(yōu)勢 .123.1.1開放式架構(gòu) .123.1.2分布式操作系統(tǒng) .143.1.3統(tǒng)一命名的空間 .163.1.4高性能 .173.1.5易安裝和管理 .193.1.6擴(kuò)容簡易 .213.1.7數(shù)據(jù)安全性高. 233.2產(chǎn)品技術(shù)規(guī)格 . 26Word專業(yè)資料4ISILON+IQ部分成功案例簡述 .27Word專業(yè)資料1解決案1.1 Isilon 概述Isilon/美國賽龍集群存儲系統(tǒng)有限公司是2001年成立于美國西雅圖,是專門面向集群存儲領(lǐng)域的存儲提供商;2007年十月進(jìn)入中國市場,目前在中國市場有比較多的客戶,主要集中在能源、媒體、高性能、生命科學(xué)等領(lǐng)域,2010年成為EMC旗下企業(yè)
3、。2011年6月27日,根據(jù)標(biāo)準(zhǔn)性能評估機(jī)構(gòu)(SPEC?)的獨(dú)立基準(zhǔn)測試結(jié)果,Isilon S200橫向擴(kuò)展NAS系統(tǒng)成為新的業(yè)界性能領(lǐng)導(dǎo)者。按照最新的SPEC基準(zhǔn)測試了網(wǎng)絡(luò)文件性能和整體響應(yīng)時間,EMC Isilon S200橫向擴(kuò)展NAS平臺獲得了創(chuàng)紀(jì)錄的性能測試結(jié)果,超過競爭對手最接近測試結(jié)果的兩倍多。Isilon IQ集群存儲系列產(chǎn)品設(shè)計(jì)基點(diǎn)是為滿足以數(shù)據(jù)為核心的企業(yè)對高性能計(jì)算環(huán)境的要求。Isilon的集群存儲案是由 OneFS?操作系統(tǒng)軟件和最先進(jìn)的符合行業(yè)標(biāo)準(zhǔn)硬件所組成,提供靈活的按需購買,漸進(jìn)擴(kuò)展”(pay-as-you-grow )的企業(yè)級集群存儲系統(tǒng)。置TrueScale?
4、技術(shù)的OneFS,使Isilon IQ成為業(yè)第一個也是惟一的能使性能和容量線性或獨(dú) 立升級的存儲系統(tǒng)。這種靈活可調(diào)節(jié)的新型系統(tǒng)擁有一套高效的集群存儲軟件應(yīng)用,為用戶提供了現(xiàn)成的存儲案,完全滿足多種應(yīng)用和工作流需要。Isilon IQ集群存儲產(chǎn)品線滿足企業(yè)全位的存儲要求,從最高性能的一級應(yīng)用到二級的企業(yè)歸檔、磁盤到磁盤備份和災(zāi)難恢復(fù)?;贠neFS操作系統(tǒng),Isilon IQ系列產(chǎn)品能提供易于安裝和增容的單個可擴(kuò)展存儲池。Word專業(yè)資料應(yīng)用層1.2案設(shè)計(jì)根據(jù)需求選擇Isilon產(chǎn)品線X、S系列中的構(gòu)成存儲集群,應(yīng)用 Isilon存儲的兩種型號, Isilo n S200、Isilo n X20
5、0。Isilo n IQ S200 配置雙路 In tel Xeon Westmere(四核)處理器,每 節(jié)點(diǎn)高達(dá)96GB高速緩存,每節(jié)點(diǎn)提供2個IGbps千兆以太網(wǎng)接口及 2個lOGbps萬兆以太 網(wǎng)接口 ;Isilon X200配置雙路In tel Xeon Nehalem(四核)處理器,每節(jié)點(diǎn)高達(dá) 48GB高速緩 存,每節(jié)點(diǎn)提供2個1Gbps千兆以太網(wǎng)接口及 2個10Gbps萬兆以太網(wǎng)接口、2個Infiniband 接口,后端選用 40Gbps QDR Infin iba nd交換機(jī)。計(jì)算群集WindowsLinux bUNIX 和Apple客戶端主存儲此次項(xiàng)目選用3臺Isilon S2
6、00+3臺X200共6個節(jié)點(diǎn)組成集群存儲,單節(jié)點(diǎn)容量54TB, 集群提供12個In tel Xeo n(四核)處理器,90GB高速緩存,12個10GE萬兆+12個GE千兆 以太網(wǎng)接口, 8個部QDR Infiniband 接口,共提供40Gbps最大吞吐量。后端使用 8 口萬 兆Infiniband交換機(jī)做部數(shù)據(jù)交換。SniartQuotasT,v里里SmartConnectIIDF s系刊和 x乘列強(qiáng)集配範(fàn)管理*負(fù)鞍平衝 *無績故障切換*炷粧分區(qū)Word專業(yè)資料rAlMl I InfiniBand就內(nèi)Ml: nfiniBandWord專業(yè)資料1.3案指標(biāo)匯總S200單節(jié)點(diǎn)處理器雙路Intel
7、 Xeon Westmere (四核)處理器,單節(jié)點(diǎn)緩存24GB后端IB QDR接口數(shù)2個前端網(wǎng)絡(luò)接口2 個 Gige 和 2 個 10GigeX200單節(jié)點(diǎn)處理器雙路Intel Xeon Nehalem(四核)處理器單節(jié)點(diǎn)緩存6GB后端IB QDR接口數(shù)2個前端網(wǎng)絡(luò)接口2 個 Gige 和 2 個 10Gige1.4案競爭優(yōu)勢1.4.1超大可擴(kuò)展容量此集群可以擴(kuò)展至144個節(jié)點(diǎn)加144個擴(kuò)展抽屜。并且所有空間都屬于同一文件系統(tǒng),也 就是說,擴(kuò)充的容量不需要做新的RAID或者加入到現(xiàn)有RAID,不需要建立邏輯卷,不需要創(chuàng)建文件系統(tǒng),不需要修改使用存儲客戶端的任設(shè)定。1.4.2超快擴(kuò)容速度使用R
8、AID技術(shù)的存儲系統(tǒng)擴(kuò)容不便,向RAID中增加新的容量只能以一到兩塊盤為單位,且需要長時間重建和同步,這對增加上百TB的容量是不可想象的,而新容量做成新的 RAID 又會浪費(fèi)更多的空間做冗余且往往需要修改使用存儲的客戶端設(shè)定。Isilon集群存儲由于采用了專利的OneFS核心系統(tǒng),沒有RAID概念以及相關(guān)的重建過程,因此每增加一個節(jié)點(diǎn) 至可用容量 只需要60秒鐘,比如我們需要再增加 10個Isilon節(jié)點(diǎn),連線完畢通電后僅需要 10分鐘后即可將其加入到 可用容量 中!1.4.3可增長的高性能由于Isilon存儲系統(tǒng)的“集群化”設(shè)計(jì),決定了其性能能夠和容量同步提升的特點(diǎn),就類似 動車組列車,每一
9、節(jié)車廂(Isilon存儲節(jié)點(diǎn))都有自己的動力(處理器、高速緩存和對外網(wǎng) 絡(luò)接口),而不像傳統(tǒng)的列車,靠一個動力強(qiáng)勁的車頭(存儲機(jī)頭)拉動一批沒有動力的車 廂(存儲擴(kuò)展柜),如果車頭能力不變(一般的存儲系統(tǒng),機(jī)頭的性能是固定或者幾乎沒有 太大擴(kuò)展能力的),增加新的車廂(增加存儲擴(kuò)展柜,擴(kuò)容),只能造成性能的下降。1.4.4高可靠性一般的存儲系統(tǒng)都采用RAID技術(shù)來進(jìn)行數(shù)據(jù)保護(hù),這樣能夠保證一到多塊硬盤同時損壞而Word專業(yè)資料不產(chǎn)生數(shù)據(jù)丟失,而Isilon的N+M保護(hù)級別允同時14個節(jié)點(diǎn)(存儲盤柜)同時損壞且數(shù) 據(jù)不丟失,這是任 RAID技術(shù)無法實(shí)現(xiàn)的,具有更高的安全性。并且Isilon文件級別
10、采取不同的保護(hù),重要數(shù)據(jù)使用高保護(hù)級別,相對不重要的采用低保護(hù)級別,既保障了數(shù)據(jù)安全, 又節(jié)省了寶貴的存儲空間,并且保護(hù)級別可以隨時在線更改不需要停機(jī)。1.4.5高可用性類似動車組的存儲節(jié)點(diǎn)設(shè)計(jì)配合雙冗余的交換機(jī)等附加設(shè)備,Isilon集群存儲不存在單點(diǎn)故障。SmartConnect Advaneed 技術(shù)實(shí)現(xiàn)了用戶的負(fù)載均衡和動態(tài)遷移,保證了資源的有效利用和存儲故障時所有用戶不掉線。1.4.6高可維護(hù)性Isilon存儲集群由外觀和設(shè)計(jì)完全一樣的存儲節(jié)點(diǎn)構(gòu)成,連線和維護(hù)異常便利,附加的設(shè)備 也只有后臺交換機(jī),架構(gòu)異常簡單。每一個Isilon存儲節(jié)點(diǎn)上都可以進(jìn)行管理,這樣不會出現(xiàn)傳統(tǒng)存儲的機(jī)頭損
11、壞就無法進(jìn)入管理系統(tǒng)的情況。而且由于不需要做RAID,邏輯卷和文件系統(tǒng),無論是維護(hù) 10TB還是1000TB數(shù)據(jù),管理難度和復(fù)雜度都沒有任區(qū)別。1.4.7高利用率與傳統(tǒng)存儲擴(kuò)容需要做新的 RAID不同,不改變保護(hù)級別的情況下 Isilon存儲集群實(shí)現(xiàn)數(shù)據(jù) 保護(hù)的容量損失是固定的,比如 N+1保護(hù)級別下的9個X200節(jié)點(diǎn)可用容量是96TB左右(損失一個節(jié)點(diǎn)的容量),這時候再增加一個節(jié)點(diǎn)IQ X200,它的12TB空間都會是可用容量,而不會因?yàn)閿?shù)據(jù)保護(hù)而容量損失,這是傳統(tǒng)存儲很難做到的。這個優(yōu)勢在節(jié)點(diǎn)越多容量越大的情況下越明顯,最高級別的保護(hù)下(N+4保護(hù)級別,同時允 4個節(jié)點(diǎn)即個4個盤柜同時損壞
12、)存儲空間可用率最高仍然可以接近96%,如果存儲系統(tǒng)需要面向未來大規(guī)模擴(kuò)容,空間利用率將是非常重要的,畢竟海量存儲容量下幾個百分點(diǎn)的差距都會產(chǎn)生可用空間數(shù)十TB的區(qū)別。1.4.8適合多應(yīng)用環(huán)境Isilon類似“動車組”的模塊化集群化設(shè)計(jì)注定其無論在要求存儲高性能的HPC高性能運(yùn)算領(lǐng)域,要求海量的數(shù)據(jù)備份領(lǐng)域還是常規(guī)應(yīng)用領(lǐng)域都可以游刃有余,專利的FlexNet功能還能保證各個業(yè)務(wù)網(wǎng)絡(luò)層隔離,互不影響。2服務(wù)式與級別2.1概述Isilon出眾的技術(shù)支持是您的企業(yè)IT運(yùn)作成功的關(guān)鍵。我們認(rèn)為僅僅是在問題出現(xiàn)后再作出反應(yīng)是遠(yuǎn)遠(yuǎn)不夠的,Isilon能幫您防患于未然,確保您的存儲系統(tǒng)總是表現(xiàn)出處理的高性能
13、、 Word專業(yè)資料數(shù)據(jù)的高可用性和運(yùn)作的高效率。Isilon全球服務(wù)體系能夠提供業(yè)最靈活的技術(shù)支持案,讓企業(yè)能夠充分利用支持服務(wù),滿足其獨(dú)特的IT和業(yè)務(wù)需求。每一家企業(yè)面臨的問題都不同,Isilon全球服務(wù)體系將根據(jù)您的人員和IT特點(diǎn),為您量身定做最合適的服務(wù)案。采用最適合自己的技術(shù)支持案,企業(yè)用戶能夠建立一個全球支持戰(zhàn)略,使每一筆IT投資的回報(bào)達(dá)到最大化。2.2技術(shù)支持Isilon技術(shù)支持致力于讓您的Isilon投資物超所值。我們提供的技術(shù)服務(wù)包括:全面的故障分析硬件和軟件技術(shù)支持全天24小時、和支持遠(yuǎn)程問題通知2.3在線支持客戶可隨時登錄Isilon,獲得在線技術(shù)支持:Isilon知識庫
14、登陸填寫服務(wù)請求在線技術(shù)培訓(xùn)下載升級軟件技術(shù)支持項(xiàng)目銀級支持黃金級支扌寸白金級支持Isilon知識(知識庫)kikiki遠(yuǎn)程監(jiān)控和診斷kikiWord專業(yè)資料北美免費(fèi)熱線支持ki工作日的遠(yuǎn)程技術(shù)支持24x7全天遠(yuǎn)程技術(shù)支持次日配件派遞(全球圍)kiki一級城市4小時配件送達(dá)(全球圍)現(xiàn)場備用件ki2.4本地服務(wù)支持在Isilon,我們深知快速有效提供現(xiàn)場支持的重要性。在我們的白金和黃金客服計(jì)劃中,Isilon的區(qū)域服務(wù)代表在您需要的時候,隨時準(zhǔn)備為您服務(wù),包括提供遠(yuǎn)程系統(tǒng)診斷和送遞配件到現(xiàn)場。其他現(xiàn)場服務(wù),可通過請求以下一個咨詢服務(wù):先進(jìn)的存儲整合備份和恢復(fù)整合數(shù)據(jù)遷移服務(wù)2.5售后服務(wù)技術(shù)支
15、持詳述技術(shù)服務(wù)體系:Word專業(yè)資料2.6地域覆蓋以北京、上海、服務(wù)中心為區(qū)域的樞紐。Word專業(yè)資料3產(chǎn)品技術(shù)參考3.1特性與優(yōu)勢3.1.1開放式架構(gòu)首先,解釋一個概念,scale-up和scale-out是什么?Scale-up和scale-out技術(shù)都是從服務(wù)器領(lǐng)域衍生出來的概念。在服務(wù)器領(lǐng)域,從早期的mainframe到Unix小型機(jī)到現(xiàn)在最為流行的集群架構(gòu),就經(jīng)歷了從scale-up架構(gòu)到scale-out架構(gòu)的轉(zhuǎn)變。開始的mainframe和Unix小型機(jī)都是標(biāo)稱最大可以支持若干CPU和若干存,但是實(shí)際購買時,卻不會一次到位,而是按需擴(kuò)展,比如第一次先買4個CPU,8G存。過一兩年
16、以后, 擴(kuò)展到8個CPU和16G存;當(dāng)某一天達(dá)到此系統(tǒng)的上限以后,服務(wù)器的處理能力就不能通 過在原來服務(wù)器里面擴(kuò)展CPU和存來實(shí)現(xiàn)了,而只能購買新的服務(wù)器來實(shí)現(xiàn)。這種架構(gòu)就叫做scale-up架構(gòu),其含義就是設(shè)備處理能力上限在購買時已經(jīng)確定,如果需求超過上限, 只能重新購買更高性能的設(shè)備?,F(xiàn)在流行的集群架構(gòu)是完全采用了積少成多,采用搭積木的式來實(shí)現(xiàn)高端服務(wù)器的處理性能。構(gòu)成集群系統(tǒng)的個體本身性能并不高,但是通過把成百上千臺個體聚合起來,其提供的處理能力就可以比高端的服務(wù)器還要高。目前世界上最快的計(jì)算系統(tǒng),就是采用這種架構(gòu)來完成的。這種采用搭積木模式搭建起來的系統(tǒng)采用的就是scale-out的架
17、構(gòu)。這種scale-out架構(gòu)本身就是一種開放式的架構(gòu)。當(dāng)把這種架構(gòu)移植到存儲設(shè)備上,就形成了scale-out架構(gòu)的存儲。Isilon公司的集群存儲作為 scale-out NAS領(lǐng)域的領(lǐng)頭羊,具有如下的架構(gòu)特點(diǎn):Word專業(yè)資料Cliert/ApplicertionLayer5tndardEttirnet Layerlsikn IQClustered storage LayerInlracluterCommunkal ionInFiniSand LayerIsilon IQ Network Architecture如圖所示,Isilon集群存儲分為三個組成部分:前端網(wǎng)絡(luò)Isilon集群存儲
18、前端網(wǎng)絡(luò)目前采用萬兆以太網(wǎng),接入客戶現(xiàn)有環(huán)境的核心交換機(jī)部。存儲節(jié)點(diǎn)Isilon集群存儲的存儲節(jié)點(diǎn)分為五大系列(其中S, X,NL三大系列又被稱為平臺節(jié)點(diǎn),Accelerator和EX擴(kuò)展節(jié)點(diǎn)又被統(tǒng)稱為擴(kuò)展節(jié)點(diǎn)),十四小類:后端網(wǎng)絡(luò)目前Isilon集群存儲架構(gòu)支持 QDR的Infiniband交換機(jī)。支持的廠家包括 Flextronics,QLogic, CISCO, Voltaire 等。3.1.2分布式操作系統(tǒng)Ion集樣存儲的構(gòu)成SmaiiQuotas1SmartConnectHAspera for -.Isilon IQWord專業(yè)資料Isilon是軟硬件一體的解決案提供商,其底層硬件結(jié)
19、構(gòu)是基于一種開放式結(jié)構(gòu)的(參見 上節(jié),開放式結(jié)構(gòu))。硬件層之上是Isilon擁有完全的操作系統(tǒng) OneFS,它既是操作系統(tǒng)又 是文件系統(tǒng),是一種全分布的操作系統(tǒng)。OneFS是Isilon已經(jīng)提出專利申請的分布式文件系統(tǒng),為Isilon IQ 提供了核心智能特征。OneFS通過使用一個分布式鎖管理器、一個緩存和一個維持集群全局一致性的區(qū)域 管理器,來保持節(jié)點(diǎn)的同步。 正是由于這種整個集群節(jié)點(diǎn)間的全局一致性,避免了訪問文件系統(tǒng)時的單點(diǎn)故障。集群的任一個節(jié)點(diǎn)都能處理讀寫要求,都能代表整個文件系統(tǒng)的功能特色。集群的所有節(jié)點(diǎn)都具有同等地位,因此整個系統(tǒng)是完全對稱的,克服了節(jié)點(diǎn)的等級差異和在的瓶頸。其他存
20、儲系統(tǒng)通過 RAID和卷管理層來傳輸數(shù)據(jù),產(chǎn)生了數(shù)據(jù)布局的低效率。而OneFS 直接在單獨(dú)的磁盤上控制文件的布置,通過優(yōu)化文件在集群上的分配,極大地改善了磁盤子系統(tǒng)的性能。通過以一個文件接著一個文件的式在磁盤上布置數(shù)據(jù),OneFS能在卷、目錄甚至是文件的層級上來控制存儲系統(tǒng)的冗余水平。OneFS還有其他幾個特點(diǎn)和好處。FlexProtect-AP ?軟件提供了最新的功能性,能在短時間重建發(fā)生故障的磁盤,利用整個集群的空余存儲空間來規(guī)避數(shù)據(jù)丟失的風(fēng)險(xiǎn),主動地監(jiān)控和搶先將數(shù)據(jù)從有風(fēng)險(xiǎn)的組件遷移出去。傳統(tǒng)的企業(yè)存儲系統(tǒng)將等值重建操作局限在存儲系統(tǒng)的子集進(jìn)行,這導(dǎo)致出現(xiàn)了恢復(fù)的瓶頸,增加了重新保護(hù)數(shù)據(jù)
21、的時間,大大增加了當(dāng)單個組件發(fā)生故障時數(shù)據(jù)丟失的風(fēng)險(xiǎn)。傳統(tǒng)的RAID-5等值保護(hù)如果在重建工作完成之前如果出現(xiàn)多個組件故障,就會引起數(shù)據(jù)丟失。相比之下,F(xiàn)lexProtect-AP能自動地將所有的數(shù)據(jù)Word專業(yè)資料UUUU鬻工1 1 111.111.皿 44-444-4A A IM2-2?IM2-2?r r 君777777 1 1 V V 1 1 d d eeooeeoo11-1111-11LHLH曰01fM01fM I I 用 6-76-7 7 7 T T.1.1 11111111 i i I I4 4 4 4 4 4 4 4 淨(jìng) 毘222222亠匚7 7 7 7 7 7 7 7 7 7
22、L L1 1 1 1 fl fl 1 1 fl fl I I 1 1 fl00fl00 0000rtrp A. IP10 1724 106IO4IQ. 172.4.17104 17210.172.41B7HO ITO 4 103 10.17.4-16310 1 72 4 IBBia f72 4 ICO10-1 73.4.1 TOin 172 4 171和錯誤更正信息分布到整個集群上,其高效可靠的錯誤更正技術(shù)保證了所有的數(shù)據(jù)保持完 整,即使在同時出現(xiàn)多個組件故障的情況下也能被便地被存取。在OneFS之外,有 五個需要單獨(dú)付費(fèi)購買的模塊:SnapShotIQ : Isilon SnapShotIQ
23、提供了秒級快照的解決案,和其他廠商的快照案不同的是,snapshotIQ是基于目錄或者子目錄層次做快照;而且每個目錄可以維護(hù)高達(dá)1024個快照;做快照不需要預(yù)留空間。SmartConnect : SmartConnect IQ 提供了前端網(wǎng)絡(luò)的負(fù)載均衡模式,可以提供 RoundRobin,CPU忙閑,網(wǎng)絡(luò)吞吐量,網(wǎng)絡(luò)連接數(shù)等四種均衡策略。另外對于NFS協(xié)議,SmartConnect提供了基于NFS協(xié)議的的IP failover式,提供了對 TCP連接的容錯。1lEslnn-1!ldfann-7I adon 3SmartQuotas : Isilon SmartQuotas是空間訪問限額模塊,通
24、過此模塊可以對目錄和用戶實(shí) 現(xiàn)空間限額。另外此模塊,可以非常容易的加入客戶環(huán)境中現(xiàn)有的AD,NIS,LDAP等用戶控制域,更好的提供基于用戶的訪問空間限額。另外還可以提供thin provisio ning 的功能,實(shí)現(xiàn)跨用戶空間的共享。Aspera for Isilon IQ :此模塊提供跨城域網(wǎng) WAN,快速數(shù)據(jù)同步的機(jī)制。SynclQ : Isilon SynclQ是用于異地容災(zāi)的模塊,可以在兩個集群存儲之間同步數(shù)據(jù)。傳統(tǒng)的文件系統(tǒng)使用集中服務(wù)器來管理多個存儲資源,致使出現(xiàn)了存儲系統(tǒng)的依賴性,故障點(diǎn)和熱點(diǎn)。使用 OneFS操作系統(tǒng)軟件,Isilon集群存儲系統(tǒng)的每個節(jié)點(diǎn)享有同等地位,因此
25、任節(jié)點(diǎn)都能處理請求。OneFS使用Infiniband ?進(jìn)行集群通信和同步,使用擁有專利的 B-tree 0.1 T3 di t&rin 172 4 16-5Word專業(yè)資料技術(shù),將所有數(shù)據(jù)(包括元數(shù)據(jù))完全并行的分布到所有節(jié)點(diǎn)中,這樣每個節(jié)點(diǎn)都清楚整個文 件系統(tǒng)的布局,以及每個文件和文件部分存放在哪個地,不需要專門的元數(shù)據(jù)服務(wù)器, 從而杜絕了其他存儲架構(gòu)出現(xiàn)元數(shù)據(jù)服務(wù)器熱點(diǎn)問題。在使用過程中,可以根據(jù)應(yīng)用的需求, 隨時調(diào)整客戶端可訪問存儲節(jié)點(diǎn)的數(shù)量。例如在網(wǎng)段一中,作業(yè)分為 paradigm groupl 禾口 paradigm group2 ,其中 paradigm groupl 要求完
26、 成的時間更緊些,通過實(shí)時的調(diào)整配置,而把盡量多的存儲節(jié)點(diǎn)的數(shù)量優(yōu)先讓給groupl的作業(yè)使用;如上圖所示,可以調(diào)整配置,對于時間要求不太緊的paradigm group2作業(yè),可以只讓訪問三個節(jié)點(diǎn),而其他全部節(jié)點(diǎn)的處理能力都由paradigm groupl來使用。如果在使用過程中,有更多網(wǎng)段的客戶端需要訪問集群存儲的節(jié)點(diǎn),可以實(shí)時按照要求更改存儲節(jié)點(diǎn)的網(wǎng)段配置,以滿足不同數(shù)據(jù)訪問的需求。3.1.3統(tǒng)一命名的空間真正的分布式單一全局命名空間與簡單的命名空間綜合不同,Isilon的OneFS分布式文件系統(tǒng)可以智能地將數(shù)據(jù)存放到集群的節(jié)點(diǎn)上,創(chuàng)建一個共享存儲池, 應(yīng)用圍很廣,包括對非結(jié)構(gòu)化數(shù)據(jù)的制
27、作、分析、傳輸和歸檔。roup 2Word專業(yè)資料后端網(wǎng)曙前塔兩第乘用插準(zhǔn)購GR以玄網(wǎng)交換機(jī)千見以尢冋高性純低延遲 InfiniBand變揍機(jī)都襤 嵯甬手后臺熾楓集拌之厠 的週信。4 IQ200K能使馬千耗皿玄嗣I圖1 Isilon ? IQ開放式系統(tǒng)架構(gòu)示意圖目前業(yè)界有很多存儲也聲明支持大容量(上P級)的統(tǒng)一命名空間, 但是底層無一不是通過將若干卷掛載在一個根目錄下來形成的大容量統(tǒng)一命名空間。這里試想傳統(tǒng)存儲的一個場景,假如A機(jī)頭掛接了 D1的LUN,B機(jī)頭掛接了 D2的LUN。那么無論怎樣將數(shù)據(jù)分布, 通過B機(jī)頭訪問D1lun里面的數(shù)據(jù),必然要通過A機(jī)頭將數(shù)據(jù)從 D1LUN讀出,傳給B機(jī)頭
28、, 這樣很容易出現(xiàn)存儲熱點(diǎn)問題。而Isilon集群存儲則是將所有節(jié)點(diǎn)的存儲空間通過專利技術(shù)整合到真正的單一文件系統(tǒng)OneFS中,因?yàn)槭菃我晃募到y(tǒng),就不會發(fā)生跨LUN而發(fā)生的性能問題。目前Isilon的集群存儲,最少需要三個節(jié)點(diǎn),最多支持144個節(jié)點(diǎn)(144的限制不是系統(tǒng)本身的上限,而是infiniband交換機(jī)端口數(shù)的上線,目前最多端口的IB交換機(jī)是144端口),最大單一文件系統(tǒng)的大小為 2PB。當(dāng)集群增加新的節(jié)點(diǎn)和容量后,Isilo n? IQ專有的AutoBala nee功能會自動實(shí)時通過IB交換機(jī)平衡數(shù)據(jù)在集群節(jié)點(diǎn)上的分布,而且OneFS (單一文件系統(tǒng))能夠動態(tài)調(diào)節(jié)數(shù)據(jù)重新分布進(jìn)程的
29、級別,更好的利用存儲和服務(wù)器的資源,為客戶端提供更加有效的性能,最大化程度提高性能和存儲利用率,消除停機(jī)時間。有了Isilon? IQ,當(dāng)您升級存儲系統(tǒng)時,再也不需要手動地遷移數(shù)據(jù)或者是改變應(yīng)用邏輯了。3.1.4高性能Isilon集群存儲的吞吐性能將隨著節(jié)點(diǎn)的增加而增加,其曲線參見如下圖形:Word專業(yè)資料I si LON產(chǎn)站構(gòu)址棄的awt坤C*A4P CWKH tJli根據(jù)實(shí)際測試結(jié)果,Isilon集群存儲節(jié)點(diǎn)上的每個萬兆以太網(wǎng)卡,大約可以提供1000MB/S的帶寬。集群存儲的聚合帶寬,可以用 1000MB/SX每節(jié)點(diǎn)千兆網(wǎng)卡數(shù)量 x節(jié)點(diǎn) 數(shù)來獲得。衡量一個存儲架構(gòu)的優(yōu)劣,無外乎從讀寫兩個面
30、來看,現(xiàn)舉例說明Isilon集群存儲讀寫操作的特點(diǎn):某個客戶端發(fā)起讀寫請求,通過核心交換機(jī),向Isilon集群存儲發(fā)起讀寫請求。以Isilon 八個存儲結(jié)點(diǎn)實(shí)例,Isilon分布式操作系統(tǒng),嵌 SmartConnect模塊是做負(fù)載均衡用的,從 八個結(jié)點(diǎn)里頭選擇出目前最閑的結(jié)點(diǎn)來接收此次讀寫請求的文件,這個文件到了結(jié)點(diǎn)之后, 并沒有立刻寫到磁盤上;此時OneFS會把這個文件自動地由分成八個小塊(現(xiàn)在以八個結(jié)點(diǎn)舉例),通過后端的IB交換機(jī),帶寬高,網(wǎng)絡(luò)延遲小,通過IB交換機(jī)的存級別拷貝功能把八小塊數(shù)據(jù)分別寫到其他節(jié)點(diǎn)各自的硬盤上。形象地舉個例子,傳統(tǒng)架構(gòu)數(shù)據(jù)要寫到磁盤上,相當(dāng)于一個人(一個機(jī)頭)搬
31、八個箱子,而Isilon集群存儲是八個人搬八個箱子,效率和速度大大提高,這種并行架構(gòu)決定了寫的性能 比一般的存儲性能高很多。Word專業(yè)資料反過來看讀一個文件,這個非常好理解,就是寫的一個反過程,也就是充分利用了 Infin iba nd 的帶寬和存級別拷貝,從這個角度看,我們的集群存儲給客戶提供了非常高的讀寫性能。3.1.5易安裝和管理Isilon集群存儲易管理性體現(xiàn)在如下三個面:安裝簡單傳統(tǒng)的SAN和NAS存儲在配置過程中,必然要提前做好規(guī)劃工作,包括硬件上架,連 線,存儲網(wǎng)絡(luò)配置,RAID group劃分,HBA卡配置,SAN switch配置,LUN劃分,卷劃分,文件系統(tǒng)創(chuàng)建等等。任一
32、步出現(xiàn)問題都會影響到存儲的使用。而Isilon集群存儲,因?yàn)椴扇×撕芏鄬@夹g(shù), 在客戶端看來沒有任 RAID , LUN,Volume 等這些概念,因此安裝起來非常簡單,只需要將所有硬件上架,連線,存儲網(wǎng)絡(luò)配置即可,存儲系統(tǒng)就可以上線交付使用。F表是傳統(tǒng)存儲和Isilon安裝步驟對比SAN + NAS headIsilo nRack and cableRack and cablePla n volume layoutNetwork con figurati onPla n RAID group con figurati ons-Whattype of RAID?Share dataPla n
33、 fiber cha nnel n etworkIn stall fiber cha nnel switchIn stall fiber cha nnel n etworkIn stall HBACon figure HBACon figure RAID groups and sparesWord專業(yè)資料In itialize RAID groupCreate volumesCreate LUNSFormat volumesIn stall filesystemTune ino des to match file sizesNetwork con figurati onShare dataCo
34、n ti nu ously bala nee systemWhat data to what volume?管理和配置簡單Isilon集群存儲的管理和配置非常簡單,管理存儲的精力不會隨著存儲容量的增加而增 加。Isilon集群存儲提供兩種管理界面,一個是基于瀏覽器的管理界面,一個是全命令 行的管理界面,功能完全一致。Word專業(yè)資料3.1.6擴(kuò)容簡易Isilon的單一文件系統(tǒng)OneFS,提供了非常好的擴(kuò)展功能,在擴(kuò)展節(jié)點(diǎn)的時候,不影響原有 存儲系統(tǒng)的使用,而且在 60秒之,新加入的節(jié)點(diǎn)空間就可以被客戶端看到且可以使用0贋冷 支捋6 3450TB的艾件索統(tǒng) 其也廠商晨大2-16TB増關(guān)f葷點(diǎn)左需
35、要80営時間n i KMi L snr Qcmii +1ratinnMa如n嚀*m; Hjr:ir- IWIMiihedbv*H Pl!1?Isilon. Proven Leader in Scale-out NASSKIQIS-level ofManage 6-35rTB single file sysEsm from one intuitive consoleWord專業(yè)資料當(dāng)集群增加新的節(jié)點(diǎn)和容量后,Isilo n? IQ專有的AutoBala nee功能會自動實(shí)時通過IB交換機(jī)平衡數(shù)據(jù)在集群節(jié)點(diǎn)上的分布,而且OneFS (單一文件系統(tǒng))能夠動態(tài)調(diào)節(jié)數(shù)據(jù)重新分布進(jìn)程的級別,更好的利用存儲
36、和服務(wù)器的資源,為客戶端提供更加有效的性能,最大化程度提高性能和存儲利用率,消除停機(jī)時間。有了Isilon? IQ,當(dāng)您升級存儲系統(tǒng)時,再也不需要手動地遷移數(shù)據(jù)或者是改變應(yīng)用邏輯了。F表是友商和Isilon擴(kuò)容步驟的對比表SAN + NAS headIsilo nRack and cableRack and cablePla n volume layoutPress butt on on front panelPlan RAID group con figurati ons-What type ofRAID?Pla n fiber cha nnel n etworkIn stall fiber
37、 cha nnel switchIn stall fiber cha nnel n etworkIn stall HBACon figure HBACon figure RAID groups and sparesIn itialize RAID groupCreate volumesCreate LUNSFormat volumesWord專業(yè)資料In stall filesystemTune ino des to match file sizesShare dataCon ti nu ously bala nee systemWhich of the many volumes does t
38、he data go?3.1.7數(shù)據(jù)安全性高Isilon集群存儲的數(shù)據(jù)安全性非常高,可以提供兩個級別的容錯,第一個級別是節(jié)點(diǎn)級的容錯,第二是針對文件夾數(shù)據(jù)保護(hù)還是用將一個文件寫到Isilon集群存儲里做示例,還是用八個結(jié)點(diǎn),文件被OneFS分成八個小份,如果采用了N+1的數(shù)據(jù)保護(hù)級別,當(dāng)某一個節(jié)點(diǎn)發(fā)生問題了宕掉了,通過節(jié)點(diǎn)級容錯,數(shù)據(jù)仍然是安全的、完整的。應(yīng)為Isilon集群存儲每個節(jié)點(diǎn)都至少有12塊硬盤,因此同時可以允12塊硬盤發(fā)生錯誤,數(shù)據(jù)都是安全的,這跟傳統(tǒng)的數(shù)據(jù)容錯有本質(zhì)的區(qū)別, 因?yàn)閷?shí)現(xiàn)容錯的架構(gòu)是在節(jié)點(diǎn)操作系統(tǒng)這一級,所以Isilon集群存儲可以提供節(jié)點(diǎn)型的容錯;如果N+1還不能滿
39、足要求,我們可以最多支持4個節(jié)點(diǎn),而且數(shù)據(jù)保護(hù)級別可以在線更換,數(shù)據(jù)仍然是完整的,這個容錯機(jī)制跟業(yè)界其他產(chǎn)品容錯機(jī)制完全不一樣,這也是Isilon集群存儲非常有特點(diǎn)的一個產(chǎn)品特性。節(jié)點(diǎn)級容錯跟傳統(tǒng) RAID比較大的區(qū)別是,如果我們存儲選用了RAID話需要改變級別的話,唯一的法就是格式化掉,而Isilon集群存儲可以隨時在線更改保護(hù)級別,不需要更改數(shù)據(jù)布局,非常便易用。以上介紹的是第一類的容錯:節(jié)點(diǎn)級的容錯。對于N+1和N+2的數(shù)據(jù)保護(hù)類型,參見如下存放式:Word專業(yè)資料匚訂DILL2DJDAD505D7DB0120-KB256KBFlexProtect Illustrated: N+1 N+
40、M terms: 5+1 (5 data blocks, 1 parity b(ocks) per stripe Two stripes for a 1.2 MB file 16.7% overhead (2 parity blocks for 10 data blocks)Can survive one disk failure or one node failureFlexProtect Illustrated: N+2N+M terms: 4+2 (4 data blocks, 2 parity blocks) per stripe w Three stripes for a 12 MB
41、 filex 37.5% overhead (6 parity blocks for 10 data blocks) Can survive two disk failures or two node failures如實(shí)現(xiàn)高可用性和高可靠性如今的用戶不得不處理快速增長的大量數(shù)據(jù),而這些數(shù)據(jù)必須被可靠地存儲,能被多應(yīng)用和使用者隨時訪問。對于如保證業(yè)務(wù)關(guān)鍵型數(shù)據(jù)的高可用性和高可靠性,傳統(tǒng)存儲系統(tǒng)表現(xiàn)出它的重不足。為了能可靠地升級傳統(tǒng)存儲構(gòu)架,IT管理人員常常會遭遇到一大堆復(fù)雜的技術(shù)難題,最終會導(dǎo)致運(yùn)作成本的增加。單點(diǎn)故障傳統(tǒng)的NAS和SAN存儲構(gòu)架都存在固有的單點(diǎn)故障。這些系統(tǒng)一般都在大量的磁盤
42、Stripe UnitNode 1Node 2Node 3Nude 4NodeSNode 6Node 1Node 2Node 3Node 4Node 5Node 6Word專業(yè)資料空間前配置有單一的服務(wù)器(或者磁頭單元)。一旦這些服務(wù)器出現(xiàn)故障,所有對磁盤存儲及其數(shù)據(jù)的訪問都會掉線。當(dāng)一段時間后添加了更多的容量,這些存儲系統(tǒng)就變成了更大的存儲孤島。一旦一個服務(wù)器磁頭崩潰, 發(fā)生數(shù)據(jù)不可用的危險(xiǎn)就會大增。為了解決這個問題,一些存儲廠商提供冗余故障轉(zhuǎn)移技術(shù),這種技術(shù)一般要用到 “雙向集群”,允安裝一對服務(wù)器磁頭用于故障轉(zhuǎn)移。然而這種解決案升級困難且成本高昂,因?yàn)橛脩舯仨氋徺I冗余磁頭單元和昂貴的集群
43、/故障轉(zhuǎn)移軟件附件,管理起來也非常麻煩。RAID和奇偶校驗(yàn)數(shù)據(jù)保護(hù)案 /驅(qū)動器重建時間傳統(tǒng)的奇偶校驗(yàn) RAID技術(shù),包括RAID4和RAID5,在過去很長一段時期中都能基本 滿足存儲管理員的要求,提供單個磁盤驅(qū)動器發(fā)生故障時的數(shù)據(jù)保護(hù)。對于使用容量有限、 卷和文件系統(tǒng)較小的存儲池的企業(yè)來說,這些案是勉強(qiáng)可以接受的。他們愿意多花點(diǎn)在存儲管理上,以獲取更高的存儲可用性。需要注意的是,傳統(tǒng)RAID技術(shù)提供的保護(hù)需要在重建故障磁盤時,不能發(fā)生另一個磁盤故障或者是不可接受的誤碼。但是現(xiàn)在我們都采用大型磁盤驅(qū)動器,發(fā)生第二個磁盤故障的概率大增。面密度(指磁盤表面每平英寸的面積所能儲存寫入信息的比特?cái)?shù))以將
44、近100%的復(fù)合年增長率在不斷加大,但是磁盤驅(qū)動器的可靠性 和性能并沒有同步提高,部分原因是重建驅(qū)動器的時間過長。大容量的驅(qū)動器,比如250GB和500GB的SATA驅(qū)動器,需要更長的重建時間, 極大地增加了同時發(fā)生幾個磁盤故障的 可能性,數(shù)據(jù)丟失的風(fēng)險(xiǎn)不可小視。密集的SATA磁盤的重建時間可能長達(dá) 24小時,增力口了同時發(fā)生幾個磁盤故障的可能。因此,傳統(tǒng)的奇偶校驗(yàn)RAID數(shù)據(jù)保護(hù)技術(shù)的局限性在現(xiàn)代數(shù)據(jù)中心凸顯無疑。故障部件的檢測當(dāng)今多傳統(tǒng)存儲系統(tǒng), 在發(fā)現(xiàn)和處理故障硬件部件問題時, 都是被動反應(yīng),而非預(yù)先應(yīng) 對。因?yàn)椴痪邆溆蓄A(yù)知功能的智能軟件, 不能預(yù)判什么時候會發(fā)生故障, 傳統(tǒng)存儲系統(tǒng)將用
45、 戶的數(shù)據(jù)置于危險(xiǎn)之中。 傳統(tǒng)存儲系統(tǒng)不能在故障發(fā)生之前采取預(yù)防措施, 結(jié)果,一旦發(fā)生面密度:兆平方英寸Word專業(yè)資料磁盤故障,這些存儲系統(tǒng)會經(jīng)歷非常長的重建時間,而如果不幸發(fā)生了第二個磁盤故障,數(shù)據(jù)丟失的風(fēng)險(xiǎn)就非常高。現(xiàn)代磁盤驅(qū)動器的密度已大幅提高,發(fā)生錯誤的概率也相應(yīng)增大,這要求存儲系統(tǒng)能預(yù)先應(yīng)對可能發(fā)生的錯誤,確保存儲系統(tǒng)的高可用性。這種存儲案必須能低成本高效益地解決固有的單點(diǎn)故障,同時這種存儲案必須是易于操作和管理的。另外,為了能應(yīng)對現(xiàn)今的大容量單一文件系統(tǒng)和密度更高的磁盤驅(qū)動器,這種解決案必須能在這些組件發(fā)生故障時做到成功重建數(shù)據(jù),同時能智能地檢測出故障,在此類故障發(fā)生之前進(jìn)行自愈
46、。3.2產(chǎn)品技術(shù)規(guī)格Isilon IQ S 系列:&QOGBUlln巾點(diǎn)特性和迷忝1A6m rHDCVSSD)7,2706 3T&200GBSTBfLZTB14.4TBllTBIOOGB.bTBa.ZTBwa 12 MT EAS)23IS2422L8HSVqMI ISLC) MB162&ECC 典存24GB斟帕.4BGB luth SQOO fi AHtr砂f*卻jf盤炊卻ISUSH J 爲(wèi)填t MDUUTB5 5TW50003TB/I.TBJ2THimw2MGBSTBy 1 ?TB24 TB20TB 4aOGQ1?W j .2TB3MB2廠1用 non 自JHTIV L2TOV* S.5?r
47、rSMAl1?1161?111?10坨6(SLC) JOOB1162636ECC林 :FBDiMN IS#1GLBbCBHGb. 12LH. ZdGB43GEIZbL L2tiU. 24hbl4體oa6CBa UH. 12GH.2JB I& GE傘妍晦 1000 AJS-T4 rGKL (RM) TTG氈*i陽In; 血loca a-TU T UfiL ( R) 才牛囲弱和?牛 佃FF+直TWT FFI|百屮電 IDDO GasT CD1卻勒 ? T Gtf 2 十 IOGQE佔(zhàn)尸3養(yǎng) 6啊IODO Bu*-T CSfD* WJt2亍G麗E/a*十lOGtgl: fFP 4 Wn弼耐iCPUS
48、U誓卒節(jié)點(diǎn)尸配備山吋Nehsltm 問Ml ItH番自祁d 廉篠*事快整 RAMlhrMM412 *日1M 下韻翼顯巾憚咖兀2d0 VJOB TiS 舷 IT137OSTUJ +tf莎嵯規(guī)略*9R 冗令.皿掃比W 53 . tlJifT-KiJJF IPFCI工柞用I50* F K41 F CCPCr.*OH -i% KX -:ITE.狷妙副庵悄.34fl A寸(H-ffVl.瓷噴.用甘竝寸(47也霑乂.茁rf .川,靈叱f?s.J序K 1.舌” hlC/H4 1 3E加螳鰻空HI世止. 笑扌US.CJ壓攔人 甘白14 Xl4 Isilon+IQ部分成功案例簡述案例案例要點(diǎn)油和天然氣SEI (
49、Seismic Exchange)SEI是領(lǐng)先的地震數(shù)據(jù)提供商,需即時可靠地全天候訪問數(shù)據(jù)集,然后快速 準(zhǔn)確處理,并將高質(zhì)量的信息提供給客戶,來支持客戶的作業(yè)。米用Isilon IQ的好處:可將總計(jì)超過 30,000英里覆蓋面積的3D地震影Word專業(yè)資料像數(shù)據(jù),整合到一個無縫、可擴(kuò)展的高性能存儲池中,極大加快了重要地 震信息存儲的分發(fā),讓客戶在高風(fēng)險(xiǎn)的油氣勘探競賽中獲得競爭優(yōu)勢。GGS Spectrum GroupGGS Spectrum Group設(shè)在四的公司,提供地震數(shù)據(jù)處理、多客戶和海上數(shù)據(jù)米集服務(wù)。GGS-Spectrum米用Isilon IQ將超大量地震數(shù)據(jù)整合到咼性 能、高可擴(kuò)展
50、的單一存儲池中,用來簡化它的工作流程和推動業(yè)務(wù)開展。米用Isilon IQ的好處:更迅速地分析龐大的地震數(shù)據(jù),更高效地加快實(shí)施 全球項(xiàng)目。中國油中油從事油天然氣領(lǐng)域的各項(xiàng)業(yè)務(wù),其中包括原油及天然氣的勘測、開發(fā) 和生產(chǎn),以及化工產(chǎn)品的生產(chǎn)銷售。采用Isilon IQ的好處:實(shí)現(xiàn)了對關(guān)鍵業(yè)務(wù)信息的即時訪問,改進(jìn)了工作流 程協(xié)作,極大降低了管理存儲增長的成本和復(fù)雜性。媒體和娛樂行業(yè)NBC為北京奧運(yùn)會轉(zhuǎn)播部署 Isilon IQNBC面臨的挑戰(zhàn):NBC將有史以來第一次完全以高清格式進(jìn)行奧運(yùn)會的電 視轉(zhuǎn)播。廣播模式的轉(zhuǎn)變(多種分發(fā)渠道、格式和消費(fèi)模式)使得歸檔媒 體的數(shù)量和重要性大幅度提升。只是簡單地存儲這些容是遠(yuǎn)遠(yuǎn)不夠的,還 必須讓這些容始終保持聯(lián)機(jī)狀態(tài),讓用戶可以即時調(diào)用。使用Isilon IQ的好處:NBC將大部分2008年北京奧運(yùn)會的圖片和寬帶容 保存在Isilon集群存儲上,讓 NBC的制作人員可以十分便、可靠地獲取關(guān) 鍵容,并且能夠在美國進(jìn)行報(bào)道所需的快速審查、標(biāo)識和選擇操作。通過 部署Isilon IQ , NBC Universal的多個播出與制作單位現(xiàn)在可以即時訪冋龐 大的媒體節(jié)目庫,而不管它們是在什么位置,從而使NBC Universal能夠改善現(xiàn)場直播,或在
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 廣東交通職業(yè)技術(shù)學(xué)院《紙樣設(shè)計(jì)(三)》2023-2024學(xué)年第二學(xué)期期末試卷
- 河北醫(yī)科大學(xué)臨床學(xué)院《景觀設(shè)計(jì)1》2023-2024學(xué)年第二學(xué)期期末試卷
- 短視頻創(chuàng)作酒店行業(yè)跨境出海項(xiàng)目商業(yè)計(jì)劃書
- 健身餐DIY材料與工具包企業(yè)制定與實(shí)施新質(zhì)生產(chǎn)力項(xiàng)目商業(yè)計(jì)劃書
- 咖啡館美學(xué)裝飾行業(yè)跨境出海項(xiàng)目商業(yè)計(jì)劃書
- 體育培訓(xùn)機(jī)構(gòu)創(chuàng)建與運(yùn)營行業(yè)跨境出海項(xiàng)目商業(yè)計(jì)劃書
- 七年級生物下冊4.13.3傳染病及免疫專題輔導(dǎo)新版北師大版
- 2024-2025學(xué)年高中英語課時閱讀訓(xùn)練二Module1BasketballPeriod2ReadingandVocabulary要點(diǎn)講解課含解析外研版選修7
- 《餐飲服務(wù)與管理綜合實(shí)訓(xùn)(第3版)》教案-綜合接待、擺臺、餐飲服務(wù)項(xiàng)目測試教案
- 關(guān)于衛(wèi)生院“十五五”發(fā)展規(guī)劃(詳細(xì)版)
- 第45屆世界技能大賽烹飪(西餐)項(xiàng)目全國選拔賽技術(shù)工作文件
- 科幻小說閱讀(原卷版)-2023年浙江中考語文復(fù)習(xí)專練
- 化妝品代加工保密協(xié)議
- 2024年高等教育法學(xué)類自考-00229證據(jù)法學(xué)考試近5年真題附答案
- 新媒體環(huán)境下的品牌策劃學(xué)習(xí)通超星期末考試答案章節(jié)答案2024年
- 股東之間股權(quán)轉(zhuǎn)讓合同協(xié)議書(2篇)
- 人體器官講解課件
- 惠州市惠城區(qū)2024-2025學(xué)年數(shù)學(xué)四年級第一學(xué)期期末調(diào)研模擬試題含解析
- DB3301-T 0256-2024 城市生態(tài)河道建設(shè)管理規(guī)范
- 2024中考滿分作文9篇
- 04S519小型排水構(gòu)筑物(含隔油池)圖集
評論
0/150
提交評論