各廠商高端存儲(chǔ)產(chǎn)品技術(shù)對(duì)比.doc

各廠商高端存儲(chǔ)產(chǎn)品的技術(shù)對(duì)比目錄1背景信息42技術(shù)指標(biāo)列表62.1大型號(hào)指標(biāo)列表62.2小型號(hào)指標(biāo)列表73體系結(jié)構(gòu)分析93.1HDS USP V/USP VM體系結(jié)構(gòu)先進(jìn)的統(tǒng)一星型網(wǎng)絡(luò)架構(gòu)93.2EMC DMX-4/DMX-4 950體系結(jié)構(gòu)113.3IBM DS8300 Turbo/DS8100 Turbo體系結(jié)構(gòu)落后的雙控制器結(jié)構(gòu)134Cache技術(shù)分析164.1HDS USP V/VM緩存技術(shù)164.2EMC DMX-4緩存技術(shù)174.3IBM DS8000緩存技術(shù)175緩存并發(fā)訪問能力比較195.1HDS USP V緩存并發(fā)數(shù)195.2HDS USP VM緩存并發(fā)數(shù)215.3EMC DMX-4/DMX-4 950緩存并發(fā)數(shù)225.4DS8300緩存并發(fā)數(shù)225.5小結(jié)236IO性能246.1測試結(jié)果公開網(wǎng)站246.2DS8300測試結(jié)果256.3USP V測試結(jié)果266.4對(duì)比266.5DMX-4/950測試結(jié)果267存儲(chǔ)虛擬化整合技術(shù)277.1HDS USP V/USP VM虛擬化277.2IBM和EMC虛擬化技術(shù)288存儲(chǔ)分區(qū)技術(shù)309動(dòng)態(tài)供應(yīng)技術(shù)3210各個(gè)廠商的宕機(jī)記錄3411HDS向客戶承諾的系統(tǒng)可靠性361 背景信息存儲(chǔ)（即智能磁盤陣列）已經(jīng)成為企業(yè)IT支撐系統(tǒng)越來越重要的一個(gè)分支。目前全球范圍公認(rèn)的主流存儲(chǔ)解決方案供應(yīng)商主要有HP、EMC、IBM等。隨著技術(shù)的發(fā)展和市場的分化，上述幾個(gè)主流廠商都向市場提供兩個(gè)系列的存儲(chǔ)產(chǎn)品：即高端存儲(chǔ)和中端存儲(chǔ)兩個(gè)系列，分別滿足不同級(jí)別和不同規(guī)模的應(yīng)用需求。為了更好地進(jìn)行產(chǎn)品選型，我們需要對(duì)各廠商的產(chǎn)品進(jìn)行深入分析對(duì)比，以作為我們選擇的重要依據(jù)。本文首先對(duì)各廠商的高端存儲(chǔ)進(jìn)行分析，中端存儲(chǔ)的分析將在其他文件中提供。下表是各廠商高端存儲(chǔ)型號(hào)的詳細(xì)列表。產(chǎn)品HPEMCIBMHDS大XP24000DMX-4DS8700USP V小XP20000DMX-4 950DS8300USP VM在技術(shù)分析前，我們確定了一些主要的技術(shù)方面，然后在這些技術(shù)指標(biāo)上對(duì)各廠商的產(chǎn)品進(jìn)行對(duì)比，包括主要指標(biāo)列表、體系結(jié)構(gòu)、Cache技術(shù)、性能、存儲(chǔ)虛擬化功能、存儲(chǔ)分區(qū)、以及容量動(dòng)態(tài)供應(yīng)技術(shù)等。另外，還要說明一下，通過各廠商的技術(shù)資料和產(chǎn)品介紹，我們了解到上表中各廠商的小型號(hào)和大型號(hào)（例如HP XP20000和XP24000）在體系架構(gòu)和總體功能上是完全相同的，其系統(tǒng)內(nèi)部運(yùn)行的也是同一套微碼（存儲(chǔ)操作系統(tǒng)），所不同的主要是系統(tǒng)擴(kuò)展性方面，例如前端控制器、后端控制器、緩存、最大磁盤的數(shù)量等。2 體系結(jié)構(gòu)分析體系結(jié)構(gòu)決定著產(chǎn)品的本質(zhì)特性：一個(gè)產(chǎn)品擁有優(yōu)秀、均衡的體系結(jié)構(gòu)，這個(gè)產(chǎn)品才能擁有良好的可靠性和穩(wěn)定性，才能擁有高的性能。2.1 HP XP系列產(chǎn)品體系結(jié)構(gòu)先進(jìn)的統(tǒng)一星型網(wǎng)絡(luò)架構(gòu)HP XP系列產(chǎn)品作為高端存儲(chǔ)，擁有一個(gè)適合存儲(chǔ)系統(tǒng)的、沒有潛在瓶頸的、全光纖交換式和點(diǎn)對(duì)點(diǎn)直連相混合的統(tǒng)一星型網(wǎng)絡(luò)體系架構(gòu)Universal Star Network（USN），如下圖所示。圖中CHA為前端通道控制器，DKA為后端磁盤控制器，SMA是控制緩存，CMA是數(shù)據(jù)緩存，CSW是內(nèi)部緩存交換機(jī)。HP XP系列產(chǎn)品的技術(shù)白皮書列舉了USN統(tǒng)一星型網(wǎng)絡(luò)體系結(jié)構(gòu)擁有2項(xiàng)核心技術(shù)： 第一項(xiàng)：數(shù)據(jù)緩存讀寫采用全光纖交換式架構(gòu)。交換式體系結(jié)構(gòu)又稱CrossBar結(jié)構(gòu)，是一種高帶寬、大吞吐率和無阻塞的體系結(jié)構(gòu)，已經(jīng)廣泛應(yīng)用在IT行業(yè)、電信行業(yè)的高端設(shè)備上。不論是大型UNIX主機(jī)（HP Superdome、Sun Enterprise Server 25K、IBM P590等），以太網(wǎng)核心交換機(jī)（Cisco）、存儲(chǔ)網(wǎng)核心交換機(jī)（如Brocade、McData以及Cisco SAN Director），甚至是電信交換機(jī)等均采用了無阻塞CrossBar技術(shù)作為其系統(tǒng)架構(gòu)，這已經(jīng)是業(yè)界發(fā)展的方向。Cache是存儲(chǔ)系統(tǒng)的核心部件，XP把整個(gè)系統(tǒng)的所有緩存Cache分為兩個(gè)獨(dú)立部分：數(shù)據(jù)緩存（如上圖CMA所示）和控制緩存（上圖SMA所示）。其中數(shù)據(jù)緩存用來存放服務(wù)器/主機(jī)讀寫的數(shù)據(jù)，控制緩存是用來存放數(shù)據(jù)緩存的索引（我們稱之為metadata）以及系統(tǒng)通信數(shù)據(jù)的共享區(qū)的。存儲(chǔ)系統(tǒng)把數(shù)據(jù)緩存在邏輯上分為若干個(gè)page（大小為4K，8K，16K等），每個(gè)page有一個(gè)線性地址（即page ID）。每次讀寫都是以page為單位進(jìn)行，即使是只需要讀一個(gè)byte，最后對(duì)緩存的讀寫也是以一個(gè)page進(jìn)行的。因此對(duì)于數(shù)據(jù)緩存來說，最重要的是需要持續(xù)的高帶寬和大吞吐率，XP在數(shù)據(jù)緩存讀寫上采用交換式結(jié)構(gòu)設(shè)計(jì)這是真正的根據(jù)存儲(chǔ)系統(tǒng)的特點(diǎn)而設(shè)計(jì)的。o XP24000從內(nèi)部交換機(jī)到數(shù)據(jù)緩存設(shè)計(jì)有64路1.0625GB/s的通路連接起來，數(shù)據(jù)緩存共有68GB/s的帶寬；o XP20000從內(nèi)部交換機(jī)到數(shù)據(jù)緩存設(shè)計(jì)有8路1.0625GB/s的通路連接起來，數(shù)據(jù)緩存共有8.5GB/s的帶寬； 其次是控制緩存采用點(diǎn)對(duì)點(diǎn)直連技術(shù)。如上文所述，控制緩存主要用來存放數(shù)據(jù)緩存的索引和共享通訊數(shù)據(jù)。其中數(shù)據(jù)緩存的索引是一張二元表，其數(shù)據(jù)結(jié)構(gòu)如下：某個(gè)數(shù)據(jù)塊在磁盤數(shù)據(jù)卷上的地址某個(gè)數(shù)據(jù)塊在數(shù)據(jù)緩存上的地址在微觀上，服務(wù)器對(duì)存儲(chǔ)的一次讀寫的詳細(xì)過程如下：業(yè)務(wù)軟件讀某個(gè)數(shù)據(jù) 數(shù)據(jù)庫演變?yōu)樽x某個(gè)數(shù)據(jù)庫表紀(jì)錄 數(shù)據(jù)庫底層演變?yōu)樽x某個(gè)邏輯卷的某個(gè)數(shù)據(jù)塊 操作系統(tǒng)卷管理軟件演變?yōu)樽x某個(gè)數(shù)據(jù)卷的某個(gè)數(shù)據(jù)塊 XP24000演變?yōu)槟硞€(gè)LUN的某個(gè)page XP24000在控制緩存中查找索引，判斷是否該數(shù)據(jù)page在數(shù)據(jù)緩存中 。如果返回一個(gè)非0值，說明該數(shù)據(jù)在數(shù)據(jù)緩存中，這次讀操作為讀命中read hit；如果返回為一個(gè)0值，這說明此次操作為read miss，系統(tǒng)將在共享緩存中寫入該數(shù)據(jù)塊page ID，并通知后端磁盤控制器將數(shù)據(jù)塊讀入到數(shù)據(jù)緩存中。XP任何一個(gè)操作，都需要訪問控制緩存。而且對(duì)控制緩存的讀寫有如下特點(diǎn)：o 每次對(duì)控制緩存的訪問的數(shù)據(jù)量很小，一般就是一個(gè)長整數(shù)（即page ID）；o 讀寫并發(fā)度很高，因?yàn)橐淮螖?shù)據(jù)讀寫可能導(dǎo)致多次控制緩存的讀寫；o 控制緩存中還包含了大量存儲(chǔ)控制器之間的通信數(shù)據(jù)，但每次訪問的數(shù)據(jù)量都不大。o 因此對(duì)控制緩存的技術(shù)要求是：控制器到控制緩存的通道要多，每條通道的帶寬不必很寬。XP就是遵循這個(gè)設(shè)計(jì)原則，對(duì)控制緩存的讀寫設(shè)計(jì)為點(diǎn)對(duì)點(diǎn)直連結(jié)構(gòu)：v XP24000每個(gè)控制器（包括前后端控制器）都通過4路150MB/s的通路直接連接到每個(gè)控制緩存卡上，因此系統(tǒng)滿配置32塊控制器的情況下，一共設(shè)計(jì)有4*32*2=256路150MB/s的通路，整個(gè)帶寬為38.4GB/s；v XP20000每個(gè)控制器都通過2路150MB/s的通路直接連接到每個(gè)控制緩存卡上，因此系統(tǒng)滿配置8塊控制器的情況下，一共設(shè)計(jì)有2*8*2=32路150MB/s的通路，整個(gè)帶寬為4.8GB/s； 結(jié)論HP XP采用數(shù)據(jù)緩存交換式結(jié)構(gòu)，控制緩存點(diǎn)對(duì)點(diǎn)直連結(jié)構(gòu)是最符合存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)訪問和管理的特點(diǎn)的，這種統(tǒng)一星型網(wǎng)絡(luò)結(jié)構(gòu)是最穩(wěn)定和均衡、最先進(jìn)和最高性能的體系架構(gòu)。這是其他廠商所無法相比的。2.2 EMC DMX-4/DMX-4 950體系結(jié)構(gòu)EMC高端存儲(chǔ)系統(tǒng)2個(gè)型號(hào)DMX-4/DMX-4 950采用的是類似的結(jié)構(gòu)，但又有不同。我們先分析一下DMX-4的結(jié)構(gòu)，再闡述DMX-4 950結(jié)構(gòu)的不同之處。DMX-4采用的是DMX結(jié)構(gòu)，即直連矩陣結(jié)構(gòu)Direct Matrix Architecture。EMC稱這種點(diǎn)對(duì)點(diǎn)DMX結(jié)構(gòu)是能夠徹底消除系統(tǒng)帶寬瓶頸的“先進(jìn)”架構(gòu)，是比已變成工業(yè)界事實(shí)標(biāo)準(zhǔn)的CrossBar高端系統(tǒng)架構(gòu)還要優(yōu)越的體系結(jié)構(gòu)？我們分析一下實(shí)際情況。下圖就是DMX體系結(jié)構(gòu)示意圖。從圖中可知，DMX結(jié)構(gòu)中主要可描述如下： 前端8個(gè)各類通道控制器與8塊Cache卡點(diǎn)對(duì)點(diǎn)直接相連，共64個(gè)連接通路； 8個(gè)后端磁盤控制器也與8塊Cache直接相連，共64個(gè)連接通道；這里有一點(diǎn)最重要，就是所有通道和磁盤控制器均連接到一個(gè)稱之為“Control and Communication Signals”的卡上，如圖中所標(biāo)示的。這個(gè)卡實(shí)際上是一個(gè)Multiplexer。Multiplexer是什么東西呢？它實(shí)際上是一個(gè)多路復(fù)用器，DMX-4/DMX-4 950采用這種多路復(fù)用器對(duì)多個(gè)通道控制器和磁盤控制器訪問同一個(gè)Cache卡可能產(chǎn)生的沖突進(jìn)行控制。現(xiàn)在很多人都不知道Multiplexer是什么東西。實(shí)際上在早期IBM大型機(jī)上使用的SNA網(wǎng)絡(luò)上就是使用的這種“多路復(fù)用器”，直到網(wǎng)絡(luò)交換機(jī)出現(xiàn)以后，才被市場所淘汰。與交換技術(shù)和交換機(jī)相比，Multiplexer是一種原始和低級(jí)的復(fù)用設(shè)備，其延遲和效率都非常低，僅適合對(duì)數(shù)據(jù)量不大的某個(gè)控制信號(hào)使用，而采用到存儲(chǔ)系統(tǒng)中來控制多路對(duì)Cache卡的沖突，很難適應(yīng)高端存儲(chǔ)系統(tǒng)可靠性和穩(wěn)定性不斷提高的要求，其本身已經(jīng)為市場所淘汰。另外需要指出的是，DMX-4 950中，Cache卡只有2塊，前端通道控制器與后端磁盤控制器共用一個(gè)控制器，共用一個(gè)帶寬，因此其帶寬很小，該產(chǎn)品的可靠性和性能可想而知。而相比之下，HDS USP VM所有的控制器都是互相獨(dú)立的，不是共享同一塊控制器。2.3 IBM DS8000體系結(jié)構(gòu)落后的雙控制器結(jié)構(gòu)雖然DS8000系列產(chǎn)品被IBM稱之為高端存儲(chǔ)系統(tǒng)，但是其采用的是典型的雙控制器結(jié)構(gòu)，這種架構(gòu)是中端存儲(chǔ)系統(tǒng)采用的結(jié)構(gòu)。因此有不少第三方分析師把DS8000定位為一個(gè)具有高端的可擴(kuò)展性能力的中端存儲(chǔ)產(chǎn)品。請(qǐng)看下圖。 資料來源：IBM DS8000 Redbook如圖所示，DS8000實(shí)質(zhì)上是由左右兩邊2臺(tái)簡裝的IBM p570小型機(jī)作為控制器，共享內(nèi)部總線（RIO-G loop）的這樣一個(gè)雙控制器共享總線結(jié)構(gòu)。這個(gè)結(jié)構(gòu)是典型的中端存儲(chǔ)的結(jié)構(gòu)，下圖是各廠商中端存儲(chǔ)的體系結(jié)構(gòu)，這些中端存儲(chǔ)包括HDS AMS1000、EMC CX3-80、IBM DS4800。大家請(qǐng)看看有何不同？體系結(jié)構(gòu)決定著系統(tǒng)的檔次和定位，這就是為什么眾多第三方獨(dú)立咨詢機(jī)構(gòu)都把DS8000產(chǎn)品定位為中端存儲(chǔ)產(chǎn)品的本質(zhì)原因。 HDS AMS系列存儲(chǔ)系統(tǒng)架構(gòu)圖總之，DS8000是由2臺(tái)簡裝的p570，其上運(yùn)行簡化的unix操作系統(tǒng)和陣列控制軟件，通過共享總線，外掛接口卡以及若干磁盤組成。特別要指出的是，2臺(tái)p570上運(yùn)行的unix簡化版和陣列控制軟件，并不是存儲(chǔ)系統(tǒng)上的微碼，而是普通服務(wù)器上的Cluster軟件和相關(guān)的應(yīng)用軟件，其執(zhí)行效率和響應(yīng)速度都無法滿足存儲(chǔ)系統(tǒng)對(duì)微碼的要求。存儲(chǔ)系統(tǒng)的微碼需要簡化、高效、執(zhí)行速度快、周而復(fù)始地完成服務(wù)器/主機(jī)對(duì)數(shù)據(jù)的訪問請(qǐng)求，以及相關(guān)存儲(chǔ)軟件功能（例如數(shù)據(jù)本地復(fù)制克隆快照、遠(yuǎn)程數(shù)據(jù)復(fù)制等），而DS8000顯然難于滿足這個(gè)要求。更重要的是，這種設(shè)計(jì)最致命的是影響系統(tǒng)的可靠性和穩(wěn)定性。眾所周知，雙機(jī)熱備集群技術(shù)對(duì)于普通應(yīng)用系統(tǒng)來說，基本能滿足業(yè)務(wù)要求在一臺(tái)小型機(jī)故障的情況下，在有限時(shí)間里業(yè)務(wù)能切換到另一臺(tái)小型機(jī)上，但是所有使用過cluster的客戶都很清楚，這個(gè)有限時(shí)間是在分鐘一級(jí)就是配置得非常優(yōu)化的應(yīng)用系統(tǒng)，這個(gè)時(shí)間也往往要5分鐘以上。5分鐘對(duì)服務(wù)器來說，可能是可以忍受的，而且也僅僅影響到這臺(tái)服務(wù)器上的業(yè)務(wù)。但對(duì)于存儲(chǔ)系統(tǒng)來說，特別是高端存儲(chǔ)系統(tǒng)，這幾乎是致命的。存儲(chǔ)系統(tǒng)是業(yè)務(wù)IT支撐平臺(tái)最中心的設(shè)備，在數(shù)據(jù)集中化趨勢(shì)越來越明顯的情況下，眾多客戶整個(gè)企業(yè)可能所有的業(yè)務(wù)均整合在同一臺(tái)存儲(chǔ)系統(tǒng)中，這臺(tái)高端存儲(chǔ)系統(tǒng)需要支撐所有服務(wù)器和主機(jī)，每秒鐘可能會(huì)發(fā)生幾百甚至幾千個(gè)I/O，DS8000一旦出現(xiàn)一臺(tái)p570故障，系統(tǒng)需要在幾分鐘之后才能把這部分?jǐn)?shù)據(jù)切換到另一臺(tái)p570上，系統(tǒng)會(huì)怎樣，眾多業(yè)務(wù)服務(wù)器/主機(jī)會(huì)怎樣，整個(gè)企業(yè)前端業(yè)務(wù)會(huì)怎樣？尊敬的客戶，您敢用嗎？而這一點(diǎn)在中端存儲(chǔ)上都不會(huì)出現(xiàn)，因?yàn)橹卸舜鎯?chǔ)采用的系統(tǒng)微碼的實(shí)時(shí)性都要高于DS8000，例如HDS AMS1000采用的是VxWorks的切換時(shí)間都在毫秒級(jí)，對(duì)前端服務(wù)器的讀寫沒有影響。這是客戶反映的IBM DS8000不穩(wěn)定的根本原因。3 Cache技術(shù)分析存儲(chǔ)系統(tǒng)中數(shù)據(jù)最終是存放在若干個(gè)磁盤。由于磁盤的讀寫本質(zhì)上是一個(gè)機(jī)械過程，其速度比CPU速度要低1到2個(gè)數(shù)量級(jí)。因此對(duì)于存儲(chǔ)系統(tǒng)來說，一邊是服務(wù)器/主機(jī)高速請(qǐng)求，另一邊是磁盤低速讀寫，因此必須通過相應(yīng)部件和技術(shù)來調(diào)和這個(gè)高低矛盾。這個(gè)部件和技術(shù)就是高速緩存（Cache）和緩存管理技術(shù)。本小節(jié)就著重分析各廠商的Cache管理技術(shù)。3.1 HP XP20000/XP24000緩存技術(shù)XP20000/XP24000在Cache設(shè)計(jì)方面擁有多項(xiàng)專利技術(shù)。如下圖所示。 XP采用控制緩存、控制鏈路與數(shù)據(jù)緩存、數(shù)據(jù)鏈路分離設(shè)計(jì)技術(shù)。HP實(shí)現(xiàn)的是集中式緩存設(shè)計(jì)控制緩存相當(dāng)于數(shù)據(jù)緩存的集中索引。XP擁有2塊獨(dú)立的控制緩存卡，互為鏡像保護(hù)，不存在單點(diǎn)故障。任何一個(gè)讀寫操作以前，均要通過控制緩存，迅速檢索出某個(gè)卷的某個(gè)數(shù)據(jù)塊在數(shù)據(jù)緩存的線性地址，然后再依據(jù)該地址對(duì)數(shù)據(jù)塊進(jìn)行操作。這種集中式緩存設(shè)計(jì)擁有業(yè)界最高的緩存管理效率； XP具備緩存智能調(diào)整策略，可自動(dòng)識(shí)別讀、寫緩存的比例已達(dá)到緩存利用的最佳效率。30%容量是基本讀緩存，30%是基本寫緩存，40%是智能調(diào)整部分，因此XP24000可根據(jù)業(yè)務(wù)特點(diǎn)靈活調(diào)整，使得系統(tǒng)能自動(dòng)吻合客戶需求，表現(xiàn)最高的系統(tǒng)效率；3.2 EMC DMX-4緩存技術(shù)DMX-4/DMX-4 950采用的是典型的分布式緩存設(shè)計(jì)。DMX-4的緩存滿配置8塊緩存卡中，每塊緩存卡互相獨(dú)立。DMX-4緩存為混合緩存，既包括數(shù)據(jù)信息，也包括控制信息，而不存在獨(dú)立和集中的控制緩存卡，每塊緩存卡上分配一定地址范圍作為該緩存卡的控制信息或索引。即每塊緩存卡部分內(nèi)容為控制信息，其他為數(shù)據(jù)信息，這種無集中控制緩存機(jī)制的設(shè)計(jì)就是分布式緩存架構(gòu)。在分布式緩存結(jié)構(gòu)中，對(duì)任一數(shù)據(jù)塊的訪問，必須對(duì)緩存卡進(jìn)行遍歷查詢，至少要遍歷緩存卡的控制信息區(qū)域。因此該緩存設(shè)計(jì)模式效率是比較低的，這就是EMC不參加SPC性能測試的原因之一吧。3.3 IBM DS8000緩存技術(shù)IBM DS8000為了提高數(shù)據(jù)寫入到Cache的可靠性，在設(shè)計(jì)上引入了一個(gè)NVM的機(jī)制。如下圖所示，IBM在常規(guī)緩存（IBM也稱之為volatile memory，即讀Cache）外，專門增加了一塊永久內(nèi)存模塊（Persistent Memory，也稱為NVM）用來做寫Cache，所有外部服務(wù)器/主機(jī)寫入I/O全部先寫入這個(gè)永久內(nèi)存模塊，然后在兩臺(tái)p570上分別配置獨(dú)立永久內(nèi)存模塊，交叉將雙方的寫數(shù)據(jù)寫入對(duì)方的寫Cache中實(shí)現(xiàn)鏡像。如下圖所示。但是非常遺憾的是，DS8100設(shè)計(jì)的NVS鏡像后最大只能為4GB，DS8300設(shè)計(jì)的NVS鏡像后最大只能為8GB，根本無法滿足一般應(yīng)用的正常需求。一旦某些業(yè)務(wù)要處理大批新數(shù)據(jù)時(shí)，這是NVS寫Cache顯然不夠用，系統(tǒng)將頻繁地根據(jù)LRU算法更新NVS的空間，從而導(dǎo)致NVS的抖動(dòng)，這將會(huì)急劇降低系統(tǒng)的總體性能。如移動(dòng)公司每個(gè)月底將數(shù)據(jù)寫入到數(shù)據(jù)倉庫系統(tǒng)中時(shí)，將造成大量數(shù)據(jù)寫，系統(tǒng)的性能會(huì)明顯降低，甚至出現(xiàn)“假死”現(xiàn)象，實(shí)際上就是系統(tǒng)休克。4 緩存并發(fā)訪問能力比較由于緩存在提高存儲(chǔ)系統(tǒng)，特別是高端存儲(chǔ)系統(tǒng)的整體性能所充當(dāng)?shù)年P(guān)鍵作用，使得緩存的設(shè)計(jì)、緩存的管理機(jī)制，特別是緩存訪問的并發(fā)程度，變成影響存儲(chǔ)性能的核心因素。下面就對(duì)幾個(gè)產(chǎn)品的緩存并發(fā)數(shù)做一個(gè)詳細(xì)說明，希望能進(jìn)一步加深客戶對(duì)高端存儲(chǔ)系統(tǒng)的認(rèn)識(shí)。HP XP 24000EMC DMX-4IBM DS8300Cache并發(fā)訪問數(shù)3203216HP XP 20000EMC DMX-4 950IBM DS8100Cache并發(fā)訪問數(shù)4088從兩個(gè)表可以明確看出，HP各款高端存儲(chǔ)的緩存并發(fā)度都極大地超過其它產(chǎn)品，因此盡管HP緩存容量比較小，但性能卻大大超過競爭對(duì)手。4.1 HP XP24000緩存并發(fā)數(shù)XP24000將緩存分開設(shè)計(jì)為數(shù)據(jù)緩存和控制緩存。其中數(shù)據(jù)緩存并發(fā)度為64路，是指由內(nèi)部緩存交換機(jī)到數(shù)據(jù)緩存的通道數(shù)共有64路，每路1.062GB/s帶寬；控制緩存并發(fā)度為256路，只是前端通道控制器和后端磁盤控制器到控制緩存的直連通道數(shù)共有256路，每路150MB/s帶寬；數(shù)據(jù)緩存和控制緩存總的通道數(shù)為320路，因此一共是320路并發(fā)訪問數(shù)。為了便于理解下面4個(gè)圖，簡單說明一下圖中相關(guān)名詞：CHAChannel Adapter，前端通道適配器，也稱通道控制器，用于連接外部服務(wù)器/主機(jī)；DKADisk Adapter，后端磁盤適配器，也稱磁盤控制器，用于連接內(nèi)部磁盤；SMAShared Memory Adapter，共享緩存適配器，也稱控制緩存卡，用于存放系統(tǒng)用的控制信息，索引，內(nèi)部通訊數(shù)據(jù)等；CMACache Memory Adapter，緩存適配器，也稱數(shù)據(jù)緩存卡，用于存儲(chǔ)外部服務(wù)器/主機(jī)讀寫的數(shù)據(jù)；XP 24000控制緩存并發(fā)度為256路XP 24000數(shù)據(jù)緩存并發(fā)度為64路4.2 HP XP20000緩存并發(fā)數(shù)如上文所分析，XP20000將緩存分開設(shè)計(jì)為數(shù)據(jù)緩存和控制緩存。其中數(shù)據(jù)緩存并發(fā)度為8路，控制緩存并發(fā)度為32路，一共是40路并發(fā)訪問數(shù)。XP20000控制緩存并發(fā)度為32路XP20000數(shù)據(jù)緩存并發(fā)度為8路4.3 EMC DMX-4/DMX-4 950緩存并發(fā)數(shù)請(qǐng)到EMC官方網(wǎng)站上下載EMC DMX-4技術(shù)規(guī)格文件，其中“EMC Symmetrix DMX-4 Specification Sheet”中“System Resources”部分，最后一行“Concurrent memory transfers 32 4 per Global Memory Director”。這里簡單說明一下：- 所謂“Global Memory Director”就是指DMX-4的緩存卡；- DMX-4最少配置為4塊緩存卡，最多為8塊，每塊卡系統(tǒng)設(shè)置為4個(gè)區(qū)（region），每個(gè)區(qū)同一時(shí)刻只允許1路I/O訪問，因此并發(fā)訪問為16路32路；- DMX-4 950固定配置只有2塊緩存卡，因此一共只允許8路并發(fā)。4.4 DS8300緩存并發(fā)數(shù)這是DS8300兩臺(tái)p570控制器的互連圖（interconnection），DS8100只有Loop 0，而DS8300支持2個(gè)RIO-G互聯(lián)環(huán)路即Loop 0和Loop 1。其中I/O enclosure中有連接服務(wù)器的Host Adapter和連接磁盤的Device Adapter，所有外部服務(wù)器提出的I/O請(qǐng)求以及對(duì)磁盤發(fā)起的I/O請(qǐng)求，都必須經(jīng)過這個(gè)RIO-G。Processor Complex 0和1就是指p570服務(wù)器，每個(gè)服務(wù)器通過2個(gè)端口連接到RIO-G環(huán)路上，每個(gè)端口支持2路并發(fā)環(huán)路訪問，一共可支持8路并發(fā)訪問。因此DS8100可支持8路，而8300可支持16路并發(fā)訪問。4.5 小結(jié)高速緩存是影響高端存儲(chǔ)的關(guān)鍵部件，高速緩存的并發(fā)訪問可以成倍地提高存儲(chǔ)系統(tǒng)的綜合性能，并發(fā)訪問數(shù)沒有提高上去，后端的磁盤通路再多有什么用呢？（注：磁盤再快，都只有CPU/Memory的1/1001/10。）5 IO性能存儲(chǔ)性能衡量的指標(biāo)通常只有兩個(gè)：一個(gè)是持續(xù)訪問帶寬，另一個(gè)是IOPS。持續(xù)訪問帶寬代表了存儲(chǔ)單位時(shí)間的最大吞吐量，核心就是磁盤陣列的Cache訪問帶寬。 XP 24000的Cache持續(xù)帶寬是106GB/s，DMX-4是32GB/s，DS8300也只有16GB/s。 XP 20000的Cache持續(xù)帶寬是13.3GB/s，DMX-4 950是8GB/s，DS8100也只有8GB/s；IOPS值代表每個(gè)IO的塊大小一定的情況下，存儲(chǔ)每秒鐘能隨機(jī)處理的IO數(shù)量。IOPS代表了最理想情況下存儲(chǔ)在OLTP環(huán)境下的隨機(jī)IO的處理能力。IOPS各個(gè)廠商有自己公布的值，但是出入很大而且沒有一個(gè)獨(dú)立的標(biāo)準(zhǔn)。因此真正可以比較的是第三方獨(dú)立存儲(chǔ)性能組織SPC的測試值。SPC有自己公開的測試標(biāo)準(zhǔn)，也是一個(gè)業(yè)界公認(rèn)的獨(dú)立的衡量標(biāo)準(zhǔn)。從目前在SPC已有測試結(jié)果看，目前高端只有HDS USP V和IBM DS8300 Turbo參加測試了。由于USP VM與USP V、DS8100與DS8300是統(tǒng)一系列不同產(chǎn)品，因此通過比較USP V/DS8300，可以在一個(gè)基礎(chǔ)數(shù)據(jù)之上進(jìn)行類比分析，得到一個(gè)相對(duì)客觀的結(jié)論。5.1 測試結(jié)果公開網(wǎng)站/results/benchmark_results_spc15.2 DS8300測試結(jié)果DS8300 Turbo性能曲線圖，數(shù)據(jù)來源SPC說明：DS8300 Turbo 100%負(fù)載點(diǎn)IOPS值為123033.4，此時(shí)系統(tǒng)的響應(yīng)時(shí)間已經(jīng)為17ms左右。5.3 XP24000測試結(jié)果XP24000性能曲線圖，數(shù)據(jù)來源SPC說明：XP 24000 100%負(fù)載點(diǎn)IOPS值為200245.73，此時(shí)系統(tǒng)的響應(yīng)時(shí)間僅為5ms左右。5.4 對(duì)比100%負(fù)載點(diǎn)時(shí)，XP24000性能（每秒響應(yīng)主機(jī)讀寫次數(shù)）是DS8300的1.6275倍，系統(tǒng)響應(yīng)時(shí)間（主機(jī)讀寫平均等待時(shí)間）前者是后者的是0.2941倍，因此系統(tǒng)綜合性能效益表現(xiàn)HDS USP V是IBM DS8300 Turbo的5.5338倍。5.5 DMX-4/950測試結(jié)果EMC DMX-1到DMX-4所有產(chǎn)品都沒有進(jìn)行公開測試，不知其確切原因。但從眾多第三方的信息了解到，EMC主動(dòng)不參加SPC的第三方獨(dú)立測試的可能性大。6 存儲(chǔ)虛擬化整合技術(shù)6.1 HP XP20000/XP24000虛擬化存儲(chǔ)虛擬化管理是目前存儲(chǔ)界最尖端技術(shù)。現(xiàn)在得到客戶認(rèn)同，并真正可付諸實(shí)施的產(chǎn)品就是HP的XP20000/ XP24000。IDC、Gartner、ESG等獨(dú)立咨詢機(jī)構(gòu)都給予了高度評(píng)價(jià)。XP24000可以將連接在同一個(gè)SAN上或者是直連的其他外部存儲(chǔ)系統(tǒng)（如EMC CX/DMX、IBM DS4000/DS6000/DS8000、HP EVA等等）映射成內(nèi)置卷，然后對(duì)其進(jìn)行虛擬化管理。虛擬化以后的設(shè)備對(duì)主機(jī)透明，主機(jī)不必關(guān)心虛擬化存儲(chǔ)池內(nèi)的不同設(shè)備，只需面對(duì)XP24000即可。存儲(chǔ)虛擬化可實(shí)現(xiàn)數(shù)據(jù)的分級(jí)存儲(chǔ)。對(duì)于不少用戶的業(yè)務(wù)系統(tǒng)，這一功能非常有效：用戶可以選擇將使用頻率最高、訪問最密集的數(shù)據(jù)存放在XP24000內(nèi)部磁盤的一級(jí)存儲(chǔ)上，而將那些需要?dú)w檔或者是訪問品率降低的老數(shù)據(jù)轉(zhuǎn)移到由XP24000管理的外部存儲(chǔ)設(shè)備上，這些外部設(shè)備可以選擇容量更大，成本更低的存儲(chǔ)來實(shí)現(xiàn)，也可使用客戶已有的舊設(shè)備。所有應(yīng)用訪問都不用關(guān)心任何后臺(tái)存儲(chǔ)環(huán)境的真實(shí)變化，僅僅需要訪問XP24000虛擬化平臺(tái)階。這樣既滿足了用戶各種集中訪問的需要，又能依據(jù)數(shù)據(jù)的時(shí)效性和重要性，靈活地進(jìn)行數(shù)據(jù)部署，最大限度地降低建設(shè)和維護(hù)成本，真正實(shí)現(xiàn)數(shù)據(jù)生命周期管理。需要指出的一點(diǎn)是，XP24000虛擬化機(jī)制具有“性能遺傳”能力。高性能的虛擬化平臺(tái)可替代原有舊存儲(chǔ)的傳統(tǒng)控制器，并大幅度提高被虛擬化磁盤陣列的I/O響應(yīng)能力，徹底改善低端盤陣或者就盤陣的性能問題，大大提高了低端盤陣和舊盤陣的使用價(jià)值。同時(shí)XP24000并不將用戶鎖定在虛擬化引擎上，而是完全開放的，在虛擬化的同時(shí)也支持外部盤陣數(shù)據(jù)的獨(dú)立使用。XP24000虛擬化平臺(tái)對(duì)外部存儲(chǔ)管理的過程中，采用外部存儲(chǔ)本身的數(shù)據(jù)格式，完全維護(hù)了數(shù)據(jù)在外部存儲(chǔ)上原有的方式，因此在數(shù)據(jù)遷移過程中，不會(huì)對(duì)原有的數(shù)據(jù)格式做任何修改，這樣使得原有存儲(chǔ)系統(tǒng)上數(shù)據(jù)得到充分保護(hù)，各個(gè)方向的數(shù)據(jù)遷移非常平化。就是未來客戶要更換虛擬化平臺(tái)，也會(huì)發(fā)現(xiàn)外部存儲(chǔ)系統(tǒng)離開XP24000數(shù)據(jù)照常使用。這給客戶擁有了更多的方案選擇權(quán)。6.2 IBM和EMC虛擬化技術(shù)IBM DS8000存儲(chǔ)自身沒有虛擬化能力，不能整合外掛任何外部盤陣，而需要借助專門的設(shè)備執(zhí)行虛擬化功能，即SVC（SAN Volume Controller）。IBM SVC由多個(gè)Linux PC服務(wù)器構(gòu)成，掛接到SAN網(wǎng)絡(luò)后，會(huì)識(shí)別并管理SAN網(wǎng)絡(luò)中的物理存儲(chǔ)設(shè)備，將物理LUN虛擬化以后成為邏輯LUN提供給主機(jī)訪問。主機(jī)的I/O訪問會(huì)先經(jīng)過SVC，然后到達(dá)存儲(chǔ)。SVC在主機(jī)的數(shù)據(jù)訪問通道上提供復(fù)制、數(shù)據(jù)遷移等服務(wù)?？傊?，SVC相當(dāng)于在主機(jī)和存儲(chǔ)之間，插入一臺(tái)服務(wù)器，將存儲(chǔ)設(shè)備虛擬化后在提供給主機(jī)訪問。SVC是典型的基于SAN網(wǎng)絡(luò)帶內(nèi)（in-band）技術(shù)，這種技術(shù)由諸多問題：1. 性能問題：SVC在主機(jī)和存儲(chǔ)之間增加一個(gè)環(huán)節(jié)，要對(duì)數(shù)據(jù)卷的路由進(jìn)行重選，以及維護(hù)每個(gè)存儲(chǔ)系統(tǒng)地最新LUN信息，會(huì)造成大量延遲，降