公司數(shù)據(jù)中心建設服務質(zhì)量保證設計方案

1、公司數(shù)據(jù)中心建設服務質(zhì)量保證設計方案1.1服務質(zhì)量保證設計分類XXX公司本次網(wǎng)絡的服務質(zhì)量保證 （QoS ）設計主要包 括兩個方面：數(shù)據(jù)中心服務質(zhì)量設計：由于采用Data CenterEthernet技術，因此主要是 DCE以太網(wǎng)QoS設計；傳統(tǒng)局域網(wǎng)廣域網(wǎng)服務質(zhì)量設計：這一部分業(yè)務類型復雜，包括業(yè)務數(shù)據(jù)、IP電話、視頻會議等等，加上 傳統(tǒng)局域網(wǎng)和廣域網(wǎng)技術都有自身機制和帶寬資源的 制約，因此是 QoS設計的重點，這部分將主要是IPQoS設計。1.2數(shù)據(jù)中心服務質(zhì)量設計本次數(shù)據(jù)中心采用 Data Center Ethernet （ DCE）技術，DCE的設計目標之一就是為未來大型數(shù)據(jù)中心的業(yè)務

2、提供傳輸保障。我們知道衡量 QoS質(zhì)量的四個要素是：帶寬， 延遲，延遲抖動和丟棄率。在資源整合后的面向服務的數(shù)據(jù)中心中，對帶寬、延遲和丟棄率的要求是非?？量痰模虼?要達到新一代數(shù)據(jù)中心的設計目標，必須使DCE能夠滿足對帶寬、延遲和抖動的服務質(zhì)量要求。帶寬及設備吞吐量設計保證在資源整合后的網(wǎng)絡傳輸帶寬和網(wǎng)絡設備吞吐能力，必須實現(xiàn)以下 DCE設計：121.1.設備吞吐能力選擇的設備必須能夠提供足夠的交換容量，Nexus 7000具備4Tbps的交換吞吐能力，每插槽 230Gbps （可擴展 500Gbps ）;在接入層設備選擇上采用接近1.2Tbps交換能力的Nexus 5000，并使用交換延展

3、設備 Nexus 2000 將這一 交換能力線性延展到每個服務器機柜。1212帶寬設計首先要在數(shù)據(jù)中心的拓撲設計中規(guī)劃好帶寬。在本次設計中接入層的每列機柜基本上保證每服務器接入網(wǎng)絡的線 速，這是依靠每臺柜頂交換機（Nexus 2000 ）上連時的4個萬兆鏈路捆綁后所提供的帶寬保證，另外Nexus 5000的1.2Tbps交換能力也保證了所有萬兆匯聚后的無瓶頸處理。數(shù)據(jù)中心當前最大規(guī)模的帶寬占用還是在服務器之間 的內(nèi)存同步、并行計算、數(shù)據(jù)備份和融合SAN之后的存儲訪問，如果能夠?qū)⑽磥碇С?FCoE的存儲機柜設計在 Nexus 5000接入，其它萬兆網(wǎng)卡的高性能服務器直接在Nexus5000所在機

4、柜接入，并保證服務器機柜分配得當?shù)臈l件下， 以上大量資源耗費的處理都可以在接入層的同一對Nexus5000內(nèi)完成，因此基本可以保證帶寬的線性處理。而接入層到數(shù)據(jù)中心匯聚層（Nexus 7000的VDC ）的 連接中是有一定過載，這些過載也只針對跨越兩對Nexus 5000即兩個列（也可稱為 POD ）之間的流量，當前每對Nexus 5000到7000之間采用4個萬兆，在萬兆端口數(shù)量不緊張的情況下還可以擴容并保證跨機箱的vPC技術實現(xiàn)充分負載均衡的端口捆綁。而考慮到當前服務器數(shù)量遠沒有達 到完全過載數(shù)量（充分過載是640臺全線性1G的服務器接入），而且在適當安排服務器后兩列之間的流量基本上非常

5、少，大部分帶寬消耗型應用將在列內(nèi)完成，因此當前的過載 比是完全滿足當前和至少今后5年內(nèi)的數(shù)據(jù)處理量要求的。數(shù)據(jù)中心服務機箱（Catalyst 6500 ）和數(shù)據(jù)中心匯聚（Nexus 7000 VDC ）之間當前的設計帶寬是每機箱雙萬兆 上連（40Gbps全雙工吞吐量），這個數(shù)值已經(jīng)超過當前每 個機箱內(nèi)的單防火墻模塊在引擎加速特性下的吞吐能力（32Gbps ）和單ACE模塊的最大處理性能（16Gbps）， 因此也沒有連接瓶頸。在以后智能服務擴容時，互連的帶寬 還可以繼續(xù)擴容，通過 vPC和VSS技術保證跨機箱捆綁的充分負載均衡 從數(shù)據(jù)中心匯聚到全網(wǎng)核心 （Nexus 7000的VDC之間）則可以

6、通過靈活的萬兆線路跳接方便的擴容互連帶寬，根據(jù)整個股份公司對數(shù)據(jù)中心訪問量的評估，當前的互連方式（全雙工超過80Gbps ）也是完全滿足至少 5年的業(yè)務發(fā)展 需求的。1.2.1.3.DCE 帶寬管理：在以上的理論分析中，帶寬設計已經(jīng)完全滿足本次設計的需要，但是我們可以看到即使最完美的設計也不可能保證 網(wǎng)絡中處處線性、沒有過載，這是不必要也不經(jīng)濟的。在出 現(xiàn)過載的位置，我們可以通過技術手段使得最需要帶寬的服 務能夠保證優(yōu)先獲得資源，這也是服務質(zhì)量保證設計的重 點。在本次推薦的DCE網(wǎng)絡技術中已經(jīng)完全支持IEEE最新的帶寬管理技術 802.1Qaz ETS （Enhanced Transmissi

7、on Selection ），該技術可以保證在過載情況下優(yōu)先保證如高性 能計算網(wǎng)、存儲網(wǎng)流量的帶寬，而一般數(shù)據(jù)業(yè)務可以靈活、高效的使用剩余有效帶寬，如下圖所示11G對10G過載情況下的QoS優(yōu)化帶寬分配：Offered Trtffittlt2門H?C Traffk3C/s2 G/sStorage T raff i<3C/s3G/5£5LAN Traffick10 GE Link Eslized Trfic (Jtilhtf iontlt2巧122低延遲設計DCE的資源匯聚使得存儲業(yè)務和高性能計算業(yè)務都將 在一個交換平臺上傳送，DCE的一個重要要求就是保證這些 網(wǎng)絡原來的低延遲、

8、低抖動能力一樣可以在以太網(wǎng)上獲得， 這主要依靠設備的低延遲轉發(fā)特性和在擁塞情況下高級的 隊列調(diào)度來實現(xiàn)。在本期所推薦采用的 Nexus系列交換機最大特點就是使用了 Cisco在MDS系列存儲交換機上實現(xiàn)的SAN網(wǎng)絡低延遲技術和專利，使以太網(wǎng)交換機獲得了極低的轉發(fā)延遲， 三層端口對端口的轉發(fā)延遲可在1020us，而二層的端口見轉發(fā)延遲可在3個us以下。充分保證遠程存儲讀寫、遠 程內(nèi)存訪問的流暢性。與帶寬設計時一樣，網(wǎng)絡不可能在任何位置都通過充裕 的資源，在適當?shù)倪M行帶寬分配和設計后，在許多關鍵的位 置雖然存在過載，但仍不會帶來資源的緊張。但仍可能出現(xiàn) 突發(fā)和不可預測的資源分配不夠的問題，這時就需

9、要采用高 級的隊列管理和調(diào)度，對延遲不敏感的業(yè)務主動出讓一些資 源，以保證對延遲極為敏感的業(yè)務服務質(zhì)量不受影響。在以 太網(wǎng)上協(xié)調(diào)資源實現(xiàn)類似流量控制的很早就有，比如最常見 的端口暫停幀機制(IEEE 802.3 Annex 31B)，當有擁塞發(fā)生時通過互連端口信息的傳遞，讓端口流量發(fā)送暫緩，以保 證自己有足夠的資源處理關鍵業(yè)務。而這種傳統(tǒng)的控制方式 將導致一個物理端口內(nèi)的所有業(yè)務的暫停，導致不可預料的 延遲。本次我們采用的DCE網(wǎng)絡支持IEEE最新的PriorityFlow Control (IEEE 802.1Qbb)技術，如下圖所示，可以對多達8種不同業(yè)務給與完全不同的流量區(qū)別，從而保證迫

10、切 需要資源的存儲、訪存類業(yè)務流的低延遲優(yōu)先性。Transmit QueuesEthernet Linkml種丨|STUPTwojnn啊FHrhiinSIIIIIIIIIII 1 HlReceive QueuesEight PrioritiesSwitch BSwitch A8類業(yè)務可以常規(guī) QoS的802.1Q優(yōu)先標識和IP Precedence優(yōu)先標識進行統(tǒng)一定義。無丟棄設計資源缺乏會導致系統(tǒng)對業(yè)務進行丟棄，而存儲業(yè)務、高性能計算業(yè)務等是對丟棄極為敏感的，由于業(yè)務機制對延遲 和成功率的苛刻要求，即使少量的丟棄也會對業(yè)務效率產(chǎn)生極為嚴重的影響。DCE有“無丟棄以太網(wǎng)”的別稱，就是在 許多方面

11、改善了傳統(tǒng)以太網(wǎng)易于丟棄的簡單流控行為。主要 表現(xiàn)在以下方面：Switch Fabric VoQ :這是SAN交換機的交換矩陣以 及運營商核心設備所廣泛采用的矩陣隊列調(diào)度方式， 現(xiàn)在該技術廣泛使用在 DCE的各級設備，有效的避免 在設備交換處理時的頭端堵塞現(xiàn)象，保證高優(yōu)先級流 量的無丟棄。硬件化的Credit機制：這也是傳統(tǒng) SAN交換機在硬 件上保證的傳輸無丟棄技術，它通過收發(fā)雙方能有一 個互相溝通收發(fā)能力的計數(shù)器相互協(xié)商對方的發(fā)送和 接收能力，以一種高效溝通的方式保證在底層傳輸上 的無丟棄?，F(xiàn)在該技術以在DCE的各級交換機上采用，保證收發(fā)以太網(wǎng)幀可以象過去收發(fā)存儲FC幀一樣做到無丟棄。Pe

12、r Virtual Lane (VL) Credit:上面的技術是物理端口級別的，在DCE中還將這種硬件 Credit技術用在端 口內(nèi)的Virtual Lane級別，這意味著在同一收發(fā)雙方 的物理口內(nèi)，可以實現(xiàn)不同業(yè)務采用不同 Credit參數(shù)， 實現(xiàn)不同的流控要求，比如傳統(tǒng)數(shù)據(jù)不進行這種機制 以節(jié)約資源，而FCoE幀則必須使用該機制，而它們 都將在一對收發(fā)物理接口內(nèi)共存。BCN/QCN (IEEE 802.1Qau):這是一種后向擁塞控制機制，它最大的特點是可以在網(wǎng)絡中檢測出擁塞，然 后發(fā)信令到源頭，來降低過載的流量，使擁塞得以緩 解，并保證優(yōu)先業(yè)務無丟包。該技術曾用于 ATM等精細流量管理

13、的網(wǎng)絡中。如下圖所示Lr r Nikm LI1.3非數(shù)據(jù)中心網(wǎng)絡的服務質(zhì)量設計IP為了保證XXX公司非數(shù)據(jù)中心網(wǎng)絡部分的關鍵應用， 將對應用按重要等級進行分類，在網(wǎng)絡上，實現(xiàn)對不同等級 的應用提供優(yōu)先權不同的質(zhì)量服務。實時多媒體應用如 電話、視頻會議等應用將給予絕對的保證，而對一些不十分 緊要的應用，在網(wǎng)絡帶寬充足的情況下將予以保證，在網(wǎng)絡 帶寬不足的情況下，將預先舍棄，以保證關鍵應用。XXX公司局域網(wǎng)和廣域網(wǎng)需要具備提供數(shù)據(jù)、圖像、語 音、傳真和各種多業(yè)務綜合承載和接入能力。信息傳遞的服 務質(zhì)量保證和性能優(yōu)化設計將是最為關鍵的一個環(huán)節(jié)，它直接影響到華能系統(tǒng)應用的穩(wěn)定實際上IP網(wǎng)的兩個技術根源一一以太網(wǎng)和 TCP/IP是眾 所周知的“無服務質(zhì)量保證技術”，所謂無服務質(zhì)量保證不是指服務的質(zhì)量一定不好，而是在技術本質(zhì)上只考慮數(shù)據(jù)的 可達性、正確性，并沒有機制去考慮數(shù)據(jù)遞送中諸如延遲、 延遲抖動等服務質(zhì)量要素，因而又稱之為“盡最大努力”(Best Effort)的傳送方式。隨著網(wǎng)絡技術的不斷發(fā)展，今天的華能網(wǎng)絡已從單一的數(shù)據(jù)傳輸應用轉