校園數據中心高可靠性網絡的研究與實現

1、校園數據中心高可靠性網絡的研究與實現沈立強 吳海燕 戚麗（清華大學計算機與信息管理中心，北京 100084）mail:slq摘要：校園數據中心是數字校園的核心，無單點故障的、高可用性網絡的建設至關重要。本文以清華大學校園數據中心的網絡建設為實例，探討如何設計數據中心的網絡設計方案以保證網絡的高可靠性，做到任何單個交換機或單條鏈路的故障都不會影響網絡的連通性，更不會導致整個網絡的癱瘓，從根本上解決數據中心面臨的風險。關鍵詞：校園數據中心 高可靠性網絡 單點故障 AFT VRRPthe research and implementation of a high available network

2、of university data centerShen Liqiang Wu Haiyan Qi Li(Tsinghua University, Beijing 100084)mail:slqAbstract：University data center (UDC) is the heart of digital university, so the building of single failure free, high available network is of the top importance. Based on Tsinghua University UDC networ

3、k building practice, this paper discusses how to design UDCs network building plan to achieve networks high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this way, totally reduce UDC

4、s network risk.keyword：university data center high available network single failure AFT VRRP1. 前言清華大學在教育信息化建設方面經過十余年艱苦努力，尤其在啟動“211工程”之后，逐步建成了綜合信息服務系統(tǒng)、辦公自動化系統(tǒng)、綜合教務系統(tǒng)、網絡教學系統(tǒng)、財務工資管理系統(tǒng)和開放實驗室綜合管理系統(tǒng)等多個應用系統(tǒng)，數據中心為上述應用系統(tǒng)提供了完善的網絡和運行環(huán)境，并承擔了所有應用系統(tǒng)的運行和維護任務。目前數據中心內有各類服務器80余臺，幾乎所有應用系統(tǒng)的關鍵數據都存放在數據中心，數據中心與各個業(yè)務部門之間的保持

5、著頻繁的重要通訊。為了保證數據中心的高可用性，達到7*24小時不間斷服務的目標，一個全冗余、無單點故障的網絡就成了數據中心的基礎。為實現路由冗余，可以采用VRRP協(xié)議；為實現交換機的冗余，可以采用SPT協(xié)議；為實現鏈路冗余，可采用link-aggregation技術等。本文以清華大學數據中心的網絡建設為實例，探討如何設計數據中心的網絡設計方案以保證網絡的高可靠性，做到任何單個交換機或單條鏈路的故障都不會影響網絡的連通性，更不會導致整個網絡的癱瘓，從根本上解決數據中心面臨的風險。2. 清華大學校園數據中心結構目前，清華大學校園數據中心的交換機有華為Quidway S8016、神州數碼DCRS75

6、04、Extreme Alpine 3808、Extreme Summit 48，Quidway S3050，S3026等。通過采用硬件上的冗余，包括交換機的冗余、交換機之間鏈路的冗余和服務器網卡的冗余等，基本實現了網絡的高可靠性，消除或部分消除了網絡的單點故障。數據中心的網絡拓樸結構如圖1所示。圖 1 數據中心網絡拓撲結構3. 清華大學校園數據中心網絡可靠性分析一個高可靠的網絡應該是全冗余、無任何單點故障的。下面我們根據圖1的網絡拓撲，從網絡設備、通信鏈路兩方面來分析清華大學校園數據中心網絡的單點故障情況。3.1 網絡設備的可靠性分析(1) 中心路由交換機中心路由交換機采用的是華為公司高端千

7、兆路由交換機Quidway S8016。S8016的主控板、交換網板、路由處理系統(tǒng)、電源系統(tǒng)等所有關鍵部件都采用了冗余熱備份設計，其路由轉發(fā)處理引擎采用分布式結構，因此，S8016本身不存在單點故障。數據中心采用了兩臺三層交換機作為中心路由交換機，同時，通過在兩臺中心路由交換機上運行VRRP（虛擬冗余路由協(xié)議）協(xié)議來為服務器提供一個唯一的默認網關。當任何一臺中心路由交換機發(fā)生故障時，通過VRRP協(xié)議，另一臺中心路由交換機立即接管所有的工作，同時更新路由表，并通過動態(tài)路由協(xié)議通知校園網端的路由器更新相應的路由表。我們先介紹VRRP相關的部分術語：VRRP路由器 任何運行VRRP協(xié)議的路由器或設備

8、；虛擬路由器 一個運行VRRP協(xié)議的邏輯路由器，用來給一個網絡的主機提供路由服務。一個虛擬路由器包括一個虛擬路由標識符VRID和一組IP地址，在物理上至少由兩臺或兩臺以上的VRRP路由器構成；主虛擬路由器 給虛擬路由器提供IP包轉發(fā)和進行相應ARP應答的VRRP路由器；備份虛擬路由器 當主虛擬路由器失敗時，能自動代替主虛擬路由器工作的VRRP路由器；虛擬路由器的MAC地址 虛擬路由器的MAC地址格式為：00-00-5E-00-01-VRID，其中： 00-00-5E 是生產廠家的唯一標識號； 00-01 是一個常量，該地址塊保留給VRRP協(xié)議； VRID 是VRRP虛擬路由器標識。在一個網絡中

9、最多可以有255個虛擬路由器。在清華大學校園數據中心有多個子網接入校園網，圖1中僅畫出了兩個子網Net1和Net2。圖1中SW1到RTA的實線表示RTA作為Net1的主虛擬路由器，SW4到RTB的實線表示RTB作為Net2的主虛擬路由器；SW3到RTA的虛線表示RTA作為Net2的備份虛擬路由器，SW2到RTB的虛線表示RTB作為Net1的備份虛擬路由器。這樣，一方面既實現了冗余的路由備份，另一方面又實現了負載的分擔，避免了所有的負載集中于一個VRRP路由器。下面我們以Net1為例來分析一下VRRP的工作過程。簡化后的網絡拓撲見圖2，圖2中的IP地址配置僅為示例，不代表目前清華大學校園數據中心

10、實際使用的IP地址。圖 2 Net1的VRRP協(xié)議配置通過在RTA和RTB上啟用VRRP協(xié)議，使RTA和RTB都成為VRRP路由器，正常情況下RTA和RTB通過Net1定期交換Hello報文以確定主虛擬路由器和備份虛擬路由器。一旦備份虛擬路由器在規(guī)定的時間內沒有從Net1收到主虛擬路由器發(fā)送的Hello報文，將自動變?yōu)橹魈摂M路由器，接管原主虛擬路由器的所有工作。這個時間很短，一般小于3秒，因此，用戶基本上感覺不到該切換。當然，在切換過程中可能會發(fā)生短時間內網絡路由不正確和少量IP報文丟失，通過TCP的重傳機制將保證端到端數據的正確性。當Net1中的主機要向Net1以外的網絡發(fā)送IP報文時，先進

11、行ARP廣播，請求網關（10.0.1.1）的MAC地址。RTA和RTB都收到了該請求，但只有主虛擬路由器響應該ARP請求，并以虛擬路由器MAC地址00-00-5E-00-01-11進行應答。主機將IP報文以00-00-5E-00-01-11為目的MAC地址封裝在以太網的幀中進行發(fā)送，主虛擬路由器接收該幀并基于IP進行報文轉發(fā)。這樣，就通過VRRP協(xié)議實現了對中心路由交換機的動態(tài)冗余備份。(2) 接入交換機為了消除由接入交換機引起的單點故障，必須設置冗余的交換機。我們可以將兩個交換機級聯(lián)（或堆疊）在一起，從邏輯上組成一個交換機。為提高級聯(lián)的可靠性，可采用端口聚合的方式進行雙鏈路級聯(lián)。對于Extr

12、eme的交換機，還可以用Dual-home技術進行雙鏈路級聯(lián)。然后從每個物理交換機分別連接到不同的中心路由交換機上，同時，服務器利用AFT技術通過兩塊網卡分別連接到不同的接入交換機。這樣，當某一接入交換機發(fā)生故障時，如果有必要的話，服務器會自動切換到備用網卡，從而連到另一個接入交換機，VRRP虛擬路由器根據當前的狀態(tài)，還有可能發(fā)生主備虛擬路由器的切換，當然，這個切換對服務器是透明的。3.2 鏈路的可靠性分析(1) 從中心路由交換機到校園網的出口鏈路任何一條出口鏈路出現故障時，相應的中心路由交換機通過動態(tài)路由協(xié)議更新路由表，將默認的出口路由指向另外一臺中心路由交換機，然后經另一個出口到校園網。由

13、于數據包回來的路由也發(fā)生了變化，因此要求校園網端也運行動態(tài)路由協(xié)議，實現動態(tài)路由調整。(2) 兩個中心路由交換機之間的路由鏈路鏈路發(fā)生故障時，將導致Net1和Net2的互訪要經過校園網端的路由器。由于兩臺中心路由交換機都支持端口聚合功能，因此，可在兩臺中心路由交換機之間建立多條鏈路，通過link-aggregation將多個端口聚合為一個邏輯端口。聚合端口通過流量配置算法支持端口流量自動均衡保護，使所屬物理通道流量基本均衡；通過聚合端口發(fā)送的報文會從該聚合端口中任意一個且只有一個物理鏈路上發(fā)送，物理端口上的調度策略保證業(yè)務質量和報文順序。當聚合端口中一條或多條物理鏈路故障時，能自動將流量轉移到

14、其他鏈路上去。當端口重新恢復后，流量自動重新分配。(3) 從接入交換機到中心路由交換機的鏈路從接入交換機到中心路由交換機的鏈路發(fā)生故障時，根據VRRP虛擬路由器的狀態(tài)，有可能發(fā)生VRRP主備虛擬路由器的切換。不過，該切換對服務器是透明的。為了增強該鏈路的可靠性，可采用端口聚合的方式通過雙鏈路將接入交換機上聯(lián)到中心路由交換機。對于Extreme的Summit48交換機，還可以采用Dual-home技術進行雙鏈路上聯(lián)。(4) 從服務器到接入交換機的鏈路鏈路故障或網卡故障都將導致服務器不能連到相應的接入交換機。服務器可采用雙網卡接到不同的接入交換機。在服務器上安裝2塊網卡，分別連接到2臺不同的接入交換機，利用AFT（Adapter Fault Tolerance）技術實現網卡間的容錯，當主網卡或該網卡到所連的交換機鏈路發(fā)生故障時，服務器會立刻將該網卡上的流量轉移到備份網卡上，這一過程不超過2秒。4. 結束語通過對路由器、交換機以及通信鏈路的冗余設置，配合VRRP、AFT、Link-Aggregation、SPT等技術，消除網絡中的單點故障，最終建立一個安全、可靠、高效的校園數據中心網絡系統(tǒng)。由于全部采用冗余設置，因此投資成本較高，對于條件不允許的校園數據中心，可以對部分重要的服務器所在的網絡采用全冗余的設計，而其它服務器還是采