西南證券生產(chǎn)系統(tǒng)同城雙中心解決模式

1、西南證券生產(chǎn)系統(tǒng)同城雙中心解決模式證券交易是一種實時性要求很高的金融交易業(yè)務，隨著交易、管理等技術(shù)系統(tǒng)的集中，由此而帶來的系統(tǒng)運行風險也高度集中。一旦中心機房發(fā)生重大故障和災難，可能導致公司業(yè)務系統(tǒng)的中斷，造成重要數(shù)據(jù)的丟失和破壞，損失不可估量，后果不堪設(shè)想。建設(shè)備份中心是應對中心機房突發(fā)災難的最有效辦法。2011年4月發(fā)布的證券期貨經(jīng)營機構(gòu)信息系統(tǒng)備份能力標準對備份中心建設(shè)提出了明確的指標。因此，證券經(jīng)營機構(gòu)必須建設(shè)并不斷完善備份系統(tǒng)，確保重要信息系統(tǒng)的數(shù)據(jù)安全和關(guān)鍵業(yè)務可持續(xù)服務，提高抵御災難的能力，減少災難造成的損失。備份中心一般由機房基礎(chǔ)設(shè)施、備份系統(tǒng)、網(wǎng)絡(luò)設(shè)備、運維人員、啟用機制等幾

2、部分組成。其核心是備份系統(tǒng)，在中心機房運行的核心業(yè)務系統(tǒng)，在備份中心都應有備份系統(tǒng)，以保證業(yè)務連續(xù)性。西南證券根據(jù)災難風險事件發(fā)生的實際特點和行業(yè)實際運作過程中異地備份中心投資相對較大、管理復雜、效果難以把握等因素，參考上海證券交易所專家組提出的“優(yōu)先建設(shè)同城備份中心”建議，決定采用同城雙中心模式進行備份中心建設(shè)和運行管理模式探索。(一) 同城雙中心的技術(shù)實現(xiàn)1. 建設(shè)目標西南證券同城雙中心建設(shè)以實現(xiàn)雙中心“建得好，用得順，頂?shù)蒙稀睘槟繕??！敖ǖ煤谩保航ㄔO(shè)方式上能夠經(jīng)濟、快捷地獲得同城雙中心所需的機房等基礎(chǔ)設(shè)施，將人、財、物等投資重點放在業(yè)務應用系統(tǒng)的建設(shè)和運維效率的提高上。當主中心發(fā)生重大技

3、術(shù)故障（如主中心的熱、溫備系統(tǒng)均失效等）或災難后，核心業(yè)務系統(tǒng)能快速恢復，保證業(yè)務連續(xù)性。“用得順”：為了有效地防范和降低系統(tǒng)風險，同步建設(shè)雙中心運維監(jiān)控系統(tǒng)，梳理運維體制，完善運維制度，規(guī)范運維流程，做到平時訓練到位，切換時真正能用?！绊?shù)蒙稀保和ㄟ^對西南證券歷史業(yè)務數(shù)據(jù)分析，在風險可控的情況下，公司可以承受RPO10秒，且越小越好；RTO15分鐘，且越小越好。在交易期間發(fā)生災難事件需要切換到同城備份中心時，一般會產(chǎn)生業(yè)務堆積，因此備份中心核心業(yè)務系統(tǒng)生產(chǎn)功能不減少，性能不能降低。為實現(xiàn)上述目標，同城雙中心技術(shù)系統(tǒng)的設(shè)計要求如下：雙中心系統(tǒng)（包括網(wǎng)絡(luò)系統(tǒng)、應用系統(tǒng)等）可完全獨立運作，雙中心可

4、輪換運行；雙中心切換耗時盡可能短，切換操作盡可能簡單易行；同時考慮系統(tǒng)的安全性高，系統(tǒng)間的相關(guān)性小，可維護性好。2. 數(shù)據(jù)復制同城雙中心應采用成熟、可靠性高的數(shù)據(jù)復制技術(shù)，能夠以合適的數(shù)據(jù)容錯技術(shù)來實現(xiàn)現(xiàn)實的容災需求，優(yōu)先保障業(yè)務連續(xù)，盡量減少數(shù)據(jù)丟失。數(shù)據(jù)庫日志復制技術(shù)是針對數(shù)據(jù)庫提供的基于邏輯的數(shù)據(jù)復制方式。通過直接捕獲源數(shù)據(jù)庫日志，將數(shù)據(jù)庫的改變邏輯復制到目標系統(tǒng)數(shù)據(jù)庫中，實現(xiàn)源系統(tǒng)和目標系統(tǒng)數(shù)據(jù)的一致性。目標端數(shù)據(jù)庫在復制過程中處于在線可用狀態(tài)。數(shù)據(jù)庫日志復制技術(shù)適用于西南證券交易系統(tǒng)所用的Oracle 10g版本，對主系統(tǒng)CPU占用率較小，對網(wǎng)絡(luò)帶寬要求較低，可靈活設(shè)置復制的時間間隔

5、（最短為1秒），數(shù)據(jù)延遲一般可控制在3-5秒。數(shù)據(jù)復制路徑如圖所示。采用數(shù)據(jù)庫日志復制技術(shù)進行數(shù)據(jù)復制過程中，因故障中斷會有少量數(shù)據(jù)丟失，西南證券設(shè)計建設(shè)了旁路撿漏系統(tǒng)找回丟失的數(shù)據(jù)，并通過業(yè)務流程及時處理這部分數(shù)據(jù)以保障客戶利益。3. 系統(tǒng)構(gòu)架為達到上述建設(shè)要求，系統(tǒng)架構(gòu)按下圖所示方式設(shè)計： 主備中心采用多層次網(wǎng)絡(luò)布局，分為核心數(shù)據(jù)網(wǎng)段（網(wǎng)段1）、核心通訊中間件組接入網(wǎng)段（網(wǎng)段2）和外部接口網(wǎng)段（網(wǎng)段3），最大限度減少彼此相關(guān)性，提高網(wǎng)絡(luò)安全性； 網(wǎng)段1布置數(shù)據(jù)庫服務器和應用服務器，網(wǎng)段2部署核心通訊中間件，網(wǎng)段3主要部署集中交易的其他相關(guān)系統(tǒng),包括：申報、回報、三方存管、帳戶管理、文件服務

6、器、滬深報盤系統(tǒng)等； 核心通訊中間件組是客戶和管理接入的聯(lián)接樞紐，所有業(yè)務由它們進行轉(zhuǎn)發(fā)，其組名和IP地址在兩個中心相同，但只在一個中心的路由（主中心）有效； 主中心與營業(yè)部、銀行、交易所、登記結(jié)算公司以及其它外部機構(gòu)的連接采用電信線路，備中心與營業(yè)部、銀行、交易所、登記結(jié)算公司以及其它外部機構(gòu)的連接采用聯(lián)通線路；兩中心分別配置滬深單、雙向衛(wèi)星各一套，與地面線路形成備份； 主備中心的ORACLE數(shù)據(jù)庫通過數(shù)據(jù)庫日志復制軟件實現(xiàn)數(shù)據(jù)同步； 集中交易應用系統(tǒng)采用1：1模式部署，備中心的應用服務器組保持運行狀態(tài)，以最大限度減少切換啟用時間。4. 切換原理雙中心的核心通訊中間件組是外圍接入的聯(lián)接樞紐，

7、通訊中間件組由多個通訊中間件組成，各通訊中間件負載均衡，對外提供統(tǒng)一的服務。通訊中間件組具有中斷重連機制，所有業(yè)務請求均通過核心通訊中間件組傳遞到后臺的應用服務器和數(shù)據(jù)庫；主備中心的核心通訊中間件組IP地址相同，啟用電信主中心時，其核心通訊中間件組必須有效，而備中心的必須無效；使用備中心時，正好相反。通過控制核心通訊中間件組的啟用就可以完成主備系統(tǒng)的切換。(二) 同城雙中心的建設(shè)、運營西南證券同城雙中心解決模式不單純是一個技術(shù)方案，其內(nèi)容覆蓋了建設(shè)、運營和切換全過程，包含同城雙中心的建設(shè)方式、技術(shù)架構(gòu)、監(jiān)控、運維、決策模式、切換等。具體內(nèi)容如下：目標模式內(nèi)涵簡述優(yōu)點建設(shè)建設(shè)模式基礎(chǔ)設(shè)施、運維外

8、包快捷經(jīng)濟、增減靈活架構(gòu)模式系統(tǒng)同構(gòu)、能力相當操作一致、輪換運行運營監(jiān)控模式分層集中、統(tǒng)一處置全面及時、準確標準運維模式統(tǒng)一排班、定期輪換常態(tài)運維、保障有效切換切換模式一鍵切換、安全快捷操作簡捷、切換迅速決策模式充分授權(quán)、班組執(zhí)行責任明確、決策迅速1. 機房基礎(chǔ)設(shè)施、運維外包西南證券充分利用本地運營商托管機房的資源優(yōu)勢，采取租用中國電信和聯(lián)通IDC機房的方式，比較經(jīng)濟、快捷地獲得了良好的主備運行中心機房基礎(chǔ)環(huán)境和電信級專業(yè)化的運維保障服務，從而可以讓我們更加專注于將人、財、物等投資重點放在業(yè)務應用系統(tǒng)的建設(shè)、切換過程的優(yōu)化和運維效率的提高上。兩個中心相距10公里，中心之間通過聯(lián)通和電信的兩條裸

9、光纖連接，機房示意圖如下。2. 雙中心同構(gòu)，處理能力1：1 在系統(tǒng)部署上，借助上交所專家組的論證意見，西南證券采取了“處理能力1:1，主機部署2+2”的方案。主備中心系統(tǒng)同構(gòu)且部署相同，主機品牌和處理能力一致，均配置交易、查詢服務器各一套。在運維管理上，人員、設(shè)備和運行等級一致。兩個中心的網(wǎng)絡(luò)、設(shè)備、系統(tǒng)參數(shù)和運行模式基本一致，極大地方便了雙中心的操作和管理。3. 創(chuàng)新快速簡單的切換技術(shù)西南證券通過利用IP SLA（Service Level Agreements）協(xié)議監(jiān)控核心通訊中間件組的啟用來完成主備系統(tǒng)的切換。在日常運行中，配置主中心核心通訊中間件組的路由優(yōu)先級高于備中心核心通訊中間件組

10、，使主中心核心通訊中間件組路由有效，同時啟用IP SLA協(xié)議來監(jiān)控它的網(wǎng)絡(luò)狀況；切換時，通過網(wǎng)絡(luò)命令來“DOWN”或“UP”核心通訊中間件組連接的交換機端口來改變它的網(wǎng)絡(luò)狀況。當IP SLA監(jiān)測到主中心核心通訊中間件組的網(wǎng)絡(luò)端口處于“DOWN”狀態(tài)時就取消它的路由，核心通訊中間件的有效路由就收斂到備中心,實現(xiàn)主備切換。西南證券開發(fā)了主備中心切換平臺、網(wǎng)絡(luò)切換腳本和報盤機等啟動腳本。主備中心控制切換過程，操作人員根據(jù)角色授權(quán)集中批量執(zhí)行相應的命令腳本（如圖），這種安全、簡捷的腳本切換方式稱為“一鍵切換”。4. 建立充分授權(quán)的切換機制西南證券通過西南證券同城雙中心運維管理辦法將主備中心切換的決策權(quán)

11、下放到技術(shù)部門，其他故障的處置分級授權(quán)到運維班組，并制定了不同故障場景的處置預案。主備中心切換分為正常輪換切換、特大故障和災難應急切換。切換均由中心控制，耗時短、操作簡單。 正常輪換切換按照主備中心的定期輪換運行計劃，通過主備中心切換平臺切換主備系統(tǒng)，啟動柜臺報盤、銀證轉(zhuǎn)帳、啟用單獨線路銀行IP切換、啟動備中心的數(shù)據(jù)庫復制軟件。 特大故障應急切換若主中心發(fā)生數(shù)據(jù)庫熱、溫備系統(tǒng)、核心應用中間件全組、核心通訊中間件全組發(fā)生故障或核心網(wǎng)絡(luò)系統(tǒng)中斷等特大故障時，啟動主備中心應急切換流程，將生產(chǎn)系統(tǒng)切換到備份中心，保證生產(chǎn)系統(tǒng)繼續(xù)運行。 災難應急切換當主中心機房或所在樓宇發(fā)生火災等災難事故，導致數(shù)據(jù)中心

12、不可用時，啟動主備中心應急切換流程，將生產(chǎn)系統(tǒng)切換到備份中心，保證生產(chǎn)系統(tǒng)繼續(xù)運行。5. 實現(xiàn)雙中心常態(tài)運維在同城雙中心建設(shè)和運行過程中，西南證券不斷探索和完善系統(tǒng)運維管理體系，創(chuàng)造了“四班三運轉(zhuǎn)”模式。按照雙運行中心標準，保持備份中心與主中心人員配置等同、管理統(tǒng)一、監(jiān)控到位。在日常運行監(jiān)控中，將主備中心監(jiān)控人員全部統(tǒng)一排班，在主（白、晚班）、備中心監(jiān)控室各有獨立的三個運行值班，公司總部監(jiān)控室設(shè)有運行副班輔助運行。為了確保雙中心的運維效果，公司發(fā)布了西南證券同城雙中心運維管理辦法和相應的作業(yè)指導書。同時，公司還堅持持續(xù)優(yōu)化應急預案和切換流程，保證切換時的有效響應，進一步提高安全運行能力。6.

13、應用多層次集中監(jiān)控西南證券采用多層次集中監(jiān)控系統(tǒng)實現(xiàn)雙中心各系統(tǒng)的有效監(jiān)控和運維。在通信網(wǎng)絡(luò)層面采用網(wǎng)管系統(tǒng)監(jiān)控主備中心、內(nèi)外聯(lián)單位的網(wǎng)絡(luò)聯(lián)接狀況；在硬件設(shè)備層面采用設(shè)備監(jiān)控系統(tǒng)對服務器等重要設(shè)備的狀況進行實時集中監(jiān)控；在軟件應用層面使用了集中交易運行監(jiān)控系統(tǒng)，實現(xiàn)對銀證平臺、柜臺報盤機、通訊中間件和應用服務器等關(guān)鍵環(huán)節(jié)的監(jiān)控；并使用與運行監(jiān)控系統(tǒng)聯(lián)動的ITSM系統(tǒng)，進行事件、任務、配置和知識庫等管理。借助這些技術(shù)手段，運維人員能夠全面、及時、準確地掌握系統(tǒng)的可用性和實時運行狀況，也能夠比較標準地按流程來執(zhí)行操作，從而提高了系統(tǒng)運維的效率和IT服務的質(zhì)量。(三) 創(chuàng)新點西南證券利用生產(chǎn)系統(tǒng)同城

14、雙中心的建設(shè)機會，引進先進技術(shù)，重點研發(fā)科學設(shè)計主備系統(tǒng)的技術(shù)架構(gòu)、備份機制和業(yè)務處理和運維流程，實現(xiàn)技術(shù)升級、系統(tǒng)換代和流程再造。1. IP SLA應用利用IP SLA的監(jiān)控功能，通過“DOWN/UP”主中心核心通訊中間件組的交換機端口改變其網(wǎng)絡(luò)狀況以調(diào)整其路由優(yōu)先級，實現(xiàn)核心通訊中間件組的有效路由在主備系統(tǒng)間的切換。這種方式操作簡單、安全有效，網(wǎng)絡(luò)路由收斂快，投入較低。2. “一鍵切換”“一鍵切換”可以簡單、快捷地通過菜單點擊，完成主備系統(tǒng)切換和備中心柜臺報盤機、銀證平臺啟動、單獨線路三方存管銀行IP切換的等操作，安全迅速實現(xiàn)主備中心的切換，避免手工操作帶來的失誤。3. 旁路撿漏系統(tǒng)在雙中

15、心切換過程中，必須實現(xiàn)的另外一個重要目標是RPO值盡可能小，這樣由于切換帶來的客戶損失和社會影響也就相應小。通過調(diào)整和優(yōu)化數(shù)據(jù)復制機制，可以使災難（故障）發(fā)生時的RPO1.6秒（數(shù)據(jù)復制間隔設(shè)置為最小值1秒時）。按西南證券歷史最高交易日平均成交數(shù)計算，約丟失49筆委托。經(jīng)分析，這部分數(shù)據(jù)的丟失是由復制機制造成的，消耗于復制軟件對數(shù)據(jù)的抓取、傳遞和處置中。為了保障客戶利益，盡快盡量找回丟失的數(shù)據(jù)，及時處理由于系統(tǒng)中斷給客戶帶來的損失和減少對社會的影響，我們設(shè)計了旁路撿漏系統(tǒng)?？蛻舳送ㄓ嵵虚g件主生產(chǎn)數(shù)據(jù)庫應用服務器客戶端通訊中間件備生產(chǎn)數(shù)據(jù)庫應用服務器撿漏程序通訊中間件旁路數(shù)據(jù)庫應用服務器旁路插件

16、旁路插件數(shù)據(jù)庫日志復制旁路撿漏系統(tǒng)地原理是這樣的：在備中心安裝一套與主系統(tǒng)架構(gòu)一致的生產(chǎn)系統(tǒng)，然后在主中心核心通訊中間件上開發(fā)安裝旁路插件，利用旁路插件將客戶發(fā)往主中心的業(yè)務請求同時轉(zhuǎn)發(fā)給旁路系統(tǒng)的通訊中間件，再經(jīng)過旁路應用服務器處理到旁路后臺數(shù)據(jù)庫。這個轉(zhuǎn)發(fā)過程由于不需應答和返回處理結(jié)果，效率極高，可視為無延遲，對生產(chǎn)系統(tǒng)的影響非常小。主中心發(fā)生災難完成切換后，把通過旁路系統(tǒng)得到的后臺數(shù)據(jù)與通過日志復制得到的備中心后臺數(shù)據(jù)進行比較，只需要對最后幾秒鐘的數(shù)據(jù)進行比對，就能找回備份系統(tǒng)丟失的數(shù)據(jù)，再通過相應的業(yè)務流程，比如及時通知客戶處理，保障客戶利益。旁路撿漏系統(tǒng)作為數(shù)據(jù)庫日志復制方式的補充，

17、目前已在測試環(huán)境中初步實現(xiàn)。這種基于業(yè)務應用來找回丟失數(shù)據(jù)的方式比其他實現(xiàn)數(shù)據(jù)零丟失的方式在投入方面更加節(jié)省。另外，旁路系統(tǒng)與生產(chǎn)系統(tǒng)的架構(gòu)和數(shù)據(jù)處置過程相同，它還可以作為生產(chǎn)系統(tǒng)的在線測試環(huán)境使用，可以在線使用旁路過來的客戶實時數(shù)據(jù)在旁路系統(tǒng)中進行升級模塊的測試和系統(tǒng)驗證工作。4. “四班三運轉(zhuǎn)”在系統(tǒng)切換過程中，人員是重要的決定性因素，人員的素質(zhì)和熟練程度決定切換的效率和成敗。“四班三運轉(zhuǎn)”使得所有運維人員在雙中心體系中輪班常態(tài)運轉(zhuǎn)，解決了運維能力的持續(xù)性問題。主備中心運行維護人員可以常年運行、定期輪換、常態(tài)運轉(zhuǎn)，關(guān)鍵時刻才能頂?shù)蒙?，有效地解決了其他模式（如異地備份中心模式）下備份中心人員

18、配備少且長期處于“冷備”狀態(tài)、缺少學習、缺乏實踐、容易麻痹大意或業(yè)務生疏、技能和責任心下降，遠離公司導致管理真空和制度流程得不到有效執(zhí)行的問題。5. 多層次監(jiān)控多層次的集中監(jiān)控模式實現(xiàn)了雙中心各系統(tǒng)的有效監(jiān)控，使運維人員能夠全面、及時、準確地了解系統(tǒng)各方面的運行狀態(tài)，盡早發(fā)現(xiàn)問題，為決策爭取到寶貴的時間；同時利用相關(guān)工具，運維人員能夠比較標準地按流程來執(zhí)行運維操作，從而提高系統(tǒng)運維的效率和IT服務的質(zhì)量。(四) 應用和推廣西南證券在生產(chǎn)系統(tǒng)同城雙中心的建設(shè)過程中，采用系統(tǒng)1：1配置，基礎(chǔ)設(shè)施外包模式，實現(xiàn)RTO與RPO雙優(yōu)的目標，并且在2011年中國證券業(yè)協(xié)會組織的自主專業(yè)評價專家組現(xiàn)場評審中

19、得到了實際驗證，為證券公司備份建設(shè)探索出了一條可行之路。1. 應用效果同城雙中心建成后，公司組織進行了多次RPO、RTO和系統(tǒng)壓力測試，以驗證設(shè)計目標的達成和最終的建設(shè)效果。測試結(jié)果RPO1.6秒，RTO不到2分鐘。 RPO測試測試方式：數(shù)據(jù)庫日志復制軟件的數(shù)據(jù)復制時間間隔設(shè)置為1秒（最小時間間隔）；以兩臺工作站，分別運行交易委托模擬程序，以50筆/秒的速度發(fā)送滬、深委托。模擬網(wǎng)絡(luò)故障（如交換機斷電），導致數(shù)據(jù)復制中斷，測試結(jié)果如下表所示。復制數(shù)據(jù)間隔源端委托目標端委托丟失委托中斷時間上海委托16s深圳委托1s16741594801.6s結(jié)論：數(shù)據(jù)庫日志復制的數(shù)據(jù)復制間隔按常規(guī)設(shè)置為1秒時，數(shù)據(jù)復制鏈路中斷導致的數(shù)據(jù)丟失時間RPO約為1.6秒。 RTO測試主備中心交易系統(tǒng)切換主要包括四個環(huán)節(jié)的操作：主備系統(tǒng)切換、備中