江蘇移動信息技術中心云備份平臺實踐.doc

中國移動江蘇公司信息技術中心云備份 平臺實踐 作者姓名 張晶 王堅 王宏圖 孫凱 作者單位 中國移動通信集團江蘇有限公司 單位地址 南京市虎踞路 59 號 郵政編碼 210029 摘摘 要要 隨著運營商用戶數的持續(xù)增長 業(yè)務的飛速發(fā)展 3G 業(yè)務的推廣 企業(yè)數 據中心的規(guī)模越來越大 數據也越來越重要 需要備份的數據量在持續(xù)的增長 與之對應的卻是業(yè)務系統(tǒng)要求的越來越苛刻的恢復準確率 業(yè)務支撐部門面對分散的數據中心 持續(xù)擴大的系統(tǒng)平臺規(guī)模 7 24 小時 的服務時間要求 全面嚴謹的業(yè)務指標考核標準 業(yè)務數據 零 丟失的嚴謹 要求現狀 緊張的維護人力資源配置狀況 迫切需要提高現有備份系統(tǒng)的備份 效能 提高運維管理效率高 降低運維成本 并根據這些經驗及公司未來的 ICT 業(yè)務發(fā)展戰(zhàn)略 也可以將這些成熟服務產品推向市場 本文通過介紹中國移動江蘇公司統(tǒng)一備份平臺在備份虛擬化 備份服務差 異化 備份系統(tǒng)管理自動化 系統(tǒng)架構云備份模型優(yōu)化的具體實踐 能夠很好 的解決中國移動江蘇公司現網系統(tǒng)運行遇到的種種問題 為讀者建立了一種全 新的備份系統(tǒng)架構設計思路 關鍵字關鍵字 備份虛擬化 云備份 獨立備份 SAN 網絡系統(tǒng) 系統(tǒng)設計 目 錄 1 引言 1 2 系統(tǒng)建設背景 1 3 系統(tǒng)技術實現方案 3 3 1 虛擬化 3 3 2 SOA 備份服務 4 3 3 自動化管理 7 4 架構收益 8 5 結束語 9 1 1 1 引言引言 如今的數據中心越來越復雜 不僅系統(tǒng)規(guī)模每年翻番 系統(tǒng)的復雜性及 面臨的風險也與日俱增 另一面 業(yè)務部門對業(yè)務連續(xù)運行的要求卻是不斷提 高的 甚至越來越多的系統(tǒng)要求 零數據丟失 拿中國移動江蘇公司的核心業(yè) 務支撐系統(tǒng)來看 包括 BOSS 系統(tǒng) 經營分析系統(tǒng) 客服系統(tǒng) 企業(yè)信息化系統(tǒng) 等子系統(tǒng) 總計近 400 臺服務器 TPCC 值超過 10000 萬 近 100 臺高 中 低端存儲設備 超過 1000TB 的重要業(yè)務數據 分布于南京和無錫的 5 個數據中 心 為了提高數據的安全性 作為數據保護的最后一道防線 備份的重要性就不 言而喻了 但是根據國際知名調研機構對世界五百強大企業(yè)的技術主管的回訪 記錄和巡檢記錄來看 大部分企業(yè)用戶的平均備份成功率在 75 左右 事實上 我們還注意到很多時候的備份成功率小于 50 恢復率就更低 一方面我們面 臨的實際情況是每天需要備份的數據量在增長 中國移動江蘇公司業(yè)務支撐系 統(tǒng)每年需要備份數據的增長量在 50 75 之間 但備份系統(tǒng)的預算的增長卻遠 遠小于這個速度 傳統(tǒng)的備份系統(tǒng)都是和項目一起采購 造成數據中心多個獨立的備份系統(tǒng) 備份的效率差和備份資源的浪費很嚴重 備份系統(tǒng)架構及其不合理 管理也極 其復雜 相同的問題也給 IT 行業(yè)的發(fā)展帶來挑戰(zhàn) 因此 虛擬化 云備份 標 準化 和 備份資源整合 等成為目前業(yè)界最為熱門的技術話題 同樣也代表 著未來技術發(fā)展的方向 近幾年來 在業(yè)界也涌現出幾家在這個領域運營不錯 的云備份服務的廠商 如賽門鐵克的 Norton Online Backup EMC 的 Mozy 作為 IT 技術 IT 系統(tǒng)大量應用的中國移動江蘇公司該如何解決自己發(fā)展中遇 到的問題 如何整合行業(yè)先進經驗 新技術 解決方案 如何規(guī)劃 IT 系統(tǒng)架構 科學發(fā)展 我們在上述領域做出了一些自己的實踐 2 系統(tǒng)建設背景 中國移動江蘇公司擁有一套完整的企業(yè)備份產品 在架構設計上基于原來 的經驗進行了創(chuàng)新 并結合一些云技術的設計理念 為業(yè)務支撐系統(tǒng)的數據保 駕護航 2 虛擬化 以整個數據中心為視角的備份資源部署 而不是基于應用和設 備的備份資源管理 SOA 建立跨越整個備份資源的統(tǒng)一兼容的面向業(yè)務需求的備份服務 而 不是綁定特定的應用或設備的備份軟硬件設備 自動化 以整個數據中心為視角的基于策略的圖形化備份資源管理 實 現備份任務的靈活調度 實時監(jiān)控和報告 而不僅僅是僵化的為備份而 備份 圖圖 1 1 中國移動江蘇公司業(yè)務支撐系統(tǒng)備份云示意 中國移動江蘇公司業(yè)務支撐系統(tǒng)備份云示意 3 系統(tǒng)技術實現方案 系統(tǒng)的技術設計及實現方案分為以下幾個層次 備份虛擬化技術引入及部署 建立一個可擴展的基礎架構 SOA 建立跨越整個備份資源的統(tǒng)一兼容的面向業(yè)務需求的備份服務 自動化管理 提高云備份基礎架構管理效率降低復雜度 3 3 1 虛擬化 首先 在云備份架構中將備份 SAN 從生產 SAN 分離出來 這一變革 使 得原有的四個數據中心中 分散在各個應用系統(tǒng)中的備份設備通過備份 SAN 虛擬化地呈現給整個數據中心 形成了一個集中的備份資源池 同 時備份的 SAN 可以根據業(yè)務的變化 備份任務的變化靈活的擴展和回收 實現了備份資源的靈活調度和靈活的縮放 對生產 SAN 沒有任何影響 在數據中心備份 SAN 的基礎上 建立了跨數據中心的備份 SAN 連接 使 得所有數據中心都能物理共享第五個數據中心 浦口高新機房 的備份 設備 這樣當任何一個數據中心的備份設備故障時 云備份架構將自動 啟用第五數據中心的備份設備 保證核心生產系統(tǒng)備份作業(yè) 如數據庫 歸檔日志備份能夠持續(xù)進行 這里的關鍵是第五數據中心的備份設備是 共享的而不是其中一個數據中心專享的 對于 IP 網絡的資源虛擬化 則在云備份架構中建立了一個具有負載均衡 功能的介質服務器資源池 接入云備份架構的任何一個網絡備份客戶端 的備份任務可以自動計算并分配到一個負載最低的備份介質服務器 所 以對于通過網絡備份的應用系統(tǒng)來說 備份系統(tǒng)是即插即用式的 備份 客戶端軟件從備份服務器自動下發(fā) 同時客戶端不需要關心對應哪個介 質服務器 或具體使用哪里的備份設備 多層次的備份架構 除了傳統(tǒng)的磁帶庫設備 還采用了新型的磁盤備份 技術 如虛擬磁帶庫技術 數據重復刪除技術 這些技術都作為基礎架 構的形式提供 為接入云備份系統(tǒng)的不同性質數據提供不同類型的存儲 方式 其中使用的數據重復刪除技術是云備份體系中核心組成部分即備 份軟件自帶的功能 在對客服系統(tǒng)中大量的具有冗余性質的 VMware 虛擬 環(huán)境的備份有良好的效果 建立面向地市分公司支撐系統(tǒng)的共享備份架構 對于分公司的備份需求 統(tǒng)一提供備份資源池 提供用戶透明的集中備份服務 用戶不需要考慮 備份系統(tǒng)所在的地點和具體結構 同時通過重復數據刪除技術 減少本 地寫入的數據量 相應的減少網絡數據流量 3 2 SOA 備份服務 一個共享的 可伸縮的備份架構是實現一個滿足 SLA 的備份服務投送平 臺的基礎 我們所定義的備份服務基于備份云上的各個關鍵要素 數 據 網絡 存儲資源 分別細化 組合 封裝 最后形成備份服務的 SLA 對服務的使用者來說 云服務通過封裝底層技術屏蔽了復雜的技術 組合 使得一個復雜的備份策略設置操作 變成簡單的服務挑選 我們首先通過區(qū)分應用系統(tǒng)數據重要性等級 分別定義金 銀 銅三個 服務等級 數據重要性等級指標有三個 一為是否需要快速恢復 二為 是否需要長期保存 三為是否需要異地保存 之后我們將應用系統(tǒng)對應 到備份平臺的 SLA 從服務等級的角度看 銅牌服務僅提供長期保存 4 磁帶備份 銀牌服務則在滿足長期保存基礎上提供了異地保護 磁帶 復制等 金牌服務除包括長期保存和異地保存外還提供了數據的快速恢 復 綜合磁盤備份等多種技術 這樣在備份平臺上每個服務器都被賦予 了 SLA 的屬性 并將貫徹到其對應數據的整個備份生命周期 這其中用 到了 SLP Storage Lifecycle Policy 技術 不同服務標準的備份作業(yè) 會自動尋找合適的存儲資源 備份數據也可以根據設定的數據生命周期 在存儲資源間進行流動 圖圖 2 2 備份服務等級管理 備份服務等級管理 對備份系統(tǒng)服務水平的評價標準之一是是否滿足集團對數據保護的要求 其中關鍵的一點是能否為特定數據提供異地的備份數據冗余 比如跨機 房的數據復制 由于備份 SAN 架構的形成 使得南京各數據中心和無錫 數據中心的備份數據可以互相流動 流動的形式是多樣的 可以是在線 多數據流復制 也可以是離線的 Vault 保險柜 復制 相比傳統(tǒng)的手 工出庫和磁帶運送方式先進很多 共享的備份數據驗證服務 大多數企業(yè)的集中備份環(huán)境都缺少可行的數 據恢復驗證環(huán)節(jié) 但事實上數據的恢復是比備份更復雜的過程 即使系 統(tǒng)在初始備份后進行了成功的恢復測試 也不代表在實際生產中需要恢 復的時候一定能成功 實際情況中數據庫軟件的升級 備份軟件的參數 調整 失敗的備份作業(yè) 操作系統(tǒng)參數的調整都有可能造成恢復失敗 而恢復失敗時現場定位錯誤原因需要的時間將直接影響業(yè)務系統(tǒng)恢復的 時間 所以常規(guī)例行的數據恢復驗證能最大程度保證生產系統(tǒng)的快速恢 復 在我們的云備份架構中提供了共享的數據恢復平臺 能夠滿足多個 核心系統(tǒng)的數據恢復驗證需求 并專門立項建立了業(yè)務支撐系統(tǒng)數據備 5 份恢復測試環(huán)境 覆蓋了支撐系統(tǒng)主機的所有相關機型和版本和存儲的 主要型號 數據安全性 不同的業(yè)務系統(tǒng)其數據的敏感程度不同 對備份數據安全 性的要求也不同 當所有系統(tǒng)的備份都歸入云備份架構后如何保證數據 的安全性 如何保證敏感信息不泄露 事實上我們可以利用云備份架構 中的數據加密模塊 啟用數據加密的備份數據只能被數據源系統(tǒng)所恢復 數據加密所需要的證書管理和認證都作為平臺服務提供 對于高負載的 業(yè)務系統(tǒng)的加密備份可以由資源池中的介質服務器承擔加密運算 減少 對業(yè)務系統(tǒng)的性能影響 3 3 自動化管理 集中的報表平臺 報表平臺作為云備份架構的重要組成部分 可以為遵 從驗證和業(yè)務規(guī)劃提供高級備份報告 在云備份作為 SOA 存儲服務的情 況下 我們需要具有跟蹤和分析備份服務水平遵從以及將操作作為一項 業(yè)務來進行管理的能力 備份管理平臺為我們提供了所需的報告 以驗 證各關鍵系統(tǒng)的數據庫等數據受到確實的保護 以及 RTO 恢復時間目 標 和 RPO 恢復點目標 要求可以得到滿足 同時還可以深入了解數 據保護基礎架構 這樣就可以為備份操作進行有效的業(yè)務計劃 例如 可以按照業(yè)務系統(tǒng) 用戶和部門分析增長趨勢和資源需求 同時 可以 為備份服務使用部門或系統(tǒng)提供在線的報表展示 確保服務水平承諾 報表平臺還可以根據各部門或應用系統(tǒng)統(tǒng)計固定時間段內其備份所產生 的費用成本 這樣的報表數據既可以做為部門成本核算的依據 也可以 做為系統(tǒng)擴容的參考 圖圖 3 3 集中報表平臺 集中報表平臺 集中的管理平臺 我們通過基于 Web 的集中管理門戶能夠實現所有監(jiān)控 6 警報 報告和故障排除功能 并通過圖形化的方式顯示 管理員能夠實 時收集信息 包括恢復的成功率 哪些系統(tǒng)由于備份故障而面臨風險 存儲使用的趨勢 關于特定警報與錯誤的詳細信息 可提供整個基礎設 施范疇的所有數據保護操作的視圖 為了簡化日常管理工作 還能夠通 過統(tǒng)一備份界面 保護和管理數據資源 管理員能夠主動診斷故障 識 別可能的問題 并采取正確的糾正措施 4 架構收益 隨著該系統(tǒng)架構投入使用 我們獲得了諸多收益 很好的解決了目前系統(tǒng) 采購 建設 運行 維護 使用 應用支撐方面的諸多問題 具體的內容如下 1 成本 云架構的采用對備份系統(tǒng)成本的影響是革命性的 備份系統(tǒng)占總體架構 的投資比例顯著下降了 原來備份系統(tǒng)占總體投資的 10 云架構使得 這個比例下降到不足 5 節(jié)約了 50 以上的投資 備份資源的增加來自云備份架構整體需求 資源復用率和整體利用率提 高 由此帶來了成本的相對減少 維護成本的減少來自兩個方面 一個方面 低端磁帶庫主要面向中小型 業(yè)務系統(tǒng)的獨立備份需求 由于機械故障率極高 帶來的維護成本較高 云備份使得這方面的維護成本消失 另一方面 由于備份標準不統(tǒng)一 業(yè)務平臺各自為陣 一個數據中心就有多個備份管理員 云備份把多個 備份平臺整合成一個 一個專業(yè)備份管理員就夠了 2 構架 云 模型來提高備份服務能力 實現任意業(yè)務數據備份可以隨時運行在任意 云節(jié)點 上 實現了負載 均衡與隨需調度 充分利用云架構的擴展能力 實現了比業(yè)務增長速度更高的擴展性 核 心業(yè)務系統(tǒng)的數據量在增長 備份 恢復窗口卻在縮小 針對業(yè)務系統(tǒng)的架構瓶頸和備份策略 通過交叉?zhèn)浞莘绞絹硖嵘龜祿?份和恢復的效率和成功率 成功實現了 IT 部門承諾的 99 99 的恢復成 功率 備份系統(tǒng)處理余量由原來的 30 下降到 15 甚至更低 3 利用備份 解耦 提升備份系統(tǒng)可靠性 業(yè)務應用模塊并不關心備份數據在哪里 一套完整備份策略可以靈活在任意的備份中心部署 7 4 利用備份共享提高備份資源利用率 提高備份調度運維效率 通過構建全局備份視圖將需要管理的備份空間數量有效降低了 20 將 預留的冗余備份空間容量有效降低了 25 更好的根據業(yè)務調整備份策略 充分利用網絡的資源 提高備份的處理 效率 通過細分業(yè)務 方式調整備份策略 實現業(yè)務服務水平和備份服務水平 的的精細化管理 既提高了整體備份服務水平 也優(yōu)化了備份資源 備份系統(tǒng)運行及配置環(huán)境集中管理 實現一點配置 全網生效 5 極佳的魯棒性和系統(tǒng)彈性 每個業(yè)務模塊的備份策略部署已經可以完全產品化 提升了系統(tǒng)整體備 份能力 備份系統(tǒng)處理的能力可以線性擴充 對現有系統(tǒng)不產生影響 只需增加 新的軟硬件資源 未來新的業(yè)務模塊增減 數據存儲空間添加 業(yè)務模塊調度調整或備份 備份策略的調整都可以分別在線進行 系統(tǒng)架構不需要發(fā)生聯動變化 為生產系統(tǒng) 備份系統(tǒng)平臺的能力提升提供了安全 高效的手段 提供分級備份規(guī)劃能力 幫助對業(yè)務系統(tǒng)生命周期管理 實現分級備份 隨需調度 降低硬件采購成本并體現節(jié)能減排效益 5 結束語 中國移