云時(shí)代數(shù)據(jù)遷移與容災(zāi)技術(shù)的應(yīng)用

1、云時(shí)代數(shù)據(jù)遷移與容災(zāi)技術(shù)的應(yīng)用技術(shù)創(chuàng)新 變革未來(lái)Agenda現(xiàn)狀和問(wèn)題云時(shí)代的機(jī)會(huì)阿里云的新進(jìn)展應(yīng)用案例2014年 xx銀行核心數(shù)據(jù)庫(kù)出現(xiàn)故障，導(dǎo)致存取款、網(wǎng)銀、ATM等業(yè)務(wù)全部中 斷長(zhǎng)達(dá)37小時(shí)。2017年 xx游戲數(shù)據(jù)庫(kù)故障，30小時(shí)無(wú)法服務(wù)，數(shù)據(jù)丟失，導(dǎo)致游戲回檔2018年 xx著名代碼托管服務(wù)商數(shù)據(jù)庫(kù)故障，24小時(shí)無(wú)法服務(wù)Murphys Law:If something can go wrong, it will.問(wèn)題3650 3571 3669 3813 39914165 4341 44493238300040005000Revenue in million U.S.dollarsW

2、orldwide revenue from backup and recovery software between 2007 and 2015 (in million U.S. dollars)2000100002007 2008 2009 2010 2011 2012 2013 2014 2015Source: Statista,2017 亞太區(qū)400個(gè)企業(yè)中，超過(guò)34%在一年內(nèi)發(fā)生過(guò)系統(tǒng)中斷，而其中最主要的因素包括自然災(zāi)害、硬件故障、電力故障、網(wǎng)絡(luò)故障、軟件故障及人為操作 2015年備份恢復(fù)軟件收入達(dá)到44.49億美元遷移容災(zāi)現(xiàn)狀國(guó)家標(biāo)準(zhǔn)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范(GB/T 209882007

3、 )遷移容災(zāi)規(guī)范邏輯數(shù)據(jù)復(fù)制利用第三方軟件或應(yīng)用系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)復(fù)制 利用數(shù)據(jù)庫(kù)系統(tǒng)本身實(shí)現(xiàn)數(shù)據(jù)庫(kù)遠(yuǎn)程復(fù)制 利用備份系統(tǒng)將備份數(shù)據(jù)異地保存物理數(shù)據(jù)復(fù)制利用操作系統(tǒng)軟件或復(fù)制設(shè)備實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制或鏡像 利用存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制利用數(shù)據(jù)庫(kù)備份工具數(shù)據(jù)量應(yīng)用復(fù)雜度實(shí)時(shí)性數(shù)據(jù)庫(kù)兼容性目的庫(kù)可用邏輯復(fù)制少透明高好可用物理復(fù)制少or多透明低or高差不可用數(shù)據(jù)復(fù)制技術(shù)現(xiàn)狀云時(shí)代的機(jī)會(huì)云時(shí)代的變化由于云，玩法變了場(chǎng)景（上云、合規(guī)、出海、多活、混合云、云備份）網(wǎng)絡(luò)（VPC、專(zhuān)線(xiàn)、網(wǎng)關(guān)）技術(shù)（劣網(wǎng)傳輸、秒級(jí)RPO、快照技術(shù)、備份數(shù)據(jù)集查詢(xún)）云服務(wù)本地自建庫(kù)訂閱消費(fèi)XGW互聯(lián)網(wǎng)私網(wǎng)VPC反向訪(fǎng)問(wèn)邊界路由專(zhuān)線(xiàn)VPN網(wǎng)

4、關(guān)互聯(lián)網(wǎng)反向訪(fǎng)問(wèn)ALB公網(wǎng) VIP私網(wǎng) VIPVPC VIP云時(shí)代的網(wǎng)絡(luò)架構(gòu)阿里云管控?cái)?shù)據(jù)同步數(shù)據(jù)遷移數(shù)據(jù)訂閱數(shù)據(jù)備份數(shù)據(jù)恢復(fù)阿里云的思考數(shù)據(jù)緩存Redis/Memcache文檔型數(shù)據(jù)MongoDB關(guān)系型數(shù)據(jù)庫(kù)RDSMySQL/SQL Server/PostgreSQL/PPAS分布式擴(kuò)展DRDS時(shí)序/時(shí)空數(shù)據(jù)TSDB海量數(shù)據(jù)存儲(chǔ)HBase在線(xiàn)應(yīng)用時(shí)序/時(shí)空數(shù)據(jù)(IoT、監(jiān)控、時(shí)空信息)實(shí)時(shí)數(shù)據(jù)處理關(guān)系數(shù)據(jù)緩存/KV數(shù)據(jù)云原生數(shù)據(jù)庫(kù)PolarDB PolarDB-X圖數(shù)據(jù)GraphDB文檔數(shù)據(jù)圖數(shù)據(jù)DTS數(shù)據(jù)同步/分發(fā)數(shù)據(jù)上云云外數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)備份DBSMySQL/MariaDBSQL Serv

5、erOracleMongoDBDB2PGRedis分析型數(shù)據(jù)庫(kù):交互式在線(xiàn)分 析AnalyticDB數(shù)據(jù)湖服務(wù) Data Lake Analytics (for OSS/OTS)多模數(shù)據(jù)分析HBase+X-Pack數(shù)據(jù)管理DMS數(shù)據(jù)庫(kù)開(kāi)發(fā)者工作臺(tái)結(jié)構(gòu)設(shè) 計(jì)數(shù)據(jù)訪(fǎng)問(wèn)數(shù)據(jù)分析智能診斷優(yōu) 化數(shù)據(jù)庫(kù)實(shí)驗(yàn) 室企業(yè)數(shù)據(jù)庫(kù)研發(fā)管理套件研發(fā)規(guī)則流程規(guī)范引擎管控權(quán)限 管控任務(wù) 管控?cái)?shù)據(jù)同步與傳輸DTS混合云數(shù)據(jù)庫(kù)管 理HDM混合云數(shù)據(jù)同 步數(shù)據(jù)同步與傳輸DTS數(shù)據(jù)高速公路 - DTSDTS核心模塊日志解析能力日志解析DReader冪等同步DTS Any To Any 架構(gòu)解決one to one數(shù)據(jù)源的開(kāi)發(fā)困境

6、，做到加入一個(gè)新的源庫(kù)解析，到所有目的通道全支持，加入一個(gè)新的目的寫(xiě)入，所有源到這個(gè)目的通道全支持。分布式解析和同步數(shù)據(jù)庫(kù)時(shí)光機(jī) - DBS APIPortalNodeFMSIncDBS核心模塊HA &MasterPipeline MetaBuilderParquet format MetaBuilder Schema snapshot &NC CRCPipeline &PluginActor modelHot upgrade切片算法 斷點(diǎn)續(xù)傳秒 級(jí) RPO沖突&冪等算法 任意點(diǎn)恢復(fù)單表恢復(fù)物理備份POP通信熱升級(jí)DBS gentFullSchemaPhasical backupDBS 秒級(jí)備

7、份靈活易用的解決可訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)的備份與恢復(fù)問(wèn)題DBS 物理備份雙十一大屏阿里云Region單元化基于DTS搭建的銀泰新零售混合云某新零售公司異地多活某用戶(hù)備份數(shù)據(jù)在線(xiàn)查詢(xún)某集成商集成DBSECSECSECS集成商服務(wù)器端DBSOSSEAIDC集成商AgentDBS AgentDBEAIDC集成商AgentDBS AgentDB集成商AgentDBDBS Agent用戶(hù)IDC阿里云OPEN API互聯(lián)網(wǎng)公司緩存更新業(yè)務(wù)解耦某小視頻公司業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)解析場(chǎng)景說(shuō)明：用戶(hù)需要實(shí)時(shí)或定期對(duì)線(xiàn)上業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，以實(shí)現(xiàn)營(yíng)銷(xiāo)決策，業(yè)務(wù)大屏，實(shí)時(shí)查詢(xún)等業(yè)務(wù)場(chǎng)景解決方案：使用數(shù)據(jù)同步或者訂閱功能，將線(xiàn)上業(yè)務(wù)變更數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步到大數(shù)據(jù)分析產(chǎn)品中，業(yè)務(wù)實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析，快速搶占商務(wù)先機(jī)應(yīng)用（上游