工行分布式OLTP數(shù)據(jù)庫選型實(shí)踐

1、工行分布式OLTP數(shù)據(jù)庫選型實(shí)踐技術(shù)創(chuàng)新，變革未來目錄CONTENTS1.為什么走向分布式2.為什么選擇MySQL3.MySQL發(fā)展之路24.MySQL發(fā)展過程中的問題及優(yōu)化為什么走向分布式31處理能力業(yè)務(wù)規(guī)模增長迅速， 縱向垂直能力無法滿 足業(yè)務(wù)規(guī)模增長敏捷供應(yīng)伴隨業(yè)務(wù)規(guī)模增長，開 發(fā)版本迭代迅速，增量 業(yè)務(wù)迸發(fā)，環(huán)境供應(yīng)面 臨挑戰(zhàn)業(yè)務(wù)特點(diǎn)短平快的交易特點(diǎn)以 及7*24 的業(yè)務(wù)連續(xù)性 對傳統(tǒng)架構(gòu)提出了巨 大挑戰(zhàn)成本控制由于主機(jī)成本較高以 及其他商業(yè)產(chǎn)品投入 較多l(xiāng)icence，總體成 本無法降低為什么走向分布式4控制成本通過下移主機(jī)業(yè)務(wù)至平臺，使用更廉價的硬件基礎(chǔ)設(shè)施。降低風(fēng)險打散數(shù)據(jù)、解耦

2、各 應(yīng)用業(yè)務(wù)層依賴、 降低整體集中式風(fēng) 險運(yùn)維能力傳統(tǒng)的基礎(chǔ)環(huán)境供應(yīng) 以及運(yùn)維模式無法應(yīng) 對開發(fā)的敏捷迭代業(yè)務(wù)支撐單庫已無法支撐 業(yè)務(wù)規(guī)模的增長為什么走向分布式5為什么選擇MySQL26穩(wěn)定有大量互聯(lián)網(wǎng)公司使用開源沒有l(wèi)icence易自主可控學(xué)習(xí)成本較低同為關(guān)系型數(shù)據(jù)庫 較Oralce、db2等易上手7版本質(zhì)量優(yōu)良社區(qū)生態(tài)發(fā)展優(yōu)良 參與者眾多輕輕量級、靈活易擴(kuò)展配套成熟業(yè)界有較成熟的配套解決方案為什么選擇MySQLMySQL發(fā)展之路38787910116111691、2017年前MySQL主要用于辦公 類非核心平臺應(yīng)用總體規(guī)模不超 過200個實(shí)例。2、2018年初開始，隨著主機(jī)業(yè)務(wù)下移至平臺，

3、平臺整體使用MySQL量出現(xiàn)井噴式增長。3、由于分布式架構(gòu)下MySQL節(jié)點(diǎn) 數(shù)劇增，為提升機(jī)房密度、服務(wù) 器資源使用率，通過使用容器化 部署MySQL實(shí)例。MySQL發(fā)展之路MySQL管理平臺10分布式數(shù)據(jù)庫中間件架構(gòu)圖分布式訪問層：應(yīng)用透明/靈活拆 分、開源自主可控支持Hash/Range/List等多種分 片算法，可擴(kuò)展，滿足垂直數(shù)據(jù)分 片、水平數(shù)據(jù)分片、混合分片等場 景數(shù)據(jù)節(jié)點(diǎn)分片擴(kuò)展支持簡單的跨庫匯集查詢提供類似集中庫的操作體驗(yàn)可通過集群解決自身高可用問題SQL轉(zhuǎn)換和分發(fā)分片1Shard1 MShard1 S分片2Shard2 MShard2 S分片NShardN MShardN S分

4、布式 訪問層集群高可用 負(fù)載均衡DBLEDBLE11系統(tǒng)管理節(jié)點(diǎn)Agent運(yùn)維管理區(qū)域MySQL管理平臺配置中心高可用管理模塊性能容量 監(jiān)控模塊安裝部署備份恢復(fù)服務(wù)端口管理端口分布式數(shù)據(jù)訪問層動態(tài)管理MySQL集群數(shù)據(jù)操作狀態(tài)上報 節(jié)點(diǎn)Agent數(shù)據(jù)庫管理動態(tài)管理運(yùn)維人員系統(tǒng)管理業(yè)務(wù)系統(tǒng)數(shù)據(jù)操作負(fù)載均衡定制研發(fā)MySQL客戶端 組件，分布式中間件DBLE、 數(shù)據(jù)庫管理平臺，實(shí)現(xiàn)組件的聯(lián)動支持節(jié)點(diǎn)狀態(tài)監(jiān)控告警、 安裝部署、自動補(bǔ)數(shù)等功 能高可用自動切換，實(shí)現(xiàn)RPO=0,RTO60s的業(yè)務(wù)連續(xù)性采用開源MySQL和原生 態(tài)數(shù)據(jù)復(fù)制技術(shù)，一主多 備架構(gòu)，實(shí)現(xiàn)多份數(shù)據(jù)冗 余一致性保障MySQL管理平臺

5、12核心應(yīng)用使用MySQL架構(gòu)圖1、接入層應(yīng)用服務(wù)3、賬務(wù)處理 器群組21DB1 SET21應(yīng)用服務(wù) 器群組22應(yīng)用服務(wù) 器群組23應(yīng)用服務(wù) 器群組24DB2 SET22DB3 SET23DB4 SET242、產(chǎn)品處理應(yīng)用服務(wù) 器群組11DB1 SET11應(yīng)用服務(wù) 器群組12DB2 SET12應(yīng)用服務(wù) 器群組25DB5 SET25應(yīng)用服務(wù) 器群組26應(yīng)用服務(wù) 器群組27應(yīng)用服務(wù) 器群組28DB6 SET26DB7 SET27DB8 SET28應(yīng)用服務(wù) 器群組13DB3 SET13應(yīng)用服務(wù) 器群組14DB4 SET14服務(wù)網(wǎng)關(guān)服務(wù)網(wǎng)關(guān)A 園區(qū)B 園區(qū)實(shí)施效果：日均交易量1億以上服務(wù)路由本地高可用

6、自動化切換，RPO=0,RTO60s同城高可用切換：人工決策、一鍵 式切換 RTO分鐘級13應(yīng)用特征交易特征：高并發(fā)、低延時，日均 交易量3億，交易延時100ms；7*24聯(lián)機(jī)服務(wù)高可用架構(gòu)：同城分片雙活MySQL發(fā)展過程中的問題及優(yōu)化414外置存儲帶來的IO爭用同城RPO無法保證為0服務(wù)器資源利用率低備份存儲節(jié)點(diǎn)資源浪費(fèi)MySQL實(shí)踐中問題1502010304MySQL優(yōu)化之路備份優(yōu)化通過使用備份至SEPH的方式實(shí)現(xiàn) 多副本廉價存儲介質(zhì)備份MySQL云化部署提升服務(wù)器資源 利用率，環(huán)境標(biāo)準(zhǔn)化SSD引入有效提升50%的IO 處理能力高可用架構(gòu) 優(yōu)化一主三從提升同 城RPO能力16高可用架構(gòu)優(yōu)化

7、MySQL異步B域名（指向VIP）MySQL半同步MySQL主AAAPPPPAPPAAPPPPAPPMySQL半同步MySQL半同步ack=1,降級ack=2,不降級17容器編排、管理Kubernetes + docker行內(nèi)PaaS平臺已穩(wěn)定運(yùn)行兩年，有較成熟的管理平臺對接。Docker相較虛擬機(jī)有更輕、資源利用率更高、部署更易、開發(fā)流程自動化等優(yōu)勢。標(biāo)準(zhǔn)化鏡像MySQL基礎(chǔ)鏡像（社區(qū)5.7.21）+os基礎(chǔ)鏡像（SuSE12 sp3)自研dockfile以及進(jìn)行鏡像管理。能夠通過鏡像標(biāo)準(zhǔn)化MySQL的整體供應(yīng)。MySQL云化部署18通過自研了SR-IOV-cni插件實(shí)現(xiàn)了網(wǎng)絡(luò)IP的分配、

8、固定、容器網(wǎng)絡(luò)的建立等。好處：1.性能接近物理宿主機(jī)，時延低2.萬兆網(wǎng)絡(luò)可虛擬化63對VF（即支持63個容器）通過自研了csi插件，實(shí)現(xiàn)了存儲本地盤/外置盤的按需自動劃分以及掛載，并使數(shù)據(jù)持久化。特性1：IP固定特性2：數(shù)據(jù)持久化并自動劃分存儲Bare MetalPF1eth1PF2eth2VF 01VF02VF03V F0nV F11VF 12VF 13V F1ncbon d1cb on d2cb on d3cb on dndocker1 cbond1 1.1.1.1docke2 cbond2 2.2.2.2SWITCHGW:1.1.1.254; 2.2.2.254; 3.3.3.254物理

9、 連線物理 連線MasterCSI ControllerNodeCSI agentKubeletAPI ServerStorMGRFC SANVPMGRIAAS19備份優(yōu)化物理機(jī)S3fs/backup對象存儲集群s3接口Bucket1 Bucket2 Bucket3虛擬機(jī)S3fs/backupARM服務(wù)器+ 開源ceph+ 糾刪碼20物理機(jī)、虛擬機(jī)中使用S3fs提供文件存儲在物理機(jī)/虛擬機(jī)中安裝、配置s3fs，通過映射 關(guān)系將后端集群的bucket掛載至本地文件目錄，即可直接使用。以MySQL的backup目錄為例：直接使用S3fs建立backup與后端集群bucket之間的映射關(guān)系即可。容器

10、中使用S3fs提供文件存儲在宿主機(jī)中安裝配置S3fs，通過兩次關(guān)系映射，實(shí)現(xiàn)掛載使用。以MySQL容器化中backup目錄使用S3fs為例：（1）容器宿主機(jī)通過s3fs與后端ceph集群bucket掛載，目錄命名：存儲集群名+桶名（clusterA-bucket1），該掛載目錄下創(chuàng)建以（應(yīng)用 名-主庫IP）標(biāo)識的容器掛載目錄。（2）容器卷掛載，在K8S中將上述路徑（/集群 名-桶名/應(yīng)用名-主庫IP）映射到容器的/backup目錄。網(wǎng)絡(luò)流量并發(fā)大，出現(xiàn)極端增長，壓垮防火墻-控制同城間主從恢復(fù)并發(fā)、監(jiān)控網(wǎng)絡(luò)流量21網(wǎng)絡(luò)流量大事務(wù)影響主庫業(yè)務(wù)連續(xù)性-開發(fā)指引、對大事務(wù)監(jiān)控并走向自動kill大事務(wù)大表DDL、sql性能拐點(diǎn)-定制數(shù)據(jù)清理、DDL測試，sql語句審核，開發(fā)指引大表運(yùn)維坑后續(xù)思路自動化實(shí)現(xiàn)業(yè)務(wù)級故障自愈服