數(shù)據(jù)分發(fā)平臺(tái)的架構(gòu)設(shè)計(jì)與實(shí)踐

基于GoldenGate的數(shù)據(jù)分發(fā)實(shí)踐需求背景

第一家總部位于浙江的全國(guó)性壽險(xiǎn)公司

注冊(cè)資本50億元，資產(chǎn)逾300億元，年保費(fèi)收入超過100億元

擁有18家分公司，63家三級(jí)機(jī)構(gòu)，263家四級(jí)機(jī)構(gòu)

擁有一家全國(guó)性保險(xiǎn)銷售公司-聯(lián)創(chuàng)保險(xiǎn)核心系統(tǒng)報(bào)表查詢數(shù)據(jù)平臺(tái)財(cái)務(wù)系統(tǒng)建議書系統(tǒng)客服系統(tǒng)精算系統(tǒng)各類報(bào)送系統(tǒng)移動(dòng)保險(xiǎn)系統(tǒng)

對(duì)原有系統(tǒng)影響較小或無影響

實(shí)現(xiàn)及管理較容易

提升數(shù)據(jù)流向的清晰度

降低系統(tǒng)間的耦合度

提升整體系統(tǒng)的性能歸納成圖就是增量抽取報(bào)表查詢數(shù)據(jù)平臺(tái)核心系統(tǒng)財(cái)務(wù)系統(tǒng)客服系統(tǒng)精算系統(tǒng)增量抽取統(tǒng)一數(shù)據(jù)分發(fā)建議書系統(tǒng)增量抽取移動(dòng)保險(xiǎn)系統(tǒng)增量抽取各類報(bào)送系統(tǒng)增量抽取移動(dòng)保險(xiǎn)系統(tǒng)客服系統(tǒng)系統(tǒng)建設(shè)原則

要有較高的可用性

數(shù)據(jù)準(zhǔn)確性要高

容易管理和監(jiān)控

能集成到大數(shù)據(jù)平臺(tái)中可用性的實(shí)現(xiàn)

自動(dòng)重啟Extract或Replicat進(jìn)程

在網(wǎng)絡(luò)不穩(wěn)定或網(wǎng)絡(luò)短暫中斷后特別有用

需要保證Manager進(jìn)程正常運(yùn)行

CheckpointFile

Trail

File

采用ACFS

用來安裝GoldenGate軟件

用來存儲(chǔ)Trail

File

可以配置GoldeGateVIP

實(shí)現(xiàn)故障轉(zhuǎn)移原先的架構(gòu)-比較重型

實(shí)施較繁瑣，且比較容易出錯(cuò)

容易導(dǎo)致錯(cuò)誤累積

容易導(dǎo)致數(shù)據(jù)延遲

雙向復(fù)制比較困難輕量化架構(gòu)

不會(huì)導(dǎo)致錯(cuò)誤累積

數(shù)據(jù)延遲更小

雙向復(fù)制更加容易實(shí)現(xiàn)

DBFS

+DataGuardVIPDataGuardDBFSTRAILCHECKPOINTFILE保證數(shù)據(jù)準(zhǔn)確性

本身沒有機(jī)制來保證數(shù)據(jù)準(zhǔn)確性

本身沒有提供數(shù)據(jù)校驗(yàn)的方法

基于J2EE的B/S架構(gòu)

數(shù)據(jù)校驗(yàn)在內(nèi)存中完成

數(shù)據(jù)會(huì)先取到Veridata服務(wù)器上再進(jìn)行校驗(yàn)運(yùn)算，對(duì)數(shù)據(jù)庫(kù)壓力較小

可以進(jìn)行數(shù)據(jù)修復(fù)2*6Core

CPU+32GB，能達(dá)到5萬(wàn)-10萬(wàn)條每秒的校驗(yàn)速度

Shell腳本+Cron

job監(jiān)控GoldenGate

EM+GoldenGatePlugin進(jìn)程狀態(tài)監(jiān)控和告警數(shù)據(jù)延遲監(jiān)控和告警大數(shù)據(jù)平臺(tái)集成*需求：數(shù)據(jù)能實(shí)時(shí)更新到Hive中增量抽取核心系統(tǒng)財(cái)務(wù)系統(tǒng)客服系統(tǒng)精算系統(tǒng)增量抽取統(tǒng)一數(shù)據(jù)分發(fā)增量抽取增量抽取增量抽取移動(dòng)保險(xiǎn)系統(tǒng)

讀取JMS，將消息輸出到Trail中MessageCaptureVAMJMSHandlerExtractJMSTRAIL

讀取Trail，將事務(wù)寫入到目標(biāo)庫(kù)或FlatFile或消息中間件中(如ActiveMQ)JMSJavaUserExitJMSHandlerReplicatTRAIL目標(biāo)庫(kù)FlatFile

GoldenGateAdapter的擴(kuò)展

支持將事務(wù)輸出到HDFS、HBase、Fl