MongoDB及Spark在金融保險行業(yè)技術(shù)實(shí)踐

1、運(yùn)用MongoDB及Spark 實(shí)現(xiàn)保險行業(yè)開門紅秒殺大屏MongoDB及Spark在金融保險行業(yè)技術(shù)實(shí)踐公司介紹中國太平保險集團(tuán)有限責(zé)任公司于1929年在上海創(chuàng)立，1956年根據(jù)國家統(tǒng) 一部署，中國保險、太平保險停辦國內(nèi)業(yè)務(wù)，專營港澳和海外保險業(yè)務(wù)。1999 年所有境外國有保險機(jī)構(gòu)劃歸中國保險股份有限公司管理。2000年在港交所上 市，是我國首家在境外上市的保險企業(yè)。2001年以太平品牌在境內(nèi)復(fù)業(yè)。2011 年底列入中央管理，升格為副部級金融央企。2013年完成重組改制和整體上市。2018年7月19日，首次進(jìn)入世界500強(qiáng)。目前，中國太平總保費(fèi)超過1600億 元，總資產(chǎn)突破6000億元，管理

2、資產(chǎn)規(guī)模突破1萬億元，已經(jīng)成為一家擁有60余 萬名內(nèi)外勤員工、24家子公司和2000余家各級營業(yè)機(jī)構(gòu)的大型跨國金融保險集團(tuán)，經(jīng)營范圍涉及中國內(nèi)地、中國香港、中國澳門、北美、歐洲、大洋洲、東 亞及東南亞等國家和地區(qū)，業(yè)務(wù)范圍涵蓋壽險、財險、養(yǎng)老保險、再保險、再 保險經(jīng)紀(jì)及保險代理、互聯(lián)網(wǎng)保險、資產(chǎn)管理、證券經(jīng)紀(jì)、金融租賃、不動產(chǎn) 投資、養(yǎng)老醫(yī)療健康產(chǎn)業(yè)投資等領(lǐng)域。太平保險開門紅開門紅特點(diǎn)：統(tǒng)計緯度多秒殺并發(fā)大實(shí)時要求高存在的痛點(diǎn)實(shí)現(xiàn)思路不足使用觸發(fā)器對原始數(shù)據(jù)進(jìn)行裁剪寫入小表延遲大，無法滿足實(shí)時要求，當(dāng)前聚合計算和ETL的時 間延遲4m對寫入到小表的數(shù)據(jù)利用存儲過程進(jìn)行聚合分析，結(jié)果 寫入到聚合

3、表存儲過程中的聚合分析無法進(jìn)行并發(fā)計算，性能空間有 限聚合表數(shù)據(jù)通過shareplex的cdc機(jī)制將數(shù)據(jù)同步到讀庫統(tǒng)缺乏水平可擴(kuò)展性Spark + MongoDB應(yīng)用app消息隊列Spark StreamingMongoDB指標(biāo)大屏實(shí)現(xiàn)思路優(yōu)點(diǎn)不足業(yè)務(wù)APP將數(shù)據(jù)寫入到消息隊列（建議 采用kafka）統(tǒng)計實(shí)時性強(qiáng)，延遲5s對業(yè)務(wù)系統(tǒng)有一定的改造，業(yè)務(wù)系統(tǒng)的數(shù)據(jù) 持久化邏輯受影響，需要將數(shù)據(jù)直接寫入消 息隊列通過Spark Streaming消費(fèi)消息隊列中 的數(shù)據(jù)，進(jìn)行總金額的實(shí)時累加，實(shí)時 反應(yīng)統(tǒng)計排名系統(tǒng)水平可擴(kuò)展性高原始數(shù)據(jù)快速寫入MongoDB 聚合結(jié)果實(shí)時寫入MongoDB系統(tǒng)高可用(

4、high availablitity)分片擴(kuò)展能力Spark高速比hadoop快100倍易用Java, Scala, Python, R, and SQL.通用流式運(yùn)算、機(jī)器學(xué)習(xí)、圖計算、SQLSpark Streaming數(shù)據(jù)采集：用戶使用流式數(shù)據(jù)采集工具將數(shù)據(jù)流式且實(shí)時地采集并傳輸?shù)酱髷?shù)據(jù)消息Pub/Sub系統(tǒng)，該系 統(tǒng)將為下游流計算提供源源不斷的事件源去觸發(fā)流式計算任務(wù)的運(yùn)行。流式計算：流數(shù)據(jù)作為流計算的觸發(fā)源驅(qū)動流計算運(yùn)行。因此，一個流計算任務(wù)必須至少使用一個流數(shù)據(jù) 作為數(shù)據(jù)源。一批進(jìn)入的數(shù)據(jù)流將直接觸發(fā)下游流計算的一次流式計算處理，并針對但批次流式數(shù)據(jù)得出計算 結(jié)果。數(shù)據(jù)集成：流計算

5、將計算的結(jié)果數(shù)據(jù)直接寫入目的數(shù)據(jù)源，這其中包括多種數(shù)據(jù)源，包括數(shù)據(jù)存儲系統(tǒng)、 消息投遞系統(tǒng)，甚至直接對接業(yè)務(wù)規(guī)則告警系統(tǒng)發(fā)出告警信息。不同于批量計算，流計算天生自帶數(shù)據(jù)集成模 塊，可以將結(jié)果數(shù)據(jù)直接寫入到目的數(shù)據(jù)源。數(shù)據(jù)消費(fèi)：流計算一旦將結(jié)果數(shù)據(jù)投遞到目的數(shù)據(jù)源后，后續(xù)的數(shù)據(jù)消費(fèi)從系統(tǒng)劃分來說，和流計算已經(jīng) 完全解耦。用戶可以使用數(shù)據(jù)存儲系統(tǒng)訪問數(shù)據(jù)，使用消息投遞系統(tǒng)進(jìn)行信息接收，或者直接使用告警系統(tǒng)進(jìn) 行告警。數(shù)據(jù)庫選型關(guān)鍵能力描述RDBMSHDFSMongoDB性能與擴(kuò)展海量數(shù)據(jù)處理能力否是是高效查詢效率是否是性能擴(kuò)展有限（垂直）水平擴(kuò)展水平擴(kuò)展模型靈活度數(shù)據(jù)模型變更是否靈 活否N/A是支

6、持結(jié)構(gòu)化、半結(jié)構(gòu)、非機(jī)構(gòu)化數(shù)據(jù)有限支持支持支持企業(yè)級支撐完整的企業(yè)級運(yùn)維標(biāo) 準(zhǔn)及工具是否是Why MongoDB？原始交易數(shù)據(jù)（高峰10w消息/秒），有重復(fù)，要求能夠快速寫入數(shù)據(jù)庫并去重（唯一索引），之后Spark Streaming快速讀出數(shù)據(jù)處理展示指標(biāo)緯度多，單一基于key-value的內(nèi)存數(shù)據(jù)庫無法支撐多條件查詢MongoDB Spark connector，支持雙向讀寫；查詢條件下推，利用MongoDB索引過濾無用數(shù)據(jù)， 減少數(shù)據(jù)傳輸量MongoDB查詢功能強(qiáng)大（Aggregation/范圍/地理位置/JOIN/Key-value/Graph），可以應(yīng)付今 后的更多場景實(shí)際性能功能虛擬機(jī)配置數(shù)量Spark集群CPU 4core RAM 16GB5MongoDB集群CPU 4core RAM 16GB3處理數(shù)據(jù)量 batch 4s處理時間（秒）是否有延遲25000.2N/A50000.5N/A200003N/A300004N/A400005延遲1s數(shù)據(jù)準(zhǔn)確度100%注意