數(shù)據(jù)平臺(tái)系統(tǒng)項(xiàng)目-技術(shù)方案

數(shù)據(jù)平臺(tái)系統(tǒng)項(xiàng)目-技術(shù)方案

LT

數(shù)據(jù)平臺(tái)項(xiàng)目

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

目錄

第1頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)投標(biāo)書

3.3.1數(shù)據(jù)架構(gòu)設(shè)計(jì)................32

3.3.2數(shù)據(jù)模型設(shè)計(jì)................38

3.3.3靈活查詢功能架構(gòu)............51

3.3.4數(shù)據(jù)備份與恢復(fù)..............52

3.4數(shù)據(jù)平臺(tái)應(yīng)用體系.................56

3.4.1統(tǒng)一報(bào)表平臺(tái)................56

3.4.2數(shù)據(jù)圖表化展示.............127

3.5數(shù)據(jù)平臺(tái)設(shè)計(jì)關(guān)鍵點(diǎn)..............138

3.5.1數(shù)據(jù)平臺(tái)性能保障...........138

3.5.2時(shí)間窗口...................154

3.5.3備份策略...................155

3.5.4數(shù)據(jù)模型的歷史數(shù)據(jù)存儲(chǔ)....157

3.5.5源系統(tǒng)變更影響分析.........160

第4章軟件及推薦硬件設(shè)備配置方案.....162

4.1系統(tǒng)軟件方案.....................162

4.1.1統(tǒng)一報(bào)表平臺(tái)...............163

北京宇信易誠(chéng)科技有限公司II

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

第1章方案總述

1.1前言

我們衷心感謝貴行給予我們這樣一個(gè)很好的

機(jī)會(huì)，可以為貴行的數(shù)據(jù)平臺(tái)建設(shè)提供技術(shù)解決

方案和項(xiàng)目實(shí)施方案的建議書，并通過我們的方

案建議書為及其應(yīng)用系統(tǒng)的建設(shè)提供幫助。

我們期盼與貴行共同努力，以我們?cè)谛值芊中?/p>

和其他銀行實(shí)施同類項(xiàng)目的經(jīng)驗(yàn)以及我們使您

的愿景變成現(xiàn)實(shí)的能力，為貴行IT建設(shè)增添一

個(gè)新的里程碑，也為我們與貴行的真誠(chéng)合作啟動(dòng)

一個(gè)良好的開端。

該項(xiàng)目除了可以用宇信易誠(chéng)所具有的經(jīng)驗(yàn)和

技術(shù)為貴行提供幫助外，我們認(rèn)為這也是一個(gè)與

貴行建立長(zhǎng)期戰(zhàn)略合作關(guān)系的寶貴機(jī)會(huì)。我們?yōu)?/p>

這個(gè)目標(biāo)所做出的努力正反映了這一點(diǎn)，我們?cè)?/p>

意建立一個(gè)靈活的商務(wù)策略，和服務(wù)質(zhì)量有競(jìng)爭(zhēng)

力的專家團(tuán)隊(duì)來滿足貴行的需要。

1.2項(xiàng)目背景

隨著貴行業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增

多，業(yè)務(wù)數(shù)據(jù)量的規(guī)模也在急速膨脹。分行數(shù)據(jù)

整合平臺(tái)作為貴行的數(shù)據(jù)整合中心，需緊密銜接

第1頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

總行ODS、數(shù)據(jù)倉(cāng)庫(kù)及分行特色系統(tǒng)、并且

需考慮到貴行未來將要建設(shè)的系統(tǒng)的接入問題。

根據(jù)貴行業(yè)務(wù)的拓展和條線管理的需要，各業(yè)務(wù)

部門對(duì)決策信息依賴程度不斷提高，經(jīng)常會(huì)有一

些高靈活性、多變性、高及時(shí)性的信息需求。貴

行目前需要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一

數(shù)據(jù)平臺(tái)，僅依靠傳統(tǒng)的數(shù)據(jù)加工模式對(duì)源數(shù)據(jù)

進(jìn)行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、

數(shù)據(jù)質(zhì)量低下、以及缺乏良好的數(shù)據(jù)統(tǒng)計(jì)分析手

段等問題導(dǎo)致分行范圍的決策分析成為難題，不

能充分發(fā)揮業(yè)務(wù)積累的相關(guān)數(shù)據(jù)的作用數(shù)據(jù)的

及時(shí)性和準(zhǔn)確性難以保證，給管理和營(yíng)銷增加了

難度。

本次數(shù)據(jù)報(bào)表平臺(tái)項(xiàng)目承擔(dān)了分行主要業(yè)務(wù)

數(shù)據(jù)的集中和整合及報(bào)表應(yīng)用展示的功能。通過

數(shù)據(jù)平臺(tái)的建設(shè)，將為零售、公司、同業(yè)、績(jī)效、

人力資源、運(yùn)營(yíng)等業(yè)務(wù)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支

持，是貴行業(yè)務(wù)精細(xì)化管理能力的重要基礎(chǔ)類系

統(tǒng)。數(shù)據(jù)平臺(tái)從中遠(yuǎn)期角度來看，將成為貴行

管理層/經(jīng)營(yíng)層洞察經(jīng)營(yíng)全貌、優(yōu)化經(jīng)營(yíng)管控水

平、推進(jìn)戰(zhàn)略決策效能、支撐綜合運(yùn)營(yíng)分析的數(shù)

據(jù)分析平臺(tái)。通過數(shù)據(jù)的集中化、標(biāo)準(zhǔn)化管理，

第1頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

實(shí)現(xiàn)分行數(shù)據(jù)的信息共享，構(gòu)建實(shí)現(xiàn)企業(yè)數(shù)據(jù)平

臺(tái)及相關(guān)的管理決策分析應(yīng)用。

1.1項(xiàng)目目標(biāo)

貴行數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目是搭建一個(gè)對(duì)接總

行ODS、數(shù)據(jù)倉(cāng)庫(kù)、銜接分行特色業(yè)務(wù)的數(shù)據(jù)

平臺(tái)。從底層的數(shù)據(jù)平臺(tái)、DW到上層的BI（商

業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺(tái)在各交易系統(tǒng)之間、交

易系統(tǒng)和報(bào)表分析系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)交換，通過

數(shù)據(jù)的加工、整合實(shí)現(xiàn)報(bào)表統(tǒng)計(jì)和分析。建立基

礎(chǔ)數(shù)據(jù)模型、ETL平臺(tái)、ETL管理調(diào)度平臺(tái)、

確保數(shù)據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成

統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級(jí)

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行系統(tǒng)應(yīng)用的基礎(chǔ)數(shù)據(jù)

平臺(tái)。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺(tái)的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報(bào)表平臺(tái)，為貴行業(yè)務(wù)分

析和經(jīng)驗(yàn)決策提供全面的支持。

1.2項(xiàng)目建設(shè)原則

本次項(xiàng)目建設(shè)遵循的技術(shù)原則如下：

第2頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)平臺(tái)的正確建立和合理利用將直接影響

到貴行的未來信息化發(fā)展，貴行數(shù)據(jù)平臺(tái)建設(shè)應(yīng)

參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來的數(shù)據(jù)平臺(tái)

信息化建設(shè)和管理，在項(xiàng)目方案中應(yīng)該能夠體現(xiàn)

以下原則：

1.數(shù)據(jù)集中原則：

將總行ODS、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)、分行特色數(shù)據(jù)

和應(yīng)用統(tǒng)一進(jìn)行管理和運(yùn)維，保證資源的高度利

用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)和應(yīng)用的絕對(duì)

安全和穩(wěn)定。

2.數(shù)據(jù)標(biāo)準(zhǔn)分行統(tǒng)一原則：

依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義

性。未來分行特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是分行數(shù)

據(jù)結(jié)構(gòu)模型的子集。對(duì)分行級(jí)數(shù)據(jù)實(shí)行單點(diǎn)維

護(hù)，確保分行級(jí)數(shù)據(jù)的可靠性和一致性。

3.數(shù)據(jù)管理分行統(tǒng)一原則：

統(tǒng)一的存儲(chǔ)管理，統(tǒng)一規(guī)劃使用存儲(chǔ)資源，提

高存儲(chǔ)資源使用效率。統(tǒng)一的性能管理，根據(jù)實(shí)

際業(yè)務(wù)需求，合理分配資源，確保對(duì)數(shù)據(jù)的訪問

性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn)的安全管

理，提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)

的安全隱患。

第3頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

4.降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制原則：

減低分行級(jí)數(shù)據(jù)的冗余度，降低數(shù)據(jù)對(duì)存儲(chǔ)資

源的需求。各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理實(shí)際需

求，確定對(duì)屬于其它系統(tǒng)數(shù)據(jù)的同步需求，制訂

出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進(jìn)行實(shí)施。

第2章系統(tǒng)建設(shè)規(guī)劃

2.1項(xiàng)目建設(shè)目標(biāo)的理解

數(shù)據(jù)平臺(tái)的建設(shè)對(duì)于貴行是一個(gè)非常重要的

系統(tǒng)工程，承擔(dān)著貴行企業(yè)數(shù)據(jù)整合、數(shù)據(jù)交換

以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)平臺(tái)的建設(shè)使得

貴行將自身信息資產(chǎn)切實(shí)、有效的管理起來，形

成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框

架，并為統(tǒng)一報(bào)表系統(tǒng)提供有效的數(shù)據(jù)支撐。

2.1.1項(xiàng)目建設(shè)范圍

貴行數(shù)據(jù)平臺(tái)本期項(xiàng)目建設(shè)范圍，可以從涉

及到的業(yè)務(wù)范圍、涵蓋到的組織范圍以及數(shù)據(jù)平

臺(tái)需要接入的源系統(tǒng)范圍三個(gè)角度來分析。

2.1.1.1業(yè)務(wù)范圍

本項(xiàng)目的業(yè)務(wù)范圍以貴行零售、公司業(yè)務(wù)條

線為主，計(jì)財(cái)、績(jī)效、運(yùn)營(yíng)等為輔。

2.1.1.2組織范圍

第4頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

本項(xiàng)目業(yè)務(wù)涵蓋的組織范圍為貴行及轄內(nèi)

二級(jí)分行、支行。

2.1.1.3數(shù)據(jù)范圍

本項(xiàng)目的源系統(tǒng)范圍包括目前貴行的主要

業(yè)務(wù)系統(tǒng)，并需要滿足本期數(shù)據(jù)平臺(tái)主題應(yīng)用的

數(shù)據(jù)需求。

2.1.2項(xiàng)目建設(shè)內(nèi)容

2.1.2.1基礎(chǔ)數(shù)據(jù)平臺(tái)

基礎(chǔ)數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)搭建

從總體上規(guī)劃企業(yè)級(jí)的基礎(chǔ)數(shù)據(jù)平臺(tái)，平臺(tái)

將包含歷史數(shù)據(jù)存儲(chǔ)、基礎(chǔ)數(shù)據(jù)平臺(tái)、統(tǒng)一報(bào)表

平臺(tái)、自動(dòng)調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺(tái)要采

用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；

基礎(chǔ)數(shù)據(jù)平臺(tái)ETL監(jiān)控、調(diào)度功能，完成從

原數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)移植到新數(shù)據(jù)平臺(tái)的工作。

ETL子系統(tǒng)實(shí)現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取

至數(shù)據(jù)平臺(tái)，并進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等

操作，形成數(shù)據(jù)分析、決策所需的各種匯總數(shù)據(jù)

模型、分析模型，最終形成各種報(bào)表、查詢以及

KPI指標(biāo)。ETL子系統(tǒng)實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)抽取、

數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動(dòng)化數(shù)據(jù)重

新加載、加載錯(cuò)誤自動(dòng)處理、臟數(shù)據(jù)識(shí)別等功能。

第5頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)補(bǔ)錄功能

提供數(shù)據(jù)補(bǔ)錄平臺(tái)功能，包括補(bǔ)錄流程

管理、補(bǔ)錄模版管理、單筆補(bǔ)錄、批量補(bǔ)錄等。

通過補(bǔ)錄平臺(tái)實(shí)現(xiàn)數(shù)據(jù)平臺(tái)無(wú)法自動(dòng)獲取的具

備分析價(jià)值的數(shù)據(jù)。

本期基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作

內(nèi)容：

接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平臺(tái)加載數(shù)據(jù)接口、卸

出數(shù)據(jù)格式及校驗(yàn)標(biāo)準(zhǔn)

公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉(cāng)庫(kù)標(biāo)

準(zhǔn)與分行特色數(shù)據(jù)標(biāo)準(zhǔn)；

數(shù)據(jù)質(zhì)量管控

數(shù)據(jù)質(zhì)量管控是一個(gè)長(zhǎng)期的過程，依托于數(shù)

據(jù)管控組織機(jī)構(gòu)、流程的建立和完善。數(shù)據(jù)平臺(tái)

一期進(jìn)行數(shù)據(jù)質(zhì)量管控體系的初步探索，主要完

成如下目標(biāo)：

(1)、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，

包括功能性和非功能性規(guī)則。功能性規(guī)則主要包

括：完整性、唯一性、合法性、準(zhǔn)確性等；非功

能性主要包括信息的完整性、一致性、業(yè)務(wù)稽核

等；

第6頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

（2）、根據(jù)建立的初步檢查規(guī)則，進(jìn)行數(shù)據(jù)

質(zhì)量的監(jiān)測(cè)，出具初步的數(shù)據(jù)質(zhì)量檢查報(bào)告；

（3）、根據(jù)數(shù)據(jù)質(zhì)量檢查報(bào)告，提出數(shù)據(jù)質(zhì)

量提升的解決方案。

2.1.2.2分行級(jí)指標(biāo)體系

借鑒與參考總行統(tǒng)一報(bào)表指標(biāo)體系成果，在

此基礎(chǔ)上建立滿足分行口徑指標(biāo)體系，擴(kuò)展分行

指標(biāo)；滿足業(yè)務(wù)日常固定報(bào)表使用的同時(shí)提供多

樣化的報(bào)表展現(xiàn)界面，包括表格展現(xiàn)，各類圖形

展現(xiàn)；要求界面友好，易用性強(qiáng)，并能夠提供具

性化應(yīng)用風(fēng)格支持。

2.1.2.3統(tǒng)一報(bào)表平臺(tái)

構(gòu)建統(tǒng)一報(bào)表平臺(tái)，實(shí)現(xiàn)分行業(yè)務(wù)應(yīng)用報(bào)表

的集中化管理、一體化服務(wù)；具有報(bào)表定制、管

理、維護(hù)功能；構(gòu)建分行用戶及權(quán)限管理體系，

支撐分行業(yè)務(wù)用戶報(bào)表應(yīng)用需求。能夠快速響應(yīng)

各級(jí)業(yè)務(wù)應(yīng)用人員的報(bào)表需求，滿足報(bào)表批量分

類存檔的需要。

2.2分行數(shù)據(jù)平臺(tái)的建設(shè)目標(biāo)

2.2.1分行數(shù)據(jù)平臺(tái)一期建設(shè)目標(biāo)

基于對(duì)貴行系統(tǒng)現(xiàn)狀的了解,貴行數(shù)據(jù)平臺(tái)一

期的建設(shè)目標(biāo)是:

第7頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級(jí)

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行數(shù)據(jù)集中管理和應(yīng)用

的基礎(chǔ)數(shù)據(jù)平臺(tái)。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺(tái)的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報(bào)表平臺(tái)，為貴行業(yè)務(wù)

分析和經(jīng)驗(yàn)決策提供全面的支持。

3、集成現(xiàn)有對(duì)公、零售主要系統(tǒng)業(yè)務(wù)固定報(bào)

表，支撐業(yè)務(wù)數(shù)據(jù)使用需求。

4、指標(biāo)數(shù)據(jù)按照?qǐng)D表樣式進(jìn)行區(qū)間查詢展示

數(shù)據(jù)趨向，波動(dòng)。

5、將分行原指標(biāo)體系按照新指標(biāo)體系進(jìn)行平

移；

2.2.2分行數(shù)據(jù)平臺(tái)二期建設(shè)目標(biāo)

鑒于一期建設(shè)主要是搭建主體平臺(tái)，二期的信

息化建設(shè)目標(biāo)是繼續(xù)完善平臺(tái)，豐富平臺(tái)應(yīng)用效

果,全面覆蓋現(xiàn)有舊綜合平臺(tái)，將重要數(shù)據(jù)遷移。

具體目標(biāo)如下：

二期項(xiàng)目中可以集成計(jì)財(cái)、運(yùn)營(yíng)、人力資源等

系統(tǒng)報(bào)表;

支持?jǐn)?shù)據(jù)圖表展示、SQL查詢等個(gè)性化查詢需

求;

第8頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

將更多的管理應(yīng)用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)

平臺(tái)；

建立并推廣一套完整的需求與技術(shù)落地標(biāo)準(zhǔn)

與體系。

可以預(yù)見，隨著數(shù)據(jù)平臺(tái)的不斷成熟，業(yè)務(wù)部

門對(duì)數(shù)據(jù)平臺(tái)的認(rèn)知不斷提高，會(huì)有源源不斷的

需求基于數(shù)據(jù)平臺(tái)提出，這種變化將使得數(shù)據(jù)平

臺(tái)由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè)務(wù)部門的“拉”,

讓業(yè)務(wù)需求作為數(shù)據(jù)平臺(tái)持續(xù)良好發(fā)展的源動(dòng)

力。

第3章整體設(shè)計(jì)方案

3.1系統(tǒng)設(shè)計(jì)方法論

3.1.1方法論

數(shù)據(jù)平臺(tái)的項(xiàng)目是一個(gè)長(zhǎng)期的循序漸進(jìn)的

過程，也是一個(gè)不斷創(chuàng)新、修復(fù)、完善的過程，

其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)貴行的業(yè)

務(wù)特點(diǎn)以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展藍(lán)

圖，致力打造一個(gè)可擴(kuò)展的、高可用性的、安全

的、高效的、跨部門的可以快速處理海量數(shù)據(jù)的

數(shù)據(jù)平臺(tái)。

在貴行數(shù)據(jù)平臺(tái)建設(shè)方面依據(jù)可重用性、安

全性、高可用性、可管理性、可擴(kuò)展性、高性能

第9頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

的設(shè)計(jì)原則采取總體規(guī)劃，分層實(shí)現(xiàn)的方式?？v

向?qū)用孀陨隙驴?，貴行數(shù)據(jù)平臺(tái)的架構(gòu)由邏輯

(應(yīng)用)架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)

四個(gè)層次組成，每個(gè)層次內(nèi)部又根據(jù)設(shè)計(jì)需要進(jìn)

行抽象分層，從而形成立體的貴行數(shù)據(jù)平臺(tái)項(xiàng)目

架構(gòu)方法。

邏輯(應(yīng)用)架構(gòu)是貴行數(shù)據(jù)平臺(tái)項(xiàng)目承載

的應(yīng)用體系，它描述了貴行數(shù)據(jù)平臺(tái)項(xiàng)目所要實(shí)

現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需求所必須的

公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù)管理等工具組

件。

數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)

實(shí)體關(guān)系的分布，它通過數(shù)據(jù)模型的方式進(jìn)行組

織，主要分為緩沖數(shù)據(jù)層(ODS)、基礎(chǔ)數(shù)據(jù)層

(FDM)、加工匯總層(ADM)和數(shù)據(jù)集市層(MDM)

等四個(gè)層次。

技術(shù)架構(gòu)是用于支撐貴行數(shù)據(jù)平臺(tái)的數(shù)據(jù)分

布和流動(dòng)的技術(shù)框架，用到的技術(shù)有數(shù)據(jù)庫(kù)技

術(shù)、數(shù)據(jù)平臺(tái)技術(shù)、ETL技術(shù)、多維計(jì)算技術(shù)、

數(shù)據(jù)展現(xiàn)技術(shù)等。

作為最底層的物理架構(gòu)，是對(duì)貴行數(shù)據(jù)平臺(tái)

物理設(shè)備和網(wǎng)絡(luò)的合理規(guī)劃部署，它通過有效地

第10頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備進(jìn)行擴(kuò)展

為上層架構(gòu)（技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、邏輯架構(gòu)）

提供支撐能力。

貴行數(shù)據(jù)平臺(tái)架構(gòu)方法立體視圖

3.1.2設(shè)計(jì)原則

根據(jù)貴行數(shù)據(jù)平臺(tái)提出的系統(tǒng)建議的總體原

則，總結(jié)我們?cè)诙嗉医鹑跈C(jī)構(gòu)建設(shè)數(shù)據(jù)平臺(tái)經(jīng)

驗(yàn)，貴行數(shù)據(jù)平臺(tái)的設(shè)計(jì)原則體現(xiàn)如下原則：標(biāo)

準(zhǔn)規(guī)范，可擴(kuò)展，開放，前瞻，高性能，穩(wěn)定，

安全，易維護(hù)，實(shí)用，可管理，高可用，可重用。

第11頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

系統(tǒng)設(shè)計(jì)原則

3.1.2.1標(biāo)準(zhǔn)規(guī)范

建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴行數(shù)

據(jù)平臺(tái)的代碼標(biāo)準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計(jì)應(yīng)對(duì)有高效

數(shù)據(jù)處理要求及日常低能耗操作的兼容性數(shù)據(jù)

模型，建設(shè)符合貴行數(shù)據(jù)平臺(tái)遠(yuǎn)景目標(biāo)利益的技

術(shù)管理體系。

1.數(shù)據(jù)模型：制定表名、字段名命名

規(guī)范標(biāo)準(zhǔn)。設(shè)計(jì)基礎(chǔ)標(biāo)準(zhǔn)模型及基于基礎(chǔ)數(shù)

據(jù)模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型

標(biāo)準(zhǔn)。建立數(shù)據(jù)質(zhì)量管理機(jī)制，提高貴行數(shù)

據(jù)平臺(tái)的數(shù)據(jù)質(zhì)量,也是數(shù)據(jù)平臺(tái)邁向標(biāo)準(zhǔn)

第12頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

化規(guī)范化管理的重要環(huán)節(jié)。

2.ETL處理：將ETL處理程序分類化，

整理規(guī)范出各種ETL處理策略。確保ETL

開發(fā)人員所開發(fā)的ETL程序遵循中信總行

的規(guī)范。

3.ETL管理：建設(shè)ETL管理平臺(tái)，將其

納入貴行的ETL管理體系，形成有貴行特色

的ETL管理制度。

3.1.2.2開放性

系統(tǒng)建設(shè)遵循開放原則,適應(yīng)未來業(yè)務(wù)和技術(shù)

發(fā)展，與現(xiàn)有系統(tǒng)進(jìn)行有序的數(shù)據(jù)交互。

1.數(shù)據(jù)模型：數(shù)據(jù)模型的設(shè)計(jì)盡量接

口化，關(guān)系與抽象并存。應(yīng)對(duì)新出現(xiàn)的業(yè)務(wù)

種類，同時(shí)能夠兼容與現(xiàn)有系統(tǒng)進(jìn)行數(shù)據(jù)交

互，完成輸入與輸出系統(tǒng)的角色。

2.ETL處理：ETL程序處理邏輯規(guī)則模

塊化，應(yīng)對(duì)日益更新的技術(shù)發(fā)展及業(yè)務(wù)變

更。

3.相關(guān)產(chǎn)品：項(xiàng)目開發(fā)過程中使用的

宇信易誠(chéng)工具類產(chǎn)品可以提供客戶相關(guān)開

發(fā)源碼進(jìn)行二次開發(fā)。

第13頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

4.后續(xù)開發(fā)：項(xiàng)目組再實(shí)施過程中，

會(huì)對(duì)客戶方科技人員進(jìn)行相關(guān)的技術(shù)培訓(xùn)L

使科技人員能夠獨(dú)立的進(jìn)行ETL程序的開

發(fā)、報(bào)表開發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配

曾箋箋

旦守守

3.1.2.3可擴(kuò)展性

可擴(kuò)展性是指數(shù)據(jù)平臺(tái)能夠支持貴行業(yè)務(wù)系

統(tǒng)和應(yīng)用系統(tǒng)發(fā)展的需要。在本項(xiàng)目中，具體要

從以下幾個(gè)方面考慮系統(tǒng)的可擴(kuò)展性：

1.數(shù)據(jù)模型：設(shè)計(jì)基礎(chǔ)數(shù)據(jù)層和數(shù)據(jù)

預(yù)處理層模型時(shí)應(yīng)充分考慮，除了能夠容納

現(xiàn)有源系統(tǒng)的結(jié)構(gòu)設(shè)計(jì),還應(yīng)該盡可能滿足

即將要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時(shí)還需

要制定一套合理的模型設(shè)計(jì)規(guī)范，使得新上

線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型能很方便地?cái)U(kuò)展到

數(shù)據(jù)平臺(tái)。

2.ETL處理：需要考慮兩個(gè)方面的擴(kuò)展

性,增加新的ETL任務(wù)處理以及原有任務(wù)所

處理的數(shù)據(jù)規(guī)模加大，ETL處理架構(gòu)必須能

適應(yīng)新的變化，需要考慮通過集群的方式來

擴(kuò)展。

第14頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

3.數(shù)據(jù)交換平臺(tái)：在設(shè)計(jì)時(shí)應(yīng)考慮，

隨著分發(fā)數(shù)據(jù)規(guī)模的擴(kuò)大和推送節(jié)點(diǎn)的增

多，對(duì)交換處理和傳輸處理的性能要求會(huì)越

來越高，必須支持集群的方式進(jìn)行擴(kuò)展。此

外，數(shù)據(jù)交換平臺(tái)還必須提供二次開發(fā)接

口，支持SOA服務(wù)模式，可以進(jìn)行應(yīng)用級(jí)的

擴(kuò)展。

4.服務(wù)器：平臺(tái)中的每一種服務(wù)器都

使用集群擴(kuò)展模式,可以通過對(duì)服務(wù)器數(shù)量

的增加獲得更好的數(shù)據(jù)處理和查詢能力。

3.1.2.4高性能

高性能是指在硬件資源有限的情況下,數(shù)據(jù)平

臺(tái)應(yīng)盡可能的支持盡量多的數(shù)據(jù)服務(wù)需求，還能

承受用戶峰值時(shí)間段壓力，使得數(shù)據(jù)平臺(tái)能夠滿

足分行范圍內(nèi)的使用者。在本項(xiàng)目中，高性能的

設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)方面：

1.ETL處理：在進(jìn)行ETL設(shè)計(jì)時(shí)，需要

考慮大數(shù)據(jù)量條件下的處理效率,確保在規(guī)

定的時(shí)間窗口內(nèi)完成ETL處理,特別是一些

特殊日期的ETL處理,例如結(jié)息日、月底等。

2.數(shù)據(jù)交換平臺(tái)：需要考慮在大數(shù)據(jù)

第15頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

量條件下的文件傳輸效率,主要也是體現(xiàn)在

一些特殊日期條件下的文件傳輸，以及特殊

情況下的全量文件傳輸。

3.數(shù)據(jù)庫(kù)設(shè)計(jì)：對(duì)一些海量數(shù)據(jù)表或

頻繁訪問的數(shù)據(jù)表,在數(shù)據(jù)庫(kù)設(shè)計(jì)的時(shí)候需

要從數(shù)據(jù)庫(kù)設(shè)計(jì)的角度考慮性能優(yōu)化機(jī)制。

3.1.2.5可管理性

這里所說的可管理性主要是指系統(tǒng)運(yùn)維的可

管理性。比如：在實(shí)際運(yùn)行過程中，系統(tǒng)能很方

便地對(duì)系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，查看數(shù)據(jù)質(zhì)量

情況；出現(xiàn)系統(tǒng)異常時(shí)，能及時(shí)收到消息通知，

并有一套完善的流程來處理數(shù)據(jù)或系統(tǒng)方面的

異常等等。在本項(xiàng)目中，可管理性的設(shè)計(jì)具體表

現(xiàn)在以下幾個(gè)方面：

1.ETL處理：在ETL的總體設(shè)計(jì)時(shí)，確

保系統(tǒng)可以監(jiān)控全過程的運(yùn)行狀態(tài)，并能對(duì)

異常情況及時(shí)提醒,保存完整的處理日志信

息，并設(shè)計(jì)相應(yīng)的錯(cuò)誤處理流程。另外，還

需要考慮ETL任務(wù)配置的直觀圖形化。

2.數(shù)據(jù)管控：在總體設(shè)計(jì)時(shí)，應(yīng)充分

考慮數(shù)據(jù)的復(fù)雜性，必須能做到多而不亂，

第16頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

能夠清楚了解系統(tǒng)每一個(gè)應(yīng)用的轉(zhuǎn)換邏輯

和數(shù)據(jù)含義，在任何環(huán)節(jié)有變動(dòng)時(shí)，能迅速

的反饋?zhàn)儎?dòng)產(chǎn)生的影響。

3.數(shù)據(jù)交換平臺(tái)：在總體設(shè)計(jì)時(shí)，需

要充分考慮數(shù)據(jù)交換任務(wù)易于配置，傳輸結(jié)

果易于監(jiān)控。

3.1.2.6高可用性

高可用性是指系統(tǒng)在一些特殊情況發(fā)生時(shí),依

靠架構(gòu)的有效設(shè)計(jì)，仍然能保證正常運(yùn)行。在本

項(xiàng)目中，高可用性的設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)方

面：

1.數(shù)據(jù)模型的可用性：模型的設(shè)計(jì)應(yīng)

能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)的變化對(duì)數(shù)據(jù)

平臺(tái)集成平臺(tái)和將在其上建設(shè)的分析應(yīng)用

系統(tǒng)帶來影響O局部數(shù)據(jù)模型的擴(kuò)展不會(huì)對(duì)

其它數(shù)據(jù)模型產(chǎn)生大的影響。

2.ETL處理的可用性：應(yīng)充分考慮各源

系統(tǒng)的時(shí)間窗口可能存在不一致的情況,避

免出現(xiàn)一個(gè)系統(tǒng)的數(shù)據(jù)時(shí)間窗口沒有滿足

條件，影響到其它所有系統(tǒng)的ETL處理。

3.系統(tǒng)備份：當(dāng)正在運(yùn)行的系統(tǒng)出現(xiàn)

第17頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

異常時(shí)，系統(tǒng)應(yīng)具備相應(yīng)的備份恢復(fù)機(jī)制，

確保系統(tǒng)能及時(shí)恢復(fù)處理。

4.各個(gè)功能模塊設(shè)計(jì)時(shí)應(yīng)考慮自己的

運(yùn)行管理流程。

3.1.2.7安全性

在本項(xiàng)目中，安全性主要包括兩個(gè)層面的含

義：一是防止數(shù)據(jù)服務(wù)體系的數(shù)據(jù)資源被惡意修

改和盜??；二是防止數(shù)據(jù)在傳輸過程中被截留和

篡改。在本項(xiàng)目中，安全性的設(shè)計(jì)具體體現(xiàn)在以

下方面：

1.對(duì)于第一個(gè)層面的安全性，主要依

賴于各應(yīng)用系統(tǒng)對(duì)用戶角色和功能權(quán)限的

控制。因此，在編寫基于數(shù)據(jù)服務(wù)體系的應(yīng)

用系統(tǒng)設(shè)計(jì)開發(fā)規(guī)范時(shí),應(yīng)明確要求應(yīng)用系

統(tǒng)必須充分考慮安全性的設(shè)計(jì)。若貴行建設(shè)

有面向管理系統(tǒng)的統(tǒng)一用戶認(rèn)證平臺(tái)（UA）,

可以考慮通過UA來管理用戶權(quán)限。

對(duì)于數(shù)據(jù)范圍方面的安全控制要求,在梳理

出貴行數(shù)據(jù)平臺(tái)應(yīng)用需求與目標(biāo)用戶權(quán)限

關(guān)系之后，通過在程序中對(duì)數(shù)據(jù)進(jìn)行過濾，

用戶無(wú)法涉及其權(quán)限范圍以外的數(shù)據(jù)，以確

第18頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

保數(shù)據(jù)范圍的安全。數(shù)據(jù)過濾程序可抽象為

一個(gè)準(zhǔn)確、高效、易管理維護(hù)的過濾器。

2.對(duì)于第二個(gè)層面的安全性，主要依

賴于文件傳輸過程中的加解密處理。因此，

數(shù)據(jù)交換平臺(tái)在進(jìn)行總體設(shè)計(jì)的時(shí)候需要

充分考慮數(shù)據(jù)傳輸過程中的安全性。

3.此外，系統(tǒng)在進(jìn)行網(wǎng)絡(luò)規(guī)劃時(shí)，對(duì)

系統(tǒng)的安全級(jí)別也需要進(jìn)行分析，必要時(shí)需

要提高網(wǎng)絡(luò)的安全級(jí)別，從物理設(shè)計(jì)層面提

高系統(tǒng)的安全性。

3.1.2.8可重用性

可重用性是指盡可能避免貴行數(shù)據(jù)服務(wù)體系

建設(shè)的重復(fù)投入，應(yīng)盡可能考慮包括物理設(shè)備、

系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等

多個(gè)層面上的復(fù)用。在本項(xiàng)目中，可重用性的設(shè)

計(jì)具體表現(xiàn)在以下幾個(gè)方面：

1.ETL功能組件：在設(shè)計(jì)ETL任務(wù)處理

流程時(shí)，要分析ETL任務(wù)的各個(gè)環(huán)節(jié)，盡可

能找出一些公用的ETL組件,進(jìn)行必要的封

裝，便于在模塊內(nèi)復(fù)用，進(jìn)而推廣到項(xiàng)目?jī)?nèi)

進(jìn)行復(fù)用。

第19頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

2.數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型：在設(shè)計(jì)

數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型時(shí),應(yīng)充分考慮應(yīng)

用系統(tǒng)的數(shù)據(jù)加工需求,盡可能將一些共性

的加工需求在該層實(shí)現(xiàn)；并通過這種機(jī)制，

不斷擴(kuò)充和完善改成的數(shù)據(jù)模型，實(shí)現(xiàn)加工

數(shù)據(jù)的復(fù)用。

3.知識(shí)庫(kù)的復(fù)用：在ETL管理平臺(tái)中,

應(yīng)充分考慮知識(shí)庫(kù)的管理和使用流程，以便

運(yùn)維人員和業(yè)務(wù)人員復(fù)用知識(shí)庫(kù)的經(jīng)驗(yàn),來

解決和處理一些日常的問題。

4.組件復(fù)用：各模塊在開發(fā)的過程中,

注意提煉出一些可用共用的公共組件,在模

塊內(nèi)實(shí)現(xiàn)復(fù)用，甚至在模塊間實(shí)現(xiàn)復(fù)用。

5.硬件部署：在進(jìn)行硬件部署的規(guī)劃

時(shí)，應(yīng)充分對(duì)系統(tǒng)的處理規(guī)模進(jìn)行分析。如

果性能允許的話，盡可能集中部署，使用現(xiàn)

有設(shè)備，在硬件方面實(shí)現(xiàn)復(fù)用。

3.2數(shù)據(jù)平臺(tái)技術(shù)體系

3.2.1數(shù)據(jù)平臺(tái)邏輯架構(gòu)

第20頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書—技術(shù)部分

數(shù)據(jù)倉(cāng)庫(kù)

領(lǐng)

■導(dǎo)

主

應(yīng)

共

?層

用

數(shù)

乎

數(shù)

模

集

據(jù)I

型

據(jù)

市

tf遛

緩Itfl

層

層

分

沖

(工

E發(fā)

層

D層

W平

)G

一

D臺(tái)

?

SI操

I作

層

系

矮

管

理

ODS員

貴行數(shù)據(jù)平臺(tái)邏輯架構(gòu)圖

上圖為宇信易誠(chéng)對(duì)貴行數(shù)據(jù)平臺(tái)的邏輯架構(gòu)

建議設(shè)計(jì)圖。從邏輯架構(gòu)上看，數(shù)據(jù)平臺(tái)主要分

為下面幾個(gè)部分：

3.2.1.1數(shù)據(jù)集成區(qū)

數(shù)據(jù)集成區(qū)為總行區(qū)域,分行只需要提出對(duì)應(yīng)

接口需求，由數(shù)據(jù)集成區(qū)下發(fā)至分行，目前的范

圍包含了總行ODS、數(shù)據(jù)倉(cāng)庫(kù)。

3.2.1.2分行分析型數(shù)據(jù)區(qū)

分行分析型數(shù)據(jù)區(qū)包含報(bào)表數(shù)據(jù)區(qū)、應(yīng)用服務(wù)

區(qū)及訪問層區(qū)；

報(bào)表數(shù)據(jù)區(qū)將總行數(shù)倉(cāng)、ODS數(shù)據(jù)經(jīng)分發(fā)平

第21頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

臺(tái)下發(fā)至分行數(shù)據(jù)進(jìn)行整合，選用宇信易誠(chéng)的

YC.LDM作為參考模型，建立數(shù)據(jù)緩沖層、基

礎(chǔ)整合層、共性加工層、應(yīng)用集市層。其中基礎(chǔ)

整合層模型是用來統(tǒng)一存儲(chǔ)整合企業(yè)所有源系

統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層數(shù)據(jù)模型主要是用來

存儲(chǔ)一些共性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同

的基礎(chǔ)數(shù)據(jù)預(yù)處理，提高數(shù)據(jù)共享程度和數(shù)據(jù)使

用效率。

應(yīng)用服務(wù)區(qū)按照?qǐng)?bào)表類別及指標(biāo)作用劃分為

固定報(bào)表、即席報(bào)表、OLAP、儀表盤等，滿足

業(yè)務(wù)報(bào)表需求。

訪問層主要對(duì)用戶角色、操作權(quán)限進(jìn)行管理;

3.2.1.3管理平臺(tái)區(qū)

管理平臺(tái)區(qū)包括任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量

三大模塊。分行需要建設(shè)自身的調(diào)度平臺(tái)?？梢?/p>

采用總行統(tǒng)一調(diào)度平臺(tái)ETLPLUS或宇信公司

USE調(diào)度產(chǎn)產(chǎn)品，實(shí)現(xiàn)對(duì)作業(yè)調(diào)度、監(jiān)控和配

制管理，支持各類ETLJOB的調(diào)度，能夠與主

流ETL工具集成，支持對(duì)調(diào)度策略、執(zhí)行過程、

錯(cuò)誤日志的實(shí)時(shí)監(jiān)控。此外ETL管理平臺(tái)支持

文件到達(dá)監(jiān)控，ETL集群部署與集群調(diào)度以及

針對(duì)各個(gè)服務(wù)器資源的運(yùn)行情況監(jiān)控。

第22頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

元數(shù)據(jù)及數(shù)據(jù)質(zhì)量使用總行元數(shù)據(jù)及數(shù)據(jù)質(zhì)

量標(biāo)準(zhǔn),，本期暫不考慮分行自建。

3.2.1.4統(tǒng)一報(bào)表展現(xiàn)平臺(tái)

統(tǒng)一報(bào)表展現(xiàn)平臺(tái)（報(bào)表平臺(tái)）是本期基于數(shù)

據(jù)平臺(tái)之上建立的一個(gè)報(bào)表系統(tǒng)，實(shí)現(xiàn)對(duì)報(bào)表的

統(tǒng)一管理以及統(tǒng)一展現(xiàn)服務(wù)，向用戶展現(xiàn)數(shù)據(jù)平

臺(tái)數(shù)據(jù)整合的成果。報(bào)表平臺(tái)在功能上需要具備

系統(tǒng)管理、報(bào)表管理、報(bào)表展現(xiàn)（業(yè)務(wù)報(bào)表需求）、

BI工具集成，報(bào)表目錄與分類，靈活查詢以及

報(bào)表統(tǒng)計(jì)等功能。通過BI工具開發(fā)的報(bào)表能夠

被報(bào)表展現(xiàn)平臺(tái)無(wú)縫集成并且以最方便、最直觀

的方式提供給報(bào)表的使用者。在本次貴行數(shù)據(jù)平

臺(tái)建設(shè)中，圖表展示、SQL靈活查詢均將作為

一類特殊的報(bào)表系統(tǒng)的應(yīng)用。由統(tǒng)一報(bào)表展現(xiàn)平

臺(tái)完成功能集成與發(fā)布，向用戶提供統(tǒng)一的訪問

入口以及應(yīng)用體驗(yàn)。

3.2.1.5ETL設(shè)計(jì)關(guān)鍵技術(shù)點(diǎn)說明

3.2.1.5.1.1ETL處理策略

原則上因機(jī)構(gòu)撤并造成的新增賬戶仍以新

增帳戶處理，賬戶間的關(guān)系通過機(jī)構(gòu)拆并表進(jìn)行

對(duì)應(yīng)。如果有臟數(shù)據(jù)，依據(jù)數(shù)據(jù)情況另行處理。

賬戶主檔表的處理：新增賬戶直接插入

第23頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

拉鏈表的處理：關(guān)閉老賬戶，以銷戶方式處

理；新增賬戶直接插入。

3..2ETL處理流程

源系統(tǒng)數(shù)據(jù)中心應(yīng)用系統(tǒng)

機(jī)構(gòu)撤并ETL處理流程

3.2.1.5.2質(zhì)量檢核

3.2.1.5.2.1ETL處理原則

質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量

提供檢核處理

檢核處理不能對(duì)ETL處理有較大性能上的

影響

檢核處理不能對(duì)時(shí)間窗口壓力過大

3.2.1.5.2.2ETL處理方法

檢核作業(yè)與該表的數(shù)據(jù)處理作業(yè)封裝在同

一個(gè)作業(yè)組中

3.2.2數(shù)據(jù)采集設(shè)計(jì)

第24頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

在數(shù)據(jù)平臺(tái)架構(gòu)中，數(shù)據(jù)采集平臺(tái)的設(shè)計(jì)主要

體現(xiàn)在T+1數(shù)據(jù)采集區(qū)技術(shù)架構(gòu)、數(shù)據(jù)補(bǔ)錄、

數(shù)據(jù)處理平臺(tái)三個(gè)方面的設(shè)計(jì)。

散■平臺(tái)

MMMivai

批量采集

EJL統(tǒng)一管理

準(zhǔn)實(shí)時(shí)采集

數(shù)據(jù)采集模式

3.2.2.1T+1數(shù)據(jù)采集

T+1數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采

集數(shù)據(jù)到數(shù)據(jù)集成平臺(tái)的源系統(tǒng)數(shù)據(jù)文件落地

區(qū)。通用的數(shù)據(jù)采集方法如下：

1.自行開發(fā)通用的數(shù)據(jù)下載平臺(tái)，將源系統(tǒng)生

產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于

核心系統(tǒng)增量數(shù)據(jù)采集。通過該模式基本上

能按需要來定制開發(fā)數(shù)據(jù)采集程序，靈活性

第25頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

大，效率也較高，同時(shí)還可以集成增量比對(duì)、

亂碼校驗(yàn)及修正、壓縮打包、拆分并發(fā)處理、

傳輸處理等功能，是一個(gè)務(wù)實(shí)的做法。但該

模式也存在一個(gè)致命的問題，那就是如何確

定增量數(shù)據(jù)的問題？如果通過數(shù)據(jù)庫(kù)日志

來獲取，難度很大，而且也并不一定可行；

如果通過數(shù)據(jù)庫(kù)結(jié)構(gòu)的某個(gè)字段來識(shí)別，這

完全取決于源系統(tǒng)最初設(shè)計(jì)時(shí)是否考慮了

增量備份的需求；不幸的是，大多數(shù)情況下,

并沒有考慮。于是，不得不采用先全量下載

的方式，然后傳送到數(shù)據(jù)采集區(qū)，再通過數(shù)

據(jù)采集區(qū)來實(shí)現(xiàn)增量對(duì)比。在這種模式下，

全量數(shù)據(jù)的傳輸無(wú)疑又是一個(gè)新的問題。事

實(shí)上，這也正是大部分?jǐn)?shù)據(jù)平臺(tái)目前面臨的

實(shí)際問題。

2.由源系統(tǒng)本身開發(fā)數(shù)據(jù)下載腳本,在本地生

成數(shù)據(jù)，然后通過文件傳輸工具發(fā)送到數(shù)據(jù)

采集區(qū)。這種模式常用于核心系統(tǒng)以外的其

他源系統(tǒng)數(shù)據(jù)采集，這主要是考慮其他源系

統(tǒng)的數(shù)據(jù)采集量不大，而且各源系統(tǒng)架構(gòu)多

樣化，不適宜采用通用的數(shù)據(jù)下載工具。這

種模式是一種主動(dòng)采集模式。

第26頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

上述兩種數(shù)據(jù)采集模式，均各有特點(diǎn)，鑒于總

行下發(fā)數(shù)據(jù)都是采集過的，分行只需要將特色系

統(tǒng)數(shù)據(jù)定時(shí)FTP下發(fā)即可。

T+1數(shù)據(jù)采集除了考慮上述采集技術(shù)外,還應(yīng)

該設(shè)計(jì)T+1數(shù)據(jù)采集區(qū)的存儲(chǔ)方式。分行數(shù)據(jù)

平臺(tái)僅需按一定的規(guī)則存儲(chǔ)不同來源基礎(chǔ)數(shù)據(jù)。

通常的做法是，數(shù)據(jù)采集區(qū)的數(shù)據(jù)以文件的方式

保存，不用加載到數(shù)據(jù)庫(kù)。這些數(shù)據(jù)文件的保存

周期大約為7天左右，最長(zhǎng)不應(yīng)超過一個(gè)數(shù)據(jù)糾

錯(cuò)周期。

3.2.2.2數(shù)據(jù)補(bǔ)錄

數(shù)據(jù)補(bǔ)錄是為了彌補(bǔ)數(shù)據(jù)源缺失或者業(yè)務(wù)系

統(tǒng)建設(shè)不完善的情況而設(shè)置特殊采集模式。在本

方案中數(shù)據(jù)補(bǔ)錄功能采用宇信易誠(chéng)開發(fā)的產(chǎn)品

(YC.RIDP)來實(shí)現(xiàn)。

數(shù)據(jù)補(bǔ)錄模塊的提供是針對(duì)不同業(yè)務(wù)數(shù)據(jù)庫(kù)

的通用數(shù)據(jù)錄入工具，包括頁(yè)面錄入和模板錄入

以及數(shù)據(jù)入庫(kù)的審批流程。支持對(duì)錄入數(shù)據(jù)的事

件處理(如新增前進(jìn)行有效性數(shù)據(jù)檢查、新增后

進(jìn)行數(shù)據(jù)平衡校驗(yàn)等，使用檢核規(guī)則來實(shí)現(xiàn))。

數(shù)據(jù)補(bǔ)錄工具服務(wù)于各部門、各機(jī)構(gòu)的數(shù)據(jù)錄

入人員。該模塊使用到“數(shù)據(jù)集管理”功能。

第27頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

3.2.2.2.1檢核規(guī)則管理

檢核規(guī)則有兩種類型:存儲(chǔ)過程、正則表達(dá)式，

是用于對(duì)錄入數(shù)據(jù)進(jìn)行合法性檢核而定義的規(guī)

則。存儲(chǔ)過程類型的檢核規(guī)則必須要有輸入?yún)?shù)

和輸出字段，其中輸入?yún)?shù)得到需要檢核的數(shù)據(jù)

的值，輸出參數(shù)返回檢核結(jié)果的標(biāo)志位。

管理員建立錄入任務(wù)的時(shí)候,可以在檢核規(guī)則

設(shè)置界面設(shè)置錄入的數(shù)據(jù)所對(duì)應(yīng)的檢核規(guī)則，可

以設(shè)置數(shù)據(jù)入庫(kù)前、入庫(kù)后、修改前、修改后等

各種檢核規(guī)則。

檢核規(guī)則管理

名稱查找匚斯建檢核雙則

—檢核規(guī)■名稱中文名稱5555-

length等值檢核正則表達(dá)式聯(lián)修改Q聊院

共垓記錄頁(yè)次：Ui頁(yè)io條球轉(zhuǎn)到第1次GO

檢核規(guī)則管理

3.2.2.2.2錄入任務(wù)管理

錄入任務(wù)是對(duì)一項(xiàng)錄入工作的總體安排,包括

錄入的目標(biāo)表、操作控制信息、使用的檢核規(guī)則、

批量錄入模板的管理和權(quán)限控制等一系列內(nèi)容。

1.目標(biāo)表：錄入的數(shù)據(jù)將被保存到這個(gè)表中，

目標(biāo)表也是一個(gè)數(shù)據(jù)集。

2.操作控制信息:控制錄入任務(wù)是否可以被新

增、修改、刪除。

3.檢核規(guī)則：用于對(duì)錄入數(shù)據(jù)進(jìn)行檢核，可設(shè)

第28頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

置在入庫(kù)前、入庫(kù)后、修改前、修改后、

任務(wù)分發(fā)前、任務(wù)分發(fā)后等時(shí)間點(diǎn)觸發(fā)

檢核過程。

4.批量錄入模板：用于批量導(dǎo)入數(shù)據(jù)。

5.權(quán)限管理：設(shè)置錄入任務(wù)的可見機(jī)構(gòu)，用于

控制權(quán)限。

錄入任務(wù)建立并且分發(fā)完畢后,管理員可通過

“權(quán)限管理”菜單下的“權(quán)限對(duì)照設(shè)置”子菜單，

來修改錄入任務(wù)的操作權(quán)限。

宇信易誠(chéng)YU5rg?g機(jī)構(gòu):宇信易誠(chéng)I樵作員：ride|崗位:系線管理員…|登錄時(shí)間:2008-06-2009:33:49|退出系統(tǒng)

。一營(yíng)而一■?￡線首理。祝用首映。任某管理。黔電小、。擰表管理。孜的先去。咦H擰布。并去排行。個(gè)人信息。幫助

::傷民在所在的驚,娼：R】DE左電可試>黔憲錄>7/任尋管理

錄入任務(wù)管理

名稱狀賽描迷操作

現(xiàn)買單可用10任務(wù)分益上修改&.崎

能否錄入可用能否錄入IG任務(wù)分發(fā)N修改&.刪除

錄入可用■任務(wù)分發(fā)N修改土城賒

數(shù)據(jù)錄入可用歐任務(wù)分發(fā)/修改&.峰

共修記錄頁(yè)次：1/1頁(yè)10條須轉(zhuǎn)到第1頁(yè)第一頁(yè)11上一頁(yè)1下一頁(yè)|：是后一頁(yè)-|1|

宇信易誠(chéng)WCtiCrg

|新建］［的］

宇信晨速做W5■司蝴所有

錄入任務(wù)管理

3.2.2.2.3數(shù)據(jù)錄入

錄入任務(wù)定義好之后,用戶可以在此界面進(jìn)行

具體數(shù)據(jù)的錄入。

第29頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)錄入

錄入任務(wù)：數(shù)據(jù)錄入選擇Exce展板：下載上傳

IDSSVALUESCORELOCATIONNOTES

夕刪除

確定取消

數(shù)據(jù)錄入

用戶也可以下載批量錄入模板,按模板樣式填

好數(shù)據(jù)之后，可以將批量錄入文件上傳至服務(wù)器

并導(dǎo)入文件中的數(shù)據(jù)。

文怦9跳耨盤）視圖s插入a）格式仙工具CD數(shù)據(jù)Q）窗口的帶助如怦,'記秀灣的汕燈登?-9X

io?回/口手國(guó)卷百書活一?：>，▲?道

窗口口M

A1▼齊B4-H4

BCDEFGiHIJKLMNO

=B4HJ10

數(shù)據(jù)錄入

3LOCATIO

IDAPPIDIDSSVALUESCORENNOTES

，

|56|

7

8

9

^

|

^

蜀

如果S入數(shù)據(jù)超出第一格指定的區(qū)域，諾修改第一格的有效區(qū)域箱圖:第

舞

二格注擇，0一期的、1一修改、2一■除

01

符

善

[24

豆

B-

窗

JZIV

>x\數(shù)據(jù)錄入/|<>|

解s

批?錄入模板

如果管理員將錄入任務(wù)定義成不需要審批的

狀態(tài)，那么錄入員將數(shù)據(jù)寫入臨時(shí)數(shù)據(jù)后，就可

以直接將它們提交入庫(kù)。

3.2.2.2.4查詢操作

用戶可查詢錄入任務(wù)的正式數(shù)據(jù)和臨時(shí)數(shù)據(jù)。

第30頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

可對(duì)錄入任務(wù)的各個(gè)查詢字段輸入條件來篩選

數(shù)據(jù)。

數(shù)據(jù)錄入

查詢手段

VALUE

SCORE

查詢位置理摩、（臨時(shí)數(shù)據(jù)為在臨時(shí)表中的數(shù)據(jù)，正式數(shù)據(jù)為用尸要錄入的目標(biāo)表中的數(shù)據(jù)）

其做條件

錄入日期臼-0*必埴

當(dāng)前狀態(tài)；未提交v

確定取洎

錄入查詢

查詢臨時(shí)數(shù)據(jù)時(shí)，還可以對(duì)“未提交”或者“不

通過”的數(shù)據(jù)進(jìn)行審批操作。

3.2.2.2.5錄入任務(wù)審批

用于對(duì)用戶錄入的臨時(shí)表數(shù)據(jù)進(jìn)行審核及入

庫(kù)操作。

用戶錄入的數(shù)據(jù)存放在臨時(shí)表中，需要對(duì)臨時(shí)

表數(shù)據(jù)審核之后，才可以正式入庫(kù)。

數(shù)據(jù)錄入

名亦數(shù)薪錄入行皴100000000/布日期2008-03-14|新增闌

|IDAPP1DIDSSWALUESCORELOCATIONNOTES5s-

共0條記錄頁(yè)次：1/110條須轉(zhuǎn)到第1頁(yè)刷新

返回提交審批

錄入審批

3.3數(shù)據(jù)平臺(tái)數(shù)據(jù)體系

3.3.1數(shù)據(jù)架構(gòu)設(shè)計(jì)

第31頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)

數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)上可分為以下層次：

?源系統(tǒng)數(shù)據(jù)落區(qū)

?緩沖數(shù)據(jù)層(數(shù)據(jù)平臺(tái)-ODM)

?基礎(chǔ)整合層(FDM)

?共性加工層(ADM)

?數(shù)據(jù)集市層(MDM)

3.3.1.1源系統(tǒng)數(shù)據(jù)落地區(qū)

貴行數(shù)據(jù)平臺(tái)的數(shù)據(jù)來源將囊括總行下發(fā)數(shù)

據(jù)、貴行主要系統(tǒng)模塊，包括公司、零售、同業(yè)、

第32頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

績(jī)效、運(yùn)營(yíng)、人力資源多個(gè)子模塊等。數(shù)據(jù)平臺(tái)

每日將總行的增量數(shù)據(jù)將首先以文件形式落地

在源系統(tǒng)數(shù)據(jù)洛地區(qū)內(nèi)，每日的數(shù)據(jù)文件以系統(tǒng)

+日期的形式存儲(chǔ)在特定的文件目錄內(nèi)，之后由

數(shù)據(jù)平臺(tái)的數(shù)據(jù)加載程序完成從文件向數(shù)據(jù)庫(kù)

貼源區(qū)裝載的過程。源系統(tǒng)數(shù)據(jù)落地區(qū)的文件需

要保留一定的糾錯(cuò)周期，一般保留周期為1周“

個(gè)月。

3.3.1.2緩沖數(shù)據(jù)層(ODM)

該層本質(zhì)上是業(yè)務(wù)系統(tǒng)、總行下發(fā)數(shù)據(jù)與數(shù)據(jù)

平臺(tái)之間的中間緩存層次，有以下特點(diǎn)：

?對(duì)接總行ODS、倉(cāng)庫(kù)下發(fā)的主題及匯總數(shù)

據(jù)

?基于分行特色業(yè)務(wù)系統(tǒng)的整理和分析,按

照業(yè)務(wù)流程進(jìn)行梳理對(duì)關(guān)鍵業(yè)務(wù)及相關(guān)

信息進(jìn)行抽取整合；

?可按照需要進(jìn)行必要的裁剪但不作轉(zhuǎn)換

和聚合處理；

?不保留歷史信息，每日增量、全量業(yè)務(wù)信

息；

?緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過標(biāo)準(zhǔn)化的,在該

入庫(kù)過程進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理動(dòng)作。

第33頁(yè)

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

緩沖層的存儲(chǔ)周期一般僅作為緩沖處理保留周

期為1天。

3.3.1.3基礎(chǔ)整合層(FDM)

基礎(chǔ)整合層(FDM)基于緩沖層主題或非主

題數(shù)據(jù)，進(jìn)行處理和轉(zhuǎn)化。總行下發(fā)的ODS、

倉(cāng)庫(kù)是經(jīng)過了標(biāo)準(zhǔn)化處理后的，可以直接進(jìn)行主

題存儲(chǔ)。針對(duì)