數(shù)據(jù)治理全攻略

數(shù)字化轉(zhuǎn)型-數(shù)據(jù)治理全攻略b第一章為什么進行數(shù)據(jù)治理第二章與數(shù)字化轉(zhuǎn)型關(guān)系第五章如何實施數(shù)據(jù)治理第三章

DAMA數(shù)據(jù)治理參考第四章數(shù)據(jù)治理主要內(nèi)容CO

NT

E

NTS

目錄2n

數(shù)據(jù)如石油，也是數(shù)字經(jīng)濟的基礎(chǔ)；但是如果沒有管理，

數(shù)據(jù)有可能會成為巨大的風(fēng)險，糟糕的油質(zhì)將導(dǎo)致

汽車的拋錨。n

數(shù)據(jù)如人體內(nèi)流動的血液：血液如有雜質(zhì)，血液流動收

影響；血液如壞掉，人體無法獲得營養(yǎng)；人的結(jié)果可得

而知。企業(yè)數(shù)據(jù)管理的重要性n

信息化建設(shè)的實踐真理：三分技術(shù)、七分管理、十二分?jǐn)?shù)據(jù)3大數(shù)據(jù)的核心，理解數(shù)據(jù)，通過數(shù)據(jù)處理創(chuàng)造價值?

Gartner研究了企業(yè)數(shù)字化轉(zhuǎn)型中的關(guān)鍵問題后發(fā)現(xiàn)：?大部分管理者關(guān)注的技術(shù)問題相當(dāng)于水面上的冰山?少部分管理者關(guān)注的企業(yè)轉(zhuǎn)型問題深埋在水面之下?水面之下的冰山對企業(yè)數(shù)字化轉(zhuǎn)型的價值影響15倍于水面之上的冰山在數(shù)據(jù)的海洋里挖掘和探索未知，填補空白，創(chuàng)造價值你不知道的事情比你知道的事情更重要實時聯(lián)動隨時可取看得見看得懂共享互通技術(shù)保障A數(shù)據(jù)在線…價值數(shù)據(jù)價值數(shù)據(jù)價值數(shù)據(jù)價值數(shù)據(jù)4CDB很多CIO、CDO對于數(shù)據(jù)如何管理依然很迷茫:數(shù)據(jù)團隊怎么建設(shè)?數(shù)據(jù)管理應(yīng)該制定哪些制度?數(shù)據(jù)管理應(yīng)該具有哪些職能?數(shù)據(jù)管理怎樣導(dǎo)入企業(yè)、扎實落地?以前的工作做得好不好?處于什水平?未來應(yīng)該往哪個方向去發(fā)展?……大數(shù)據(jù)時代的業(yè)界共識:數(shù)據(jù)如石油一樣成為戰(zhàn)略資。如何保障輸油管道暢通無阻、油品油質(zhì)滿足應(yīng)用所需?大數(shù)

據(jù)究意是大價值還是大麻煩?大數(shù)據(jù)時代到來，數(shù)據(jù)治理仍在路上5在各個部門，存儲在不同的數(shù)據(jù)倉庫中，標(biāo)準(zhǔn)不一致。l“

煙筒式

”應(yīng)用，找不到數(shù)據(jù)，更難拿到數(shù)據(jù)。數(shù)據(jù)質(zhì)量參差不齊，難以融合，難以使用l

多數(shù)據(jù)源，各IT系統(tǒng)間數(shù)據(jù)的調(diào)用不合理，數(shù)據(jù)流轉(zhuǎn)不暢

通，無法對接，數(shù)據(jù)重復(fù)錄入常見的問題數(shù)據(jù)“孤島

”，找數(shù)據(jù)難，拿數(shù)據(jù)更難l企業(yè)啟動大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化，數(shù)據(jù)散落傳統(tǒng)企業(yè)常見的數(shù)據(jù)現(xiàn)狀與問題零散的數(shù)據(jù)能進行及時控制數(shù)據(jù)管理的責(zé)任缺位，職責(zé)不清l

問題找不到責(zé)任人，問題無法得到解決03

數(shù)據(jù)通道不暢，無法及時獲取數(shù)據(jù)l各IT系統(tǒng)間缺少數(shù)據(jù)共享機制，系統(tǒng)間數(shù)據(jù)的相互影響不l缺乏企業(yè)級的數(shù)據(jù)管理組織體系，不能從全局規(guī)劃，并指導(dǎo)具體的數(shù)據(jù)質(zhì)量提升工作

04

01

02

601缺乏完整體系化的數(shù)據(jù)開發(fā)服務(wù)平臺傳統(tǒng)的大數(shù)據(jù)建設(shè)，缺乏統(tǒng)一體系化建設(shè)規(guī)劃，且往往通過拼接不同廠家的產(chǎn)品和工具來完成，這期間需要花費大量時間來做的異構(gòu)產(chǎn)品的集成適配，費時費力，且

運維成本較高；02治理能力不足缺乏大數(shù)據(jù)治理與管理的方法論，不具備承載數(shù)據(jù)標(biāo)準(zhǔn)的平臺技術(shù)設(shè)施，缺乏可衡量、可管控的數(shù)據(jù)質(zhì)量，難以形成可見、可控、可用、可信的數(shù)據(jù)資產(chǎn)服務(wù)能力；03應(yīng)用價值低受制于傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫發(fā)展的技術(shù)路線的制約，在新的互聯(lián)網(wǎng)背景下，存量客戶的優(yōu)化、激活、流失預(yù)警，增量客戶的獲客、提升、傳播的體系仍欠缺，產(chǎn)品、權(quán)益豐富但同質(zhì)化程度比較高，難以針對客戶尋求差異

化的營銷方案觸達(dá)。開發(fā)人員倉庫那么多數(shù)據(jù)，都有什么數(shù)據(jù)？數(shù)據(jù)存儲

在哪？數(shù)據(jù)的含義是什么？業(yè)務(wù)快速要出結(jié)果，這么多開發(fā)工具適配真復(fù)雜，猶如大海撈針業(yè)務(wù)人員倉庫那么多數(shù)據(jù)，都支持了哪些應(yīng)用？數(shù)據(jù)

價值如何？這些數(shù)據(jù)還能用來做什么？技術(shù)人員能不能快速的給我提供彈藥。

黑盒子規(guī)劃人員倉庫那么多數(shù)據(jù)，都有多少數(shù)據(jù)？占了多少存儲

?增長速度怎么樣？

“不識廬山真面目”企業(yè)不同數(shù)據(jù)角色的人遇到的問題不同運維人員負(fù)責(zé)各自的應(yīng)用和數(shù)據(jù)維護，倉庫中其他的數(shù)據(jù)不清楚。

冰山一角?

運維人員7管理數(shù)據(jù)資產(chǎn)，決勝智能時代

數(shù)據(jù)治理是人工智能的基礎(chǔ)，數(shù)據(jù)治理的目的是在業(yè)務(wù)價值驅(qū)動下提供高質(zhì)量的大數(shù)據(jù)，而人工智能本身是大數(shù)據(jù)應(yīng)用的一種商業(yè)模式，數(shù)據(jù)治理和人工智能就好比一枚硬幣的正反面一樣密不可分，數(shù)據(jù)治理強調(diào)修煉內(nèi)功，人工智能側(cè)重預(yù)測未來。?數(shù)字化正在改變著全球企業(yè)對業(yè)務(wù)和技術(shù)的認(rèn)知，數(shù)據(jù)將成為企業(yè)的戰(zhàn)略資產(chǎn)，是企業(yè)卓越運營的核心要素之

一

。

?以價值為導(dǎo)向的大數(shù)據(jù)應(yīng)用是企業(yè)級數(shù)據(jù)資產(chǎn)變現(xiàn)的核心。?

大數(shù)據(jù)和人工智能的源頭是數(shù)據(jù)，建立科學(xué)的數(shù)據(jù)治理體系，包括數(shù)據(jù)的質(zhì)量規(guī)

范、制度政策、管理流程、職責(zé)定位和技術(shù)管控工具。?數(shù)據(jù)治理體系是對商業(yè)價值和用戶隱私，以及企業(yè)長期利益和短期利益選擇的基數(shù)據(jù)治理數(shù)據(jù)數(shù)據(jù)資產(chǎn)挖掘數(shù)據(jù)資產(chǎn)價值礎(chǔ)，建立數(shù)據(jù)治理體系是一個長期的過程，對于大型科技企業(yè)，都應(yīng)當(dāng)在數(shù)據(jù)治理的規(guī)范和約束下應(yīng)用大數(shù)據(jù)。人工智能服務(wù)8b

第二章與數(shù)字化轉(zhuǎn)型關(guān)系第一章為什么進行數(shù)據(jù)治理第五章如何實施數(shù)據(jù)治理第三章

DAMA數(shù)據(jù)治理參考第四章數(shù)據(jù)治理主要內(nèi)容CO

NT

E

NTS

目錄9什么是數(shù)據(jù)治理n

數(shù)據(jù)治理（DataGovernance）是組織中涉及數(shù)據(jù)使用的一整套管理行為。由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行，關(guān)于如何制定和實施針對整個企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和流程。n

國際數(shù)據(jù)管理協(xié)會（

DAMA）給出的定義：數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合。n

國際數(shù)據(jù)治理研究所（DGI）給出的定義：數(shù)據(jù)治理是一個通過一系列信息相關(guān)的過程來實現(xiàn)決策權(quán)和職責(zé)分工的系統(tǒng)，這些過程按照達(dá)成共識的模型來執(zhí)行，該模型描述了誰（Who）能根據(jù)什么信息，在什么時間（When）和情況（Where）下，用什么方法（How），采取什么行動（What）。n

數(shù)據(jù)治理的最終目標(biāo)是提升數(shù)據(jù)的價值，數(shù)據(jù)治理非常必要，是企業(yè)實現(xiàn)數(shù)字戰(zhàn)略的基礎(chǔ)，它是一個管

理體系，包括組織、制度、流程、工具。10數(shù)據(jù)治理是實現(xiàn)數(shù)據(jù)資產(chǎn)的重要措施n

企業(yè)數(shù)字化轉(zhuǎn)型趨勢是“

數(shù)據(jù)

”

引領(lǐng)業(yè)務(wù)變革，數(shù)據(jù)集中管控成為趨勢，

實現(xiàn)用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新，以數(shù)據(jù)重構(gòu)企業(yè)智慧，造就一個數(shù)字化的企業(yè)，使數(shù)據(jù)的管理、數(shù)據(jù)的分析成為企業(yè)價值鏈的一部分，實現(xiàn)卓越運營。如何做好數(shù)據(jù)共享和數(shù)據(jù)分析、如何發(fā)揮數(shù)據(jù)資產(chǎn)價值最大化，數(shù)據(jù)治理是回答以上問題的切入點。數(shù)據(jù)記錄業(yè)務(wù)事實，反映業(yè)務(wù)原始特征業(yè)務(wù)

合同簽訂生產(chǎn)制造發(fā)貨物流確認(rèn)收貨收入確認(rèn)匯聚數(shù)據(jù)治理信息對數(shù)據(jù)進行整合、轉(zhuǎn)換、清洗、聯(lián)接智慧/決策洞察趨勢，推薦最佳策略&系統(tǒng)自我控制并解決問題知識基于對事實和成果的經(jīng)驗總結(jié)，經(jīng)過業(yè)務(wù)實踐驗證科學(xué)建模、深度學(xué)

習(xí)、自適調(diào)優(yōu)對準(zhǔn)目標(biāo)，進行

5W1H捷消費掃碼

設(shè)備數(shù)

據(jù)

價

值

低效率提升

，促進增長解釋、組織數(shù)據(jù)敏攝像頭文本

解析語言

識別傳感器/聯(lián)接感知智能高11能力數(shù)字化、

平臺化服務(wù)化、共享復(fù)用化數(shù)字化平臺（中臺）價值資產(chǎn)數(shù)據(jù)治理數(shù)字化轉(zhuǎn)型目標(biāo)數(shù)字化轉(zhuǎn)型主要依靠數(shù)字化平臺實現(xiàn)新型能力模塊化、數(shù)字化、平臺化，共享復(fù)用化；同時通過數(shù)據(jù)治理把數(shù)據(jù)轉(zhuǎn)化成有價值的資產(chǎn)，為平臺賦能和數(shù)字化轉(zhuǎn)型能打下堅實基礎(chǔ)數(shù)字化平臺數(shù)字化運營

數(shù)

服字務(wù)化轉(zhuǎn)型頂

字設(shè)化

態(tài)

數(shù)字化創(chuàng)新備注：數(shù)據(jù)中臺和數(shù)據(jù)治理沒有統(tǒng)一規(guī)范的定義，二者沒有嚴(yán)格的區(qū)分；某種程度廣義的數(shù)據(jù)中臺包含數(shù)據(jù)治理。

12數(shù)字化文化與組織數(shù)據(jù)變?yōu)橛袃r值資產(chǎn)高數(shù)字化

治理策劃組織文化數(shù)據(jù)管理

方式組織機制組織改進評測支持、實施與

運行流程數(shù)據(jù)治理和

數(shù)據(jù)中臺戰(zhàn)略實現(xiàn)可持續(xù)競爭合作優(yōu)

勢獲取業(yè)務(wù)模式新型能力可持續(xù)競爭合

作優(yōu)勢需求價值模式數(shù)字業(yè)

務(wù)培育業(yè)務(wù)創(chuàng)新

和轉(zhuǎn)型新型能力識別新型能

力（數(shù)據(jù)）治理體系是數(shù)字化轉(zhuǎn)型過程方法重要步驟技術(shù)通過方案，利用PDCA持續(xù)打造新型能力戰(zhàn)略的實現(xiàn)和業(yè)務(wù)能力求業(yè)到務(wù)

化系統(tǒng)性解決方案從戰(zhàn)略的要業(yè)務(wù)創(chuàng)新轉(zhuǎn)型業(yè)務(wù)場景新型能力賦能業(yè)務(wù)創(chuàng)新轉(zhuǎn)型系統(tǒng)性解決方案

聯(lián)動機制業(yè)務(wù)創(chuàng)新轉(zhuǎn)型過

程聯(lián)動機制新型能力治理體系過程

聯(lián)動機制發(fā)展戰(zhàn)略過程

聯(lián)動機制發(fā)展戰(zhàn)略新型能力過程

能動機制治理體系的提升持續(xù)打造新型能力能力主線13數(shù)據(jù)資產(chǎn)管理平臺是利用數(shù)據(jù)治理形成的資產(chǎn)為前臺賦能n

數(shù)據(jù)資產(chǎn)管理平臺從后臺及業(yè)務(wù)中臺將數(shù)據(jù)匯入,進行數(shù)據(jù)的共享融合、組織處理、建模分析、管理治理和服務(wù)應(yīng)用,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)口徑,以API的方式提供服務(wù),是綜合性數(shù)據(jù)能力平臺。數(shù)據(jù)中臺為前臺業(yè)務(wù)部門門提供決策快速響應(yīng)、精細(xì)化運營及應(yīng)用支撐等,讓數(shù)據(jù)業(yè)務(wù)化,避免”數(shù)據(jù)孤島”的出現(xiàn),提升業(yè)務(wù)效率,更好地驅(qū)動業(yè)務(wù)發(fā)展和創(chuàng)新。n

數(shù)據(jù)資產(chǎn)管理平臺包含數(shù)倉體系、數(shù)據(jù)服務(wù)集等,是一套數(shù)據(jù)運營機制,加速從數(shù)據(jù)到數(shù)據(jù)資產(chǎn)的價值轉(zhuǎn)變,決策模式由”經(jīng)驗驅(qū)

動”向“分析驅(qū)動”轉(zhuǎn)變。數(shù)據(jù)治理層數(shù)據(jù)計算層服務(wù)層服務(wù)接口智能BI多維分析數(shù)倉體系數(shù)據(jù)資產(chǎn)層

↓

!

!數(shù)據(jù)應(yīng)用層數(shù)據(jù)資產(chǎn)化

數(shù)據(jù)整合數(shù)據(jù)清洗數(shù)據(jù)沉淀業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)服務(wù)集資產(chǎn)價值化

數(shù)據(jù)采集層

離線計算實時處理流式計算Kafka數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清洗數(shù)據(jù)匯總ODS數(shù)據(jù)資產(chǎn)管理平臺與數(shù)據(jù)治理流程數(shù)據(jù)目錄

數(shù)據(jù)標(biāo)簽

數(shù)據(jù)地圖數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全治理數(shù)據(jù)共享管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)理管數(shù)據(jù)模型管理14……華為數(shù)字化轉(zhuǎn)型對數(shù)據(jù)治理的需求：n

基于統(tǒng)一的數(shù)據(jù)管理規(guī)則，確保數(shù)據(jù)源頭質(zhì)量以及數(shù)據(jù)入湖，形成清潔、完整、

一致的數(shù)據(jù)湖。n

業(yè)務(wù)與數(shù)據(jù)雙驅(qū)動，加強數(shù)據(jù)聯(lián)接建設(shè)，并能夠以數(shù)據(jù)服務(wù)方式，靈活滿足業(yè)務(wù)自助式的數(shù)據(jù)消費訴求。n

針對匯聚的海量內(nèi)外部數(shù)據(jù)，能夠確保數(shù)據(jù)安全合規(guī)。n

不斷完善業(yè)務(wù)對象、過程與規(guī)則數(shù)字化，提升數(shù)據(jù)自動采集能力，減少人工錄入。華為數(shù)字化轉(zhuǎn)型藍(lán)圖：數(shù)據(jù)治理是實現(xiàn)數(shù)字化轉(zhuǎn)型的重要內(nèi)容部分15b第三章DAMA數(shù)據(jù)治理參考第一章為什么進行數(shù)據(jù)治理第二章與數(shù)字化轉(zhuǎn)型關(guān)系第五章如何實施數(shù)據(jù)治理第四章數(shù)據(jù)治理主要內(nèi)容CO

NT

E

NTS

目錄16

DAMA是一個全球性的專業(yè)組織，由數(shù)據(jù)管理和相關(guān)的專業(yè)人士組成，非營利性機構(gòu)，廠

商中立。

協(xié)會自1980年成立以來，一直致力于數(shù)據(jù)管

理和數(shù)字化的研究、實踐及相關(guān)知識體系的建

設(shè)，先后發(fā)行了《DAMA數(shù)據(jù)管理字典》和《DAMA數(shù)據(jù)管理的知識體系》等。該知識

體系目前已被廣泛使用，并已成為業(yè)界的標(biāo)桿

和權(quán)威。

DAMA還開發(fā)了

“數(shù)據(jù)管理專業(yè)人士認(rèn)證”

(Certified

Data

Management

Professional，

CDMP)

。該證書國際通用，行業(yè)認(rèn)可，是數(shù)

據(jù)管理領(lǐng)域最專業(yè)的職業(yè)認(rèn)證之一。

全球會員2萬人，在世界有52個分會。關(guān)于國際數(shù)據(jù)管理協(xié)會（DAMA）17數(shù)據(jù)治理兩個核心圖業(yè)務(wù)層面技術(shù)層面18數(shù)據(jù)治理主要是建章立制，對數(shù)據(jù)管理的管理n

數(shù)據(jù)治理的主要工作內(nèi)容：

制定數(shù)據(jù)戰(zhàn)略，并驅(qū)動數(shù)據(jù)治理戰(zhàn)略的執(zhí)行。

制定與數(shù)據(jù)、元數(shù)據(jù)管理、訪問、使用、安全和質(zhì)量有關(guān)的制度。

制定和強化數(shù)據(jù)質(zhì)量、數(shù)據(jù)架構(gòu)標(biāo)準(zhǔn)。

在質(zhì)量、制度和數(shù)據(jù)管理的關(guān)鍵領(lǐng)域提供監(jiān)督、審計和糾正等實際操作措施。

確保組織可以達(dá)到數(shù)據(jù)相關(guān)的監(jiān)管合規(guī)性要求。

針對數(shù)據(jù)安全、數(shù)據(jù)訪問、數(shù)據(jù)質(zhì)量、合規(guī)、數(shù)據(jù)所有權(quán)、制度、標(biāo)準(zhǔn)、術(shù)

語或者數(shù)據(jù)治理程序等識別、

定義、升級和處理問題。

牽頭數(shù)據(jù)管理項目，增強提升數(shù)據(jù)管理實踐的努力。

數(shù)據(jù)資產(chǎn)估值，設(shè)置標(biāo)準(zhǔn)和流程，以一致的方式定義數(shù)據(jù)資產(chǎn)的業(yè)務(wù)價值。19數(shù)據(jù)治理和數(shù)據(jù)管理關(guān)系?數(shù)據(jù)治理確保數(shù)據(jù)被恰當(dāng)?shù)毓芾矶皇侵苯?/p>

管理數(shù)據(jù)數(shù)據(jù)治理相當(dāng)于將監(jiān)督和執(zhí)行的職責(zé)分離；?數(shù)據(jù)治理是用來明確相關(guān)角色、工作責(zé)任和

工作流程的，確保數(shù)據(jù)資產(chǎn)能長期有序地、可持續(xù)地得到管理。20實施治理n

數(shù)據(jù)治理不可能一夜之間實現(xiàn)。治理過程包含了很多復(fù)雜性協(xié)調(diào)工作，需要對治理進行規(guī)劃，

不僅要考慮到組織的變化，而且改變得要簡單。最佳方式是創(chuàng)建一個實施路線圖，說明不同活動間的關(guān)系和整體時間框架。n

有一些數(shù)據(jù)治理工作是基礎(chǔ)性的，其他工作依賴于此。高優(yōu)先級的前期工作包括：

定義可滿足高優(yōu)先級目標(biāo)的數(shù)據(jù)治理流程。

建立業(yè)務(wù)術(shù)語表，記錄術(shù)語和標(biāo)準(zhǔn)。

協(xié)調(diào)企業(yè)架構(gòu)師和數(shù)據(jù)架構(gòu)師，幫助他們更好地理解數(shù)據(jù)和系統(tǒng)。

為數(shù)據(jù)資產(chǎn)分配財務(wù)價值，以實現(xiàn)更好的決策，并提高對數(shù)據(jù)在組織成功中所起作用的

理解。212.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄1.數(shù)據(jù)架構(gòu)第四章數(shù)據(jù)治理主要內(nèi)容22戰(zhàn)略目標(biāo)

規(guī)劃管理機制組織

制度

角色

流程核心領(lǐng)域主數(shù)據(jù)

元數(shù)據(jù)數(shù)據(jù)模型

數(shù)據(jù)安全數(shù)據(jù)治理整體框架n

從上至下指導(dǎo)，從下而上推進，形成一個多層次、多維度、多視角的全方位框架。技術(shù)工具支撐數(shù)據(jù)發(fā)現(xiàn)與分類

數(shù)據(jù)安全管理數(shù)據(jù)采集與清洗工

據(jù)管理系統(tǒng)質(zhì)量檢查工具數(shù)據(jù)存儲

數(shù)據(jù)分布數(shù)據(jù)交換數(shù)據(jù)質(zhì)量

數(shù)據(jù)服務(wù)

數(shù)據(jù)集成數(shù)據(jù)建模23企業(yè)架構(gòu)定義?Zachman:企業(yè)架構(gòu)是構(gòu)成組織的所有關(guān)鍵元素和關(guān)系的綜合描述。?TheOPENGROUP：企業(yè)架構(gòu)是關(guān)于理解所有構(gòu)成企業(yè)的不同企業(yè)元素，以及這些元素怎樣相互關(guān)聯(lián)。?IBM:企業(yè)架構(gòu)是記錄企業(yè)內(nèi)部所有信息系統(tǒng)和相互關(guān)系，以及它們?nèi)绾瓮瓿善髽I(yè)使命的藍(lán)圖。?MetaGroup：EA是一個系統(tǒng)過程，它表達(dá)了企業(yè)的關(guān)鍵業(yè)務(wù)、信息、應(yīng)用和技術(shù)戰(zhàn)略以及它們對業(yè)務(wù)功能和流程的影響。關(guān)于信息技術(shù)怎樣以及應(yīng)該如何在企業(yè)內(nèi)實施，EA提供一個一致、整體的視角，以使它與業(yè)務(wù)和市場戰(zhàn)略一致。24TOGAF-企業(yè)架構(gòu)框架n所謂TOGAF，即OpenGroup的架構(gòu)框架，是目前在商業(yè)企業(yè)領(lǐng)域較有影響的企業(yè)架構(gòu)框架之一，其關(guān)鍵是

架構(gòu)開發(fā)方法（ADM）。25企業(yè)架構(gòu)中的數(shù)據(jù)架構(gòu)（IBM）包括企業(yè)主題域模型、主數(shù)據(jù)模型、交換數(shù)據(jù)模型設(shè)計26數(shù)據(jù)治理中的數(shù)據(jù)架構(gòu)（DMA）

-企業(yè)數(shù)據(jù)資產(chǎn)的總藍(lán)圖n

最為詳細(xì)的數(shù)據(jù)架構(gòu)設(shè)計參考文件是正式的企業(yè)數(shù)據(jù)模型，包含數(shù)據(jù)名稱、數(shù)據(jù)屬性和元數(shù)據(jù)定

義、概念和邏輯實體、關(guān)系以及業(yè)務(wù)規(guī)則。物理數(shù)據(jù)模型也屬于數(shù)據(jù)架構(gòu)文件，但物理數(shù)據(jù)模型是

數(shù)據(jù)建模和設(shè)計的產(chǎn)物，

而不是數(shù)據(jù)架構(gòu)的產(chǎn)物。數(shù)據(jù)架構(gòu)的常見主要組件273.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄2.

數(shù)據(jù)建模和設(shè)計數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)第四章28數(shù)據(jù)模型建模方法

以業(yè)務(wù)（主題）需求為索引，分析詳細(xì)需求，確定主題域（即資源體系分類，

一般為兩層）

借鑒行業(yè)系統(tǒng)數(shù)據(jù)模型標(biāo)準(zhǔn)，分析業(yè)務(wù)和流程輸入輸出對數(shù)據(jù)的要求，明確各數(shù)據(jù)資源目錄下的主要數(shù)據(jù)

實體，

并且對數(shù)據(jù)實體關(guān)系進行定義，

形成企業(yè)層面完整的概念數(shù)據(jù)模型。 對概念數(shù)據(jù)模型進一步細(xì)化，確定數(shù)據(jù)實體屬性結(jié)構(gòu)，主要屬性、屬性的說明，主鍵等形成完整的邏輯數(shù)

據(jù)模型。 對邏輯數(shù)據(jù)模型進一步細(xì)化，

增加數(shù)據(jù)庫的類型指定，存儲過程、操作、觸發(fā)、視圖和索引等，形成完整

的物理數(shù)據(jù)模型。應(yīng)用分析行業(yè)數(shù)據(jù)模型標(biāo)準(zhǔn)業(yè)務(wù)(主題)分析自下向上自上向下(

邏輯

)

概念

主題域

(

物理

)數(shù)據(jù)模型29概念數(shù)據(jù)模型物理數(shù)據(jù)模型-主題域模型按照業(yè)務(wù)領(lǐng)域?qū)?shù)據(jù)進行組織和管理-主題域模型通常兩至三層，通常不反映實體和屬性-主題域模型用于：1)考察項目的數(shù)據(jù)范圍；2)確定對應(yīng)主題域的數(shù)據(jù)管家-概念模型會清晰定義數(shù)據(jù)要素及相關(guān)關(guān)系；定義重要的實體和實體之間的關(guān)系；

沒有屬性和主鍵說明-概念模型基于主題域模型和業(yè)務(wù)流程的數(shù)據(jù)需求作為輸入-概念模型用于：1）作為邏輯模型的起點，確保數(shù)據(jù)對象及其關(guān)系得以遵從；2）作為數(shù)據(jù)合規(guī)評估的依據(jù)基于概念模型，進一步細(xì)化數(shù)據(jù)實體定義和關(guān)系成為邏輯模型，它的特性包括：-包括所有的實體及實體關(guān)系-每一個實體的屬性的說明-每一個實體的主鍵的說明基于邏輯模型，確定相關(guān)數(shù)據(jù)庫類型，存儲等物理屬性，它的特性包括：-可以增加存儲過程、操作、觸發(fā)、視圖和索引等等；-完成多種數(shù)據(jù)庫的詳細(xì)物理設(shè)計，并生成相應(yīng)的數(shù)據(jù)庫對象的.sql腳本；各數(shù)據(jù)模型設(shè)計原則邏輯數(shù)據(jù)模型主題域模型30關(guān)系Relational維度Dimensional面向?qū)ο驩bject-Oriented基于事實Fact-Based基于時間Time-Based非關(guān)系型NoSQL概念模型：識別業(yè)務(wù)中相關(guān)實

體及他們之間的關(guān)系邏輯模型：是對數(shù)據(jù)需求的詳

細(xì)描述，邏輯數(shù)據(jù)模型不受任

何技術(shù)或特定實施條件的約束物理模型：描述了一種詳細(xì)的

技術(shù)解決方案，

與某一類系統(tǒng)

硬件、軟件和網(wǎng)絡(luò)工具相匹配建模方法DAMA中的數(shù)據(jù)建模和設(shè)計

消除非主屬性對鍵的部分函數(shù)依賴

消除非主屬性對鍵的傳遞函數(shù)依賴

消除主屬性對鍵的傳遞函數(shù)依賴3NF2NF1NFBCNF31黨建基礎(chǔ)_工會組織黨建基

礎(chǔ)_黨

建團員

黨組織黨員團員黨員DM分析端到端數(shù)據(jù)模型設(shè)計示例黨建基礎(chǔ)_

工會組織工會成

員全年發(fā)

展黨員

數(shù)全年發(fā)展黨員數(shù)人員學(xué)

歷學(xué)位

分布人員學(xué)歷學(xué)位分布專業(yè)技

術(shù)人員

數(shù)量專業(yè)技術(shù)人員數(shù)量新增/

離職員

工數(shù)量新增/

離職員

工數(shù)量全年減

少黨員

數(shù)全年減少黨員數(shù)高層次

人才密

度高層次人才密度單位職

工總數(shù)單位職工總數(shù)人員年

齡結(jié)構(gòu)人員年齡結(jié)構(gòu)黨工團

組織數(shù)黨工團組織數(shù)共青團

員數(shù)共青團員數(shù)工會會

員數(shù)工會會員數(shù)工會組織

黨組織

團組織主數(shù)據(jù)_相關(guān)字

典信息表團組織示例人力資

源_機構(gòu)人力資

源_人員相關(guān)字典

信息表源系統(tǒng)主數(shù)據(jù)

_人員主數(shù)據(jù)

_機構(gòu)主數(shù)據(jù)

_機構(gòu)人力資

源系統(tǒng)工會組

織黨建基

團工會成

員黨員

數(shù)黨員數(shù)機構(gòu)機構(gòu)DWD人員人員DWSODS324.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作第四章33?

識別自動化的機會并采取行動?

構(gòu)建時就考慮重用的思想?

理解并適當(dāng)使用最佳實踐?

支持?jǐn)?shù)據(jù)庫的標(biāo)準(zhǔn)需求?

為項目中的DBA角色設(shè)置期望值?

在數(shù)據(jù)生命周期中管理數(shù)據(jù)的可用

性。?

確保數(shù)據(jù)資產(chǎn)的完整性。?

管理數(shù)據(jù)交易事務(wù)的性能。驅(qū)動因素管理員數(shù)據(jù)（庫）架構(gòu)類型數(shù)據(jù)（庫）數(shù)據(jù)處理類型

數(shù)據(jù)存儲介質(zhì)數(shù)據(jù)庫環(huán)境數(shù)據(jù)庫組織模型專用數(shù)據(jù)庫數(shù)據(jù)庫過程DAMA數(shù)據(jù)存儲和操作

-業(yè)務(wù)連續(xù)性的關(guān)鍵業(yè)務(wù)連續(xù)性?????????基本

概念原則目標(biāo)34?本知識領(lǐng)域提到了區(qū)塊鏈的簡單介紹，區(qū)塊鏈數(shù)據(jù)庫

有兩種結(jié)構(gòu)類型：單條記錄和區(qū)塊，每個交易包含一

條記錄，每個區(qū)塊包含一組帶時間戳的交易，整個數(shù)

據(jù)庫由多個區(qū)塊形成的鏈狀結(jié)構(gòu)組成，每個區(qū)塊還包

括鏈中前一個區(qū)塊的信息。?核心本質(zhì)：通過計算資源和存儲資源的冗余，犧牲了

系統(tǒng)處理的性能和部分隱私，建立了更加可信的價值傳輸通道。區(qū)塊鏈 分布式數(shù)

據(jù)庫存儲冗余度DAMA數(shù)據(jù)存儲和操作計算冗

余

度單機數(shù)

據(jù)庫撮合引擎數(shù)據(jù)復(fù)

制35數(shù)據(jù)倉庫的存儲和操作n

數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，用于對管理決策過程的支持。n

數(shù)據(jù)倉庫的集成和存儲參考架構(gòu)如下：36業(yè)

務(wù)計劃實施

IT

服務(wù)管理業(yè)

務(wù)商業(yè)視角服務(wù)管理IT

基礎(chǔ)框架管理服務(wù)提供應(yīng)用系統(tǒng)管理利用ITIL實現(xiàn)數(shù)據(jù)存儲管理n

技術(shù)管理的主要參考模型是信息技術(shù)基礎(chǔ)設(shè)施庫(ITIL)。n

物理存儲環(huán)境管理需要遵循傳統(tǒng)的軟件配置管理過程或信息技術(shù)基礎(chǔ)設(shè)施庫（ITIL）

的方法，以記錄對數(shù)據(jù)庫

配置、結(jié)構(gòu)、約束、權(quán)限、閾值等的修改。n

針對數(shù)據(jù)存儲的技術(shù)管理主要由ITIL基本框架中的服務(wù)支持（配置數(shù)據(jù)管理）來實現(xiàn)管理服務(wù)支持安全371.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程第四章數(shù)據(jù)治理主要內(nèi)容CO

NT

E

NTS

目錄38數(shù)據(jù)資產(chǎn)平臺

安全：數(shù)據(jù)采集

數(shù)據(jù)識別

分類分級數(shù)據(jù)傳輸

身份認(rèn)證數(shù)據(jù)存儲

備份恢復(fù)數(shù)據(jù)訪問

身份鑒別

訪問控制數(shù)據(jù)使用

數(shù)據(jù)脫敏

文件水印數(shù)據(jù)銷毀

防恢復(fù)數(shù)據(jù)安全監(jiān)控+操作行為審計+違規(guī)行為阻斷基礎(chǔ)安全：物理安全+網(wǎng)絡(luò)安全+主機安全

…應(yīng)用安全：應(yīng)用系統(tǒng)安全+存儲系統(tǒng)安全

…網(wǎng)絡(luò)安全法+等級保護

…圍繞數(shù)據(jù)全生命周期的安全管控框架法律標(biāo)準(zhǔn)：39

數(shù)據(jù)安全管理辦法從數(shù)據(jù)規(guī)劃設(shè)計、開發(fā)建設(shè)、運行維護，以及在數(shù)據(jù)采集、傳輸、存儲、處理、共享使用和廢棄等數(shù)據(jù)全生命周期的安全進行安全風(fēng)險管控，進而保障股份公司數(shù)據(jù)資產(chǎn)共享工作的順利運行。l數(shù)據(jù)生命周期各階段安全保障：u數(shù)據(jù)安全等級劃分：根據(jù)數(shù)據(jù)對股份公司的價值以及數(shù)據(jù)一旦泄露產(chǎn)生的影響劃分；u數(shù)據(jù)產(chǎn)生：明確數(shù)據(jù)生產(chǎn)部門、數(shù)據(jù)歸口部門的各方職責(zé)，以及數(shù)據(jù)產(chǎn)生系統(tǒng)的安全措施；u數(shù)據(jù)傳輸：明確數(shù)據(jù)從生產(chǎn)環(huán)境轉(zhuǎn)移到開發(fā)、測試環(huán)境，以及傳輸?shù)侥繕?biāo)系統(tǒng)的各環(huán)節(jié)的監(jiān)督和管控措施；u數(shù)據(jù)存儲：明確存儲數(shù)據(jù)的系統(tǒng)、數(shù)據(jù)存儲的所在網(wǎng)絡(luò)環(huán)境、存儲災(zāi)備機制、數(shù)據(jù)進出系統(tǒng)等原則；u數(shù)據(jù)交換：遵循“最小授權(quán)、最小擴散、實時審計”原則，明確數(shù)據(jù)使用方、提供方的職責(zé)；u數(shù)據(jù)銷毀：明確計算機或設(shè)備在棄置、轉(zhuǎn)售或捐贈前必須將其所有數(shù)據(jù)徹底刪除，并無法復(fù)原，以免造成信息泄露。數(shù)據(jù)安全設(shè)計的原則與要求4400數(shù)據(jù)共享?

身份鑒別?

共享訪問控制?

導(dǎo)入導(dǎo)出安全?

數(shù)據(jù)脫敏處理?

數(shù)據(jù)防泄漏?

數(shù)據(jù)監(jiān)控審計數(shù)據(jù)存儲數(shù)據(jù)處理數(shù)據(jù)傳輸?傳輸安全策略?傳輸安全通道?傳輸接口安全?

身份驗證?

數(shù)據(jù)傳輸加密?

數(shù)據(jù)完整性?

密碼算法安全?傳輸線路冗余數(shù)據(jù)采集?

個人隱私保護?

分級分類?

數(shù)據(jù)完整性?

數(shù)據(jù)操作型?

操作審計?

安全應(yīng)急預(yù)案?

質(zhì)量控制?

數(shù)據(jù)防止泄露全生命周期的數(shù)據(jù)安全管理要求數(shù)據(jù)安全基礎(chǔ)保障系統(tǒng)?

用戶標(biāo)識鑒別?

數(shù)據(jù)訪問控制?存儲遷移安全?存儲完整性?

存儲加密?存儲容災(zāi)備份?存儲副本安全?存儲安全審計?銷毀審批機制?

軟銷毀?

硬銷毀?

操作審計?粒度訪問控制?

數(shù)據(jù)鑒別認(rèn)證?

數(shù)據(jù)防泄漏?惡意代碼檢測?

安全情報分析?

數(shù)據(jù)脫敏處理?

數(shù)據(jù)加密處理?

數(shù)據(jù)安全歸檔?

數(shù)據(jù)安全監(jiān)控?

數(shù)據(jù)處理淵源電子簽章系統(tǒng)數(shù)據(jù)安全傳輸系統(tǒng)統(tǒng)一身份認(rèn)證系統(tǒng)密碼服務(wù)系統(tǒng)惡意代碼審計系統(tǒng)運維監(jiān)控系統(tǒng)數(shù)據(jù)脫敏系統(tǒng)SMCC系統(tǒng)數(shù)據(jù)防泄漏系統(tǒng)文檔安全系統(tǒng)PKI/CA系統(tǒng)秘鑰管理系統(tǒng)系統(tǒng)數(shù)據(jù)安全數(shù)據(jù)銷毀41數(shù)據(jù)的全生命周期

1.采集2.存儲3.加工4.應(yīng)用5.歸檔6.銷毀數(shù)據(jù)存儲數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)處理數(shù)據(jù)共享數(shù)據(jù)銷毀數(shù)據(jù)安全保障措施數(shù)據(jù)安全基礎(chǔ)保障統(tǒng)一身份認(rèn)證密鑰管理文檔安全電子簽章數(shù)據(jù)脫敏數(shù)據(jù)安全管理n在數(shù)據(jù)生命周期節(jié)點上應(yīng)用不同安全技術(shù)組合，全面保障數(shù)據(jù)安全。存儲容災(zāi)備份數(shù)據(jù)傳輸加密加密存儲存儲/遷移安全用戶標(biāo)識與鑒別傳輸接口安全身份驗證傳輸安全策略數(shù)據(jù)訪問控制傳輸安全通道數(shù)據(jù)安全監(jiān)控操作監(jiān)控審計隱私保護數(shù)據(jù)防泄漏數(shù)據(jù)脫敏處理銷毀審批機制硬銷毀安全情報分析數(shù)據(jù)防泄漏惡意代碼檢測身份鑒別共享訪問控制導(dǎo)入/導(dǎo)出安全數(shù)據(jù)脫敏處理分類分級數(shù)據(jù)加密處理軟銷毀數(shù)據(jù)防泄漏42安全架構(gòu)在TOGAFADM中的位置43?

協(xié)同合作?

統(tǒng)籌兼顧?

主動管理?

明確責(zé)任?

元數(shù)據(jù)驅(qū)動?

減少接觸以降低風(fēng)險支持適當(dāng)訪問并防止對數(shù)據(jù)的不當(dāng)訪問對隱私保護和保密制度、法規(guī)的遵從確保滿足利益相關(guān)方對隱私和保密的要求?

良好的安全能力，不僅僅

是成本，也是核心競爭力?

控制轉(zhuǎn)移，責(zé)任不轉(zhuǎn)移?

技術(shù)與管理并重后門、機器人爬蟲、僵尸Cookie記錄，鍵盤記錄器，錄屏軟件廣告、間諜、木馬、病毒、蠕蟲漏洞滲透、社會工程垃圾郵件，社交網(wǎng)絡(luò)特權(quán)濫用等?

監(jiān)管要求?

利益相關(guān)者的關(guān)注?

必要的業(yè)務(wù)訪問要求?

合法的商業(yè)要求DAMA數(shù)據(jù)安全

-也是一種核心競爭力?

?

?

理

念原則威脅驅(qū)

動因

素目

標(biāo)??????441.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程第四章數(shù)據(jù)治理主要內(nèi)容CO

NT

E

NTS

目錄45數(shù)據(jù)集成和互操作-對數(shù)據(jù)移動進行有效管理464ELT處理過程ETL處理過程ETL和ELT處理過程圖47數(shù)據(jù)傳輸方法

批處理Batch變更數(shù)據(jù)捕獲CDC延準(zhǔn)實時和事件驅(qū)動遲逐漸異步數(shù)據(jù)傳輸變小實時，同步數(shù)據(jù)傳輸流式數(shù)據(jù)傳輸數(shù)據(jù)集成和互操作48SOA

IT技術(shù)架構(gòu):多層架構(gòu)－－數(shù)據(jù)共享、流程互通、門戶集成接入

展示層

企業(yè)服務(wù)層

業(yè)務(wù)應(yīng)用層

數(shù)據(jù)層

數(shù)據(jù)服務(wù)平臺

集成連接器門戶Web

接口服務(wù)管理企業(yè)服務(wù)總線(ESB)商務(wù)智能企業(yè)流程管理

(BPM)完整性加密管理一致性管理Web服務(wù)路由應(yīng)用與工作流引擎網(wǎng)絡(luò)和硬件設(shè)備外部交換

總線互連服務(wù)和服務(wù)目錄/服基礎(chǔ)信息數(shù)據(jù)庫訪問權(quán)限

管理數(shù)據(jù)倉庫數(shù)據(jù)庫務(wù)庫安全公共員工49企業(yè)服務(wù)總線是一個基于WebService技術(shù)以及其他如J2EE等標(biāo)準(zhǔn)的集中服務(wù)平臺，提供訪問其他系統(tǒng)的服務(wù)的能力，包括：已有業(yè)務(wù)服務(wù)新的業(yè)務(wù)服務(wù)第三方服務(wù)企業(yè)服務(wù)總線提供：為消費者提供B2C接口為員工提供訪問內(nèi)部應(yīng)用的B2E接口為第三方企業(yè)提供B2B接口連接遺留系統(tǒng)的適配器關(guān)注于解決實時或準(zhǔn)實時的服務(wù)請求，同時具備一定的小文件交換功能，應(yīng)用之間大量的數(shù)據(jù)交換應(yīng)通過數(shù)據(jù)集成平臺完成?

企業(yè)服務(wù)總線（ESB）是面向服務(wù)架構(gòu)的基礎(chǔ)平臺，

做為SOA中的核心平臺，

ESB為在企業(yè)內(nèi)共享可重用服務(wù)提供技術(shù)支撐，ESB通過方便系統(tǒng)間互聯(lián)，提

高企業(yè)技術(shù)架構(gòu)的柔性，實現(xiàn)采用SOA的最大價值。ESB就是在SOA架構(gòu)中

實現(xiàn)服務(wù)間智能化集

成與管理的中介規(guī)范企業(yè)服務(wù)總線--概述定位作用目標(biāo)架構(gòu)功能組件方案和建議??

?

?

?

?

?

?

?

?50數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄6.主數(shù)據(jù)管理第四章51“主數(shù)據(jù)是跨系統(tǒng)、跨模塊、跨部門、跨地區(qū)、有高質(zhì)量要求、高時效要求、被各

項業(yè)務(wù)反復(fù)使用的基礎(chǔ)性和敏感性數(shù)據(jù)，主數(shù)據(jù)是業(yè)務(wù)應(yīng)用系統(tǒng)的神經(jīng)中樞，是經(jīng)

營決策分析的基礎(chǔ)。

”高價值相對

穩(wěn)定n

可以唯一識別n

穩(wěn)定，

緩慢變化，實體而非屬性的集合n

準(zhǔn)確性非常重要n

企業(yè)經(jīng)營活動的基準(zhǔn)數(shù)據(jù)和經(jīng)營分析統(tǒng)計n

跨部門和組織共享和重用物料供應(yīng)商客戶……主數(shù)據(jù)的特征主數(shù)據(jù)的通俗定義主數(shù)據(jù)示例從定義識別主數(shù)據(jù)?依賴數(shù)據(jù)

運營和管理依賴企業(yè)自

身長期、多階

段項目建設(shè)?通常是企業(yè)

管理問題企業(yè)視角跨越流程與業(yè)

務(wù)高復(fù)用跨越部門跨越技術(shù)跨越系統(tǒng)5252埃森哲將主數(shù)據(jù)定義為：企業(yè)最核心的對象，企業(yè)圍繞這些對象，開展各類業(yè)務(wù)活動，如：企業(yè)向供應(yīng)商進行材料的采購，企業(yè)生產(chǎn)出產(chǎn)品，面向客戶進行交易重點關(guān)注的主數(shù)據(jù)有物料、供應(yīng)商、會計科目、固定資產(chǎn)、設(shè)備、員工等六大類主數(shù)據(jù)。a)從業(yè)務(wù)管理事項出發(fā)，明確出最小數(shù)據(jù)項是否

需要進行股份標(biāo)準(zhǔn)化管理，以掌握每項數(shù)據(jù)的作用b)定義出貫穿于業(yè)務(wù)流程間，多個業(yè)務(wù)系統(tǒng)間需

要進行數(shù)據(jù)共享、交換的數(shù)據(jù)對象c)

根據(jù)不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共享需求，定義統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，即規(guī)范數(shù)據(jù)創(chuàng)建時的要求，也規(guī)范數(shù)據(jù)傳輸時的要求主數(shù)據(jù)

=核心對象

+屬性信息

+核心對象間的關(guān)系主數(shù)據(jù)定義53主數(shù)據(jù)管理的關(guān)鍵處理步驟n

主數(shù)據(jù)管理的關(guān)鍵處理步驟包括數(shù)據(jù)模型管理、

數(shù)據(jù)采集、數(shù)據(jù)驗證、

標(biāo)準(zhǔn)化和數(shù)據(jù)豐富、實體解析、管理和共享。n

在一個全面的主數(shù)據(jù)管理環(huán)境中，

邏輯數(shù)據(jù)模型會在多個平臺上進行物理實例化，它指導(dǎo)主數(shù)據(jù)管理解決方案的實施，并提供數(shù)據(jù)整合服務(wù)的基礎(chǔ)。邏輯數(shù)據(jù)模型還應(yīng)該指導(dǎo)如何配置應(yīng)用程序，以便讓數(shù)據(jù)協(xié)調(diào)及數(shù)據(jù)質(zhì)量驗證能力發(fā)揮作用。

!

!豐富標(biāo)準(zhǔn)化和數(shù)據(jù)驗證數(shù)據(jù)共享

與管理工作!數(shù)據(jù)采集數(shù)據(jù)模型實體解析54主數(shù)據(jù)管理管理框架55主數(shù)據(jù)標(biāo)準(zhǔn)化示例數(shù)據(jù)維護部門對應(yīng)物料分類大中小類物料編碼物料描述規(guī)則56數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄7.

數(shù)據(jù)倉庫和商務(wù)智能第四章57數(shù)倉和商務(wù)智能的建設(shè)往往源于公司戰(zhàn)略和業(yè)務(wù)能力的提升n

數(shù)據(jù)決策者根據(jù)集團戰(zhàn)略制定的KPI目標(biāo)，

選取業(yè)務(wù)價值高、涉及面廣的業(yè)務(wù)域或數(shù)據(jù)專題進行專項改造，通過主題庫和數(shù)倉建設(shè)建設(shè)來實現(xiàn)集團數(shù)據(jù)資產(chǎn)體系（主要數(shù)據(jù)資產(chǎn)目錄和元數(shù)據(jù)）和商務(wù)智能決策的應(yīng)用

，從從保證集團業(yè)務(wù)能力的

提升及集團KPI指標(biāo)落地。KPI或數(shù)據(jù)驅(qū)動商務(wù)智能

數(shù)據(jù)應(yīng)用元數(shù)據(jù)建設(shè)(數(shù)據(jù)資產(chǎn))數(shù)倉建設(shè)（含主

題庫）集團戰(zhàn)略業(yè)務(wù)能力價值高的業(yè)務(wù)域

戰(zhàn)略分解資源資產(chǎn)目錄（管理體系）

數(shù)據(jù)資產(chǎn)業(yè)務(wù)能力提高數(shù)據(jù)資產(chǎn)應(yīng)用實現(xiàn)集團戰(zhàn)略決策分析58數(shù)據(jù)整合明細(xì)層DWD數(shù)據(jù)整合匯總層DWS數(shù)倉系統(tǒng)分層架構(gòu)：采用三層存儲架構(gòu)，分別處理不同的數(shù)據(jù)需求ETL主數(shù)據(jù)系統(tǒng)主數(shù)據(jù)服務(wù)資源目錄服務(wù)基礎(chǔ)數(shù)據(jù)查詢服務(wù)指標(biāo)統(tǒng)計報表門

戶數(shù)據(jù)質(zhì)

量管理貼源層ODS（數(shù)據(jù)緩沖區(qū)）其他SRM審計MESPLM質(zhì)量報告數(shù)據(jù)模型

定義質(zhì)量數(shù)據(jù)

采集血緣分析質(zhì)量分析

模型數(shù)據(jù)集市層DM元數(shù)據(jù)

管理業(yè)務(wù)系統(tǒng)財務(wù)

供應(yīng)鏈

銷售財務(wù)(

研發(fā))生產(chǎn)制造供應(yīng)鏈

DW銷售生產(chǎn)研發(fā)質(zhì)量質(zhì)量59批量數(shù)據(jù)采集報表平臺報表工具……數(shù)倉技術(shù)架構(gòu)參考數(shù)據(jù)源

數(shù)據(jù)采集數(shù)據(jù)整合處理與存儲數(shù)據(jù)展現(xiàn)與訪問應(yīng)用場景應(yīng)用訪問加速層云平臺貼源層數(shù)據(jù)主題庫市場銷售產(chǎn)銷計劃生產(chǎn)制造采購庫存/倉儲物流XX主題庫市場銷售產(chǎn)銷計劃生產(chǎn)制造采購庫存/倉儲物流XX主題庫外部系統(tǒng)……業(yè)務(wù)系統(tǒng)中間庫數(shù)據(jù)質(zhì)量管控與數(shù)據(jù)治理整機多維度分析統(tǒng)一作業(yè)調(diào)度與監(jiān)控結(jié)構(gòu)化數(shù)

據(jù)存儲其他應(yīng)

用信用風(fēng)險評估變更協(xié)同BOM

協(xié)同基礎(chǔ)數(shù)據(jù)系統(tǒng)采集校驗增量采集全量采集抽取工具接口60聚焦業(yè)務(wù)目標(biāo)，以終為始全局性的思考和設(shè)計局部性的行動和建設(shè)。總結(jié)并持續(xù)優(yōu)化提升透明度和自助服務(wù)與數(shù)據(jù)倉庫一起建立元數(shù)據(jù)。

與其他數(shù)據(jù)獲得協(xié)同不要千篇一律和業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的區(qū)別：?

面向主題的

?

整合的?

隨時間變化的

?

穩(wěn)定的?

聚合數(shù)據(jù)和明細(xì)數(shù)據(jù)

?

歷史的DAMA數(shù)據(jù)倉庫和商務(wù)智能-數(shù)據(jù)價值提供者支持商務(wù)智能活動。賦能商業(yè)分析和高效決策。基于數(shù)據(jù)洞察力尋找創(chuàng)新方法?

運營支持職能?

合規(guī)支持需求?

商務(wù)智能活動目標(biāo)理念區(qū)別驅(qū)動

因素???61運營報告

&分析地理空間和人口統(tǒng)計數(shù)據(jù)和文本挖掘1.數(shù)據(jù)庫

Database?

面向交易事務(wù)?

在線交易數(shù)據(jù)?

事實數(shù)據(jù)?....2.數(shù)據(jù)倉庫

DataWarehouse?

面向分析操作?

歷史交易數(shù)據(jù)?

維度數(shù)據(jù)?....3.大數(shù)據(jù)

Big

Data?

數(shù)據(jù)源更廣泛?

數(shù)據(jù)處理效率更高更智能?

...MDM參考和

主數(shù)據(jù)一

致維度依賴數(shù)據(jù)存儲評估

模型數(shù)據(jù)集市中心倉庫面向主題的穩(wěn)定的隨時間變化的原子的歷史的數(shù)據(jù)數(shù)據(jù)控制

數(shù)據(jù)質(zhì)量干預(yù)

豐富和增強運營系統(tǒng)

數(shù)據(jù)庫DaaS大數(shù)據(jù)

結(jié)果數(shù)據(jù)倉庫/商務(wù)智能和大數(shù)據(jù)概念架構(gòu)比較

評估

預(yù)測學(xué)習(xí)機器學(xué)習(xí)數(shù)據(jù)可視化績效管理電子郵件多媒體

傳感器物聯(lián)網(wǎng)

社交網(wǎng)絡(luò)網(wǎng)頁,

DaaS數(shù)據(jù)倉庫應(yīng)用、運

營報告大數(shù)據(jù)集成影響報告提取探索清

洗集

成豐

富

標(biāo)

準(zhǔn)

化數(shù)據(jù)湖暫存區(qū)非結(jié)構(gòu)化分析預(yù)測分析數(shù)據(jù)倉庫商務(wù)智能立方體62源ODS數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能9.

數(shù)據(jù)質(zhì)量10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程CO

NT

E

NTS

目錄8.元數(shù)據(jù)管理第四章63元數(shù)據(jù)應(yīng)用價值

對數(shù)據(jù)再組織并形成全局

性的視圖；

幫助用戶更好的理解各環(huán)

節(jié)的數(shù)據(jù)和系統(tǒng)的建設(shè)現(xiàn)狀；

是保障企業(yè)數(shù)據(jù)質(zhì)量的基

礎(chǔ)；

支持企業(yè)信息化的知識傳

承；

提升數(shù)據(jù)平臺建設(shè)和管理

水平64數(shù)據(jù)資產(chǎn)之間的關(guān)系怎樣？如何讓數(shù)據(jù)資產(chǎn)正確、有

效的被使用并產(chǎn)生價值？元數(shù)據(jù)解決的問題及應(yīng)用價值形態(tài)萬千、散落在企業(yè)各處的數(shù)據(jù)資產(chǎn)如何管理？龐大的數(shù)據(jù)資產(chǎn)如何管理？企業(yè)數(shù)據(jù)資產(chǎn)管理的困惑enterprise

ASSET元數(shù)據(jù)管理n元數(shù)據(jù)即數(shù)據(jù)的畫像(數(shù)據(jù)中的數(shù)據(jù))。通過元數(shù)據(jù)實現(xiàn)對數(shù)據(jù)的立體化追蹤，向上的影響分析與向下的血緣分析，建立起數(shù)據(jù)的全流程畫像。是數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)資產(chǎn)管理的根基和保障。數(shù)據(jù)使用者管安全管理質(zhì)量管理質(zhì)量元數(shù)據(jù)數(shù)據(jù)處理過程業(yè)務(wù)元數(shù)據(jù)

業(yè)務(wù)術(shù)語、信息分類、指標(biāo)定義（指標(biāo)口徑）、業(yè)務(wù)規(guī)則質(zhì)量元數(shù)據(jù)

數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)一致性、字段長度

技術(shù)元數(shù)據(jù)存儲表、字段、類型、長度、程序信息、數(shù)據(jù)處理信息管理元數(shù)據(jù)誰生產(chǎn)、誰管理、誰負(fù)責(zé)

稽核元數(shù)據(jù)數(shù)據(jù)檢查信息，日志追蹤信息

安全元數(shù)據(jù)數(shù)據(jù)訪問安全、權(quán)限控制、分級管理、隱私控制、流程約束技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)庫稽核元數(shù)據(jù)安全元數(shù)據(jù)理元數(shù)65據(jù)66技術(shù)元數(shù)據(jù)是對數(shù)據(jù)的結(jié)構(gòu)化，方便計算機

或數(shù)據(jù)庫對數(shù)據(jù)進行識別、存儲、傳輸和交

換。技術(shù)元數(shù)據(jù)可讓開發(fā)人員更加明確數(shù)據(jù)

的存儲、結(jié)構(gòu)，從而為應(yīng)用開發(fā)和系統(tǒng)集成

奠定基礎(chǔ)。也可讓業(yè)務(wù)人員更快速地找到想

要的數(shù)據(jù)，進而對數(shù)據(jù)的來源、去向、血緣

追溯的分析。DAMA元數(shù)據(jù)分類類別

DAMA定義

說明

主要內(nèi)容物理數(shù)據(jù)庫表名和字段名、字段屬性、

數(shù)據(jù)庫對象的屬性、訪問權(quán)限、物理數(shù)據(jù)模型，包括數(shù)據(jù)表名、鍵和索引、ETL抽取加載轉(zhuǎn)換信息、數(shù)據(jù)存儲文件格式或數(shù)據(jù)壓縮類型、源到目標(biāo)的映射文檔、恢復(fù)和備份規(guī)則。n讓人們更容易理解和使用業(yè)務(wù)元數(shù)據(jù)。元

數(shù)據(jù)消除了數(shù)據(jù)二義性，讓人們對數(shù)據(jù)有

一致的認(rèn)知，進而為數(shù)據(jù)分析和應(yīng)用提供

支撐。n操作元數(shù)據(jù)描述數(shù)據(jù)的操作屬性，明確管

理屬性有利于數(shù)據(jù)管理責(zé)任到部門和個人，是數(shù)據(jù)安全管理的基礎(chǔ)。資源名稱、創(chuàng)建者、資源描述、資源分

類、數(shù)據(jù)集、業(yè)務(wù)規(guī)則、轉(zhuǎn)換規(guī)則、指

標(biāo)計算公式、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量規(guī)則

和檢核結(jié)果、數(shù)據(jù)溯源、

有效值約束、

數(shù)據(jù)所有者

、數(shù)據(jù)的安全或敏感級別

、

數(shù)據(jù)使用說明數(shù)據(jù)的訪問方式、訪問時間、訪問限制、

作業(yè)日志、抽取結(jié)果、錯誤日志、頻率

和執(zhí)行時間、備份、保留、創(chuàng)建日期、災(zāi)備恢復(fù)預(yù)案、容量和使用模式、數(shù)據(jù)

歸檔、清洗標(biāo)準(zhǔn)、數(shù)據(jù)訪問權(quán)限；n提供有關(guān)數(shù)據(jù)的技術(shù)

細(xì)節(jié)、存儲數(shù)據(jù)的系統(tǒng)

以及在系統(tǒng)內(nèi)和系統(tǒng)之

間數(shù)據(jù)流轉(zhuǎn)過程的信息n主要關(guān)注數(shù)據(jù)的內(nèi)容和

條件，另包括與數(shù)據(jù)治

理相關(guān)的詳細(xì)信息n描述了處理和訪問數(shù)

據(jù)的細(xì)節(jié)技術(shù)

元數(shù)據(jù)業(yè)務(wù)

元數(shù)據(jù)操作

元數(shù)據(jù)

元數(shù)據(jù)采集：建立元數(shù)據(jù)采集的標(biāo)準(zhǔn)和規(guī)范，搭建元數(shù)據(jù)采集工具，對技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)進行采集；元數(shù)據(jù)管理：對采集的元數(shù)據(jù)進行管理維護，包括元數(shù)據(jù)信息的補充維護、元數(shù)據(jù)分類、權(quán)限管理、版本管理等方面；元數(shù)據(jù)服務(wù)：要能對采集到的元數(shù)據(jù)進行查詢、統(tǒng)計，通過元數(shù)據(jù)的采集建立企業(yè)數(shù)據(jù)資產(chǎn)地圖元數(shù)據(jù)分析：元數(shù)據(jù)應(yīng)用分析，通過版本對比分析、血緣分析、影響分析、孤立數(shù)據(jù)分析等，從而掌握數(shù)據(jù)的全貌，為技術(shù)和業(yè)務(wù)人員提供支撐，發(fā)揮元數(shù)據(jù)的價值；。元數(shù)據(jù)管理框架n

未來企業(yè)元數(shù)據(jù)的管理工作，應(yīng)從元數(shù)據(jù)采集、元數(shù)據(jù)管理、元數(shù)據(jù)分析和元數(shù)據(jù)服務(wù)四個層面開展。元數(shù)據(jù)管理元數(shù)據(jù)管理：?

元數(shù)據(jù)分類?元數(shù)據(jù)信息維護?元數(shù)據(jù)權(quán)限管理元數(shù)據(jù)采集：?

技術(shù)元數(shù)據(jù)?

業(yè)務(wù)元數(shù)據(jù)?

管理元數(shù)據(jù)元數(shù)據(jù)服務(wù)：?

元數(shù)據(jù)查詢?

元數(shù)據(jù)統(tǒng)計元數(shù)據(jù)分析：?

對比分析?

血緣分析

?

影響分析元數(shù)據(jù)管理能力說明元數(shù)據(jù)管理能力框架

服務(wù)

?數(shù)據(jù)資產(chǎn)地圖元數(shù)據(jù)分析元數(shù)據(jù)管理元數(shù)據(jù)采集元數(shù)據(jù)67元數(shù)據(jù)主要內(nèi)容構(gòu)成示例n

元數(shù)據(jù)作為企業(yè)沉淀的有價值資產(chǎn)，主要資產(chǎn)對應(yīng)的集團能力域，業(yè)務(wù)價值域；責(zé)任部門，共享條件；字段屬性，字段長度等信息。68數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理CO

NT

E

NTS

目錄10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程9.

數(shù)據(jù)質(zhì)量第四章69數(shù)據(jù)價值的重要保障：數(shù)據(jù)質(zhì)量n數(shù)據(jù)如石油，也是數(shù)字經(jīng)濟的基礎(chǔ)；但是如果沒有管理，數(shù)據(jù)有可能會成為巨大的風(fēng)險，糟糕的油質(zhì)將導(dǎo)致汽車的拋錨。n數(shù)據(jù)如人體內(nèi)流動的血液：血液如有雜質(zhì)，血液流動收影響；血液如壞掉，人體無法獲得營養(yǎng)；人的結(jié)果可得而知。n如下圖所示從全域的角度識別數(shù)據(jù)質(zhì)量問題。70數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)質(zhì)量數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補錄數(shù)據(jù)質(zhì)量管理框架n

從數(shù)據(jù)質(zhì)量要求、數(shù)據(jù)考評機制及質(zhì)量問題剖析機制三個方面建立數(shù)據(jù)質(zhì)量管理框架n

數(shù)據(jù)質(zhì)量的管理是持久循序漸進的，先規(guī)劃后執(zhí)行，先點后面，從簡至繁。數(shù)據(jù)質(zhì)量管理部門主導(dǎo)數(shù)據(jù)質(zhì)量要求確認(rèn)的工作，對數(shù)據(jù)質(zhì)量要求負(fù)責(zé)，并審閱考核結(jié)論，決定是否采取數(shù)據(jù)質(zhì)量提升的措施相關(guān)技術(shù)人員實施數(shù)據(jù)質(zhì)量要求，并提供技術(shù)手段數(shù)據(jù)質(zhì)量分析報告

數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量考評數(shù)據(jù)及時性要求數(shù)據(jù)唯一性要求2

標(biāo)準(zhǔn)手工修正自動修正7131數(shù)據(jù)質(zhì)量管理循環(huán)機制數(shù)據(jù)質(zhì)量管理內(nèi)容字段級記錄級

表級數(shù)據(jù)質(zhì)量管理機制和規(guī)則n

數(shù)據(jù)質(zhì)量管理以源系統(tǒng)數(shù)據(jù)質(zhì)量控制和稽核作為出發(fā)點，逐步形成發(fā)現(xiàn)-評估-改進的良性循環(huán)主鍵規(guī)則格式規(guī)則外鍵規(guī)則類型規(guī)則空表規(guī)則記錄數(shù)規(guī)則重復(fù)規(guī)則值域規(guī)則匹配度規(guī)則新鮮度規(guī)則精度規(guī)則及時規(guī)則頻率分布非空規(guī)則填充率邏輯規(guī)則表達(dá)質(zhì)量值域合規(guī)同步一致時效規(guī)則可用性規(guī)則交叉驗證易用性規(guī)則波動規(guī)則效用性規(guī)則編碼規(guī)范數(shù)據(jù)規(guī)范數(shù)據(jù)質(zhì)量管理框架完整性準(zhǔn)確性一致性及時性評估方案制定Il數(shù)據(jù)質(zhì)量需求數(shù)據(jù)監(jiān)控?zé)o效表規(guī)則數(shù)據(jù)質(zhì)量需求分析面向業(yè)務(wù)質(zhì)量規(guī)則面向技術(shù)質(zhì)量規(guī)則考核落實質(zhì)量提升

72質(zhì)量維度描述準(zhǔn)確性Accuracy準(zhǔn)確性是指數(shù)據(jù)正確表示“

真實”

實體的程度。完備性Completeness完備性是指是否存在所有必要的數(shù)據(jù)。一致性Consistency一致性可以指確保數(shù)據(jù)值在數(shù)據(jù)集內(nèi)和數(shù)據(jù)集之間表達(dá)的相符程度。完整性Integrity數(shù)據(jù)完整性（或連貫性）包括與完備性、

準(zhǔn)確性和一致性相關(guān)的想法。合理性Reasonability合理性是指數(shù)據(jù)模式符合預(yù)期的程度。及時性Timeliness及時性是指數(shù)據(jù)產(chǎn)生到可用的時間延遲程度唯一性Uniqueness唯一性，是指數(shù)據(jù)集內(nèi)的任何實體，

不會重復(fù)出現(xiàn)。有效性Validity有效性，是指數(shù)據(jù)值與定義的值域一致。數(shù)據(jù)質(zhì)量維度指標(biāo)定義73模型M=<D，I，R，W

，E

，S>

D（

Dataset）

是需要進行評估的數(shù)據(jù)集

I（Indicator）

數(shù)據(jù)集D上需要進行評估的指標(biāo)，如完整性、準(zhǔn)

確性、

一致性等

R（

Rule）

與評估指標(biāo)相對應(yīng)的規(guī)則

W（Weight）

賦予規(guī)則R的權(quán)值(大于0的整數(shù))，描述了該規(guī)則在

所有規(guī)則中所占的比重。

E（Expectation）

對規(guī)則R給出的期望值(介于0到100之間的實數(shù))

,是在評估之前對該規(guī)則所期望得到的結(jié)果。

S（

reSult）

規(guī)則R對應(yīng)的最終結(jié)果(介于0到100之間的實數(shù))，是

在檢測該規(guī)則后所得的結(jié)果。通過數(shù)據(jù)模型實現(xiàn)數(shù)據(jù)質(zhì)量的管理74?根據(jù)數(shù)據(jù)消費者的需求，開發(fā)一種受管理的方法，使數(shù)據(jù)適合要求。?定義數(shù)據(jù)質(zhì)量控制的標(biāo)準(zhǔn)和規(guī)范，

并作為

整個數(shù)據(jù)生命周期的一部分。?

定義和實施測量、監(jiān)控和報告數(shù)據(jù)質(zhì)量水

平的過程。?

優(yōu)先關(guān)注最重要的數(shù)據(jù)?

全生命周期管理管理?

預(yù)防為主，修復(fù)數(shù)據(jù)的成本很高?

根因修正?

治理活動要配套跟上?

標(biāo)準(zhǔn)驅(qū)動，沒有標(biāo)準(zhǔn)就沒有質(zhì)量?

測量需要客觀、

一致的測量?

嵌入業(yè)務(wù)流程，流程所有者對質(zhì)量負(fù)責(zé)?

質(zhì)量管理要求需系統(tǒng)強制執(zhí)行?

質(zhì)量管理要與SLA相關(guān)聯(lián)念?

提高組織數(shù)據(jù)價值和數(shù)據(jù)利

用的機會。?降低低質(zhì)量數(shù)據(jù)導(dǎo)致的風(fēng)險

和成本。?

提高組織效率和生產(chǎn)力。?

保護和提高組織的聲譽。高質(zhì)量數(shù)據(jù)本身并不是目的，

它只是組織成功的一種手段目標(biāo)原則DAMA數(shù)據(jù)質(zhì)量

-有質(zhì)量才有價值驅(qū)動

因素75數(shù)據(jù)治理主要內(nèi)容1.數(shù)據(jù)架構(gòu)2.

數(shù)據(jù)建模和設(shè)計3.數(shù)據(jù)存儲和操作4.

數(shù)據(jù)安全5.數(shù)據(jù)集成和互操作6.主數(shù)據(jù)管理7.

數(shù)據(jù)倉庫和商務(wù)智能8.元數(shù)據(jù)管理9.

數(shù)據(jù)質(zhì)量CO

NT

E

NTS

目錄10.

數(shù)據(jù)資產(chǎn)與運營管理11.

組織和變革12.

規(guī)范&制度&流程第四章76體系建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理生命周期數(shù)據(jù)服務(wù)平臺資源績效考核重定義重標(biāo)準(zhǔn)靠稽核設(shè)計態(tài)粗粒度重規(guī)范重保障缺量化輕運營輕落實缺過程

控制運行態(tài)實時動態(tài)輕管理輕共享量化傳統(tǒng)數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)管理傳統(tǒng)數(shù)據(jù)治理面向相對固定的業(yè)務(wù)場景，核心

目標(biāo)是數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量。數(shù)據(jù)資產(chǎn)管理面向快速變化的場景，重點是數(shù)

據(jù)的業(yè)務(wù)化。實時、動態(tài)的元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)治理的自然升級可運營隨時可用業(yè)務(wù)可見業(yè)務(wù)可懂傳統(tǒng)數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)管理靜態(tài)的元數(shù)據(jù)管理VS數(shù)據(jù)

質(zhì)量數(shù)據(jù)

標(biāo)準(zhǔn)數(shù)據(jù)

安全架構(gòu)

治理77數(shù)據(jù)資產(chǎn)管理n通過數(shù)據(jù)的全生命周期管理和科學(xué)的分類，挖掘數(shù)據(jù)在不同時期的價值，實現(xiàn)數(shù)據(jù)資產(chǎn)化管理。通過全景式的數(shù)據(jù)地圖和全流程的立體追蹤，實現(xiàn)數(shù)據(jù)可視化。全景式（場景）應(yīng)用場景的資產(chǎn)可視化?管理者視圖：數(shù)據(jù)配置、數(shù)據(jù)蹤跡、質(zhì)量和安全?應(yīng)用者視圖：數(shù)據(jù)是什么、數(shù)據(jù)在哪里、如何使用?開發(fā)者視圖：是否存在、是否滿足需求、如何開發(fā)全生命周期（時間）權(quán)衡效率和需求之間的關(guān)系，合理分級存儲和保留、銷毀數(shù)據(jù)。?生命周期：從數(shù)據(jù)的產(chǎn)生一直到數(shù)據(jù)的銷毀，整個周期中數(shù)據(jù)的流動

和使用情況全流程（空間）立體化資產(chǎn)追蹤，能追本溯源的發(fā)現(xiàn)所有資產(chǎn)的“

前世今生

”。?血緣分析：

向下的數(shù)據(jù)來源追蹤?影響分析：

向上的數(shù)據(jù)變化影響分析元數(shù)據(jù)管理?

血緣與影響分析?

描述、管理、安全、稽查產(chǎn)生方式?基礎(chǔ)資產(chǎn)：

經(jīng)過加工處理過的數(shù)據(jù)?衍生資產(chǎn)：

經(jīng)過開發(fā)形成的新數(shù)據(jù)數(shù)據(jù)資產(chǎn)分類業(yè)務(wù)主題?業(yè)務(wù)領(lǐng)域：

經(jīng)營、生產(chǎn)、客戶等?業(yè)務(wù)主題：財務(wù)、人事、銷售等數(shù)

據(jù)

資

產(chǎn)

”

三

全

”

管

理數(shù)據(jù)資產(chǎn)管理加工采

加

發(fā)集

工

布銷毀采集歸檔應(yīng)用存儲歸

檔運

營78預(yù)測性分析指導(dǎo)性分析診斷性分析描述性分析索搜據(jù)數(shù)理管務(wù)服據(jù)數(shù)據(jù)數(shù)

理標(biāo)管指數(shù)據(jù)標(biāo)簽數(shù)據(jù)聯(lián)接數(shù)據(jù)清洗理

量數(shù)據(jù)

匯聚

據(jù)數(shù)規(guī)則數(shù)字化過程數(shù)字化對象數(shù)字化治理與運營框架n

建設(shè)關(guān)鍵數(shù)據(jù)能力，提供統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)質(zhì)量管控并實現(xiàn)數(shù)據(jù)資產(chǎn)核心基線運營。數(shù)據(jù)服務(wù)建設(shè)周期數(shù)據(jù)需求響應(yīng)周期內(nèi)部交付外

部主題數(shù)據(jù)整合數(shù)據(jù)

實時數(shù)據(jù)平臺運營IT開發(fā)數(shù)據(jù)整合與數(shù)據(jù)服務(wù)

非關(guān)鍵數(shù)據(jù)資產(chǎn)獲取周期

社交合作公共伙伴數(shù)據(jù)產(chǎn)生數(shù)據(jù)消費數(shù)據(jù)搜索數(shù)據(jù)服務(wù)指揮中心分析建模數(shù)據(jù)湖數(shù)據(jù)資產(chǎn)

全景視圖研發(fā)銷售主題數(shù)據(jù)質(zhì)據(jù)數(shù)價值鏈管渠道媒體元79數(shù)據(jù)產(chǎn)生匯聚整合信息系統(tǒng)資產(chǎn)目錄PDMCRMERPSCMMESWMSPDMCEDM…資產(chǎn)目錄非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)原始數(shù)據(jù)資產(chǎn)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)主數(shù)據(jù)基礎(chǔ)數(shù)據(jù)事務(wù)數(shù)據(jù)觀測數(shù)據(jù)規(guī)則數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)文檔音視頻……二次加工

數(shù)據(jù)資產(chǎn)分析應(yīng)用/價值呈現(xiàn)理清企業(yè)數(shù)據(jù)資產(chǎn)之間的關(guān)系數(shù)

據(jù)

匯聚數(shù)據(jù)整合可視、展現(xiàn)、執(zhí)行數(shù)據(jù)聯(lián)接數(shù)據(jù)分析

加工處理自助分析經(jīng)/運營分析業(yè)務(wù)可視……決策與執(zhí)行圖模型指標(biāo)開發(fā)標(biāo)簽開發(fā)算法模型開發(fā)多維模型……對象聯(lián)接報表數(shù)據(jù)指標(biāo)數(shù)據(jù)畫像數(shù)據(jù)智能標(biāo)簽指標(biāo)數(shù)據(jù)Dashboard算法與模型事件聯(lián)接文檔音視頻基礎(chǔ)數(shù)據(jù)規(guī)則數(shù)據(jù)主數(shù)據(jù)事務(wù)數(shù)據(jù)觀測數(shù)據(jù)……80n

數(shù)據(jù)價值管理是對數(shù)據(jù)內(nèi)在價值的度量，可

以從數(shù)據(jù)成本和數(shù)據(jù)應(yīng)用價值兩方面來開展。n

數(shù)據(jù)成本一般包括采集、存儲和計算的費用

（人工費用、IT

設(shè)備等直接費用和間接費用

等）和運維費用（業(yè)務(wù)操作費、技術(shù)操作費

等）。數(shù)據(jù)成本管理從度量成本的維度出發(fā)，

通過定義數(shù)據(jù)成本核算指標(biāo)、監(jiān)控數(shù)據(jù)成本

產(chǎn)生等步驟，確定數(shù)據(jù)成本優(yōu)化方案，實現(xiàn)

數(shù)據(jù)成本的有效控制。n

數(shù)據(jù)價值（收益）主要從數(shù)據(jù)資產(chǎn)的分類、

使用頻次、使用對象、使用效果和共享流通

等方面計量。數(shù)據(jù)資產(chǎn)價值評估881數(shù)據(jù)資產(chǎn)估值-數(shù)據(jù)只有在使用時才有價值，數(shù)據(jù)在一定時間未被使用是“負(fù)債”n

常見數(shù)據(jù)資產(chǎn)“

芯片

”

圖價值的定義可從被下載的次數(shù)，被調(diào)用的次數(shù)，屬性的數(shù)量、屬性結(jié)構(gòu)數(shù)來定義82展示層

功能層

數(shù)據(jù)層首頁數(shù)據(jù)概覽數(shù)據(jù)目錄數(shù)據(jù)服務(wù)我的待辦主題分析相關(guān)服務(wù)數(shù)據(jù)資源中心后服務(wù)主題

庫數(shù)據(jù)中臺業(yè)務(wù)平臺云平臺安全中臺管理中臺數(shù)據(jù)服務(wù)管理資源目錄管理門戶綜合服務(wù)業(yè)務(wù)用戶技術(shù)用戶管理用戶外部系統(tǒng)門戶整體架構(gòu)設(shè)計參考數(shù)據(jù)集成開發(fā)數(shù)據(jù)資產(chǎn)套件API網(wǎng)關(guān)數(shù)據(jù)采集交換工具數(shù)據(jù)資源目錄數(shù)據(jù)服務(wù)目錄用戶中心多級填報BI分析流程配置管理數(shù)據(jù)源管理用戶管理內(nèi)容管理三員管理數(shù)據(jù)權(quán)限脫敏服務(wù)日志管理其它服務(wù)創(chuàng)

建網(wǎng)關(guān)服務(wù)創(chuàng)

建目錄使用審核服務(wù)詳情查

看目錄審核發(fā)布目錄詳情數(shù)據(jù)模型維

護服務(wù)發(fā)布服務(wù)文檔維

護元數(shù)據(jù)管理目錄文件維護目錄使用申請資源目錄創(chuàng)

建服務(wù)幫助維

護服務(wù)同步網(wǎng)

關(guān)申請反饋網(wǎng)站群鏈接服務(wù)條款輪播展示數(shù)據(jù)申請公告展示用戶個人信

息服務(wù)指南平臺介紹展

示技術(shù)組

件層自建服務(wù)創(chuàng)建供應(yīng)鏈主題

庫采購成本主

題庫系統(tǒng)

管理安全

管理科技保障

主題庫財務(wù)管理

主題庫人力資源

主題庫營銷主題庫質(zhì)量主題庫……主題庫83申請服務(wù)權(quán)

限數(shù)據(jù)應(yīng)用全鏈路分析模型產(chǎn)品端URI訪問數(shù)據(jù)返回

監(jiān)控點配置全鏈路追蹤服務(wù)端日志記錄、業(yè)務(wù)數(shù)據(jù)回流

實時服務(wù)、離線同

步

統(tǒng)一元數(shù)據(jù)中心數(shù)據(jù)端從管理到運營：數(shù)據(jù)服務(wù)的內(nèi)部共享–API化根據(jù)反饋情況調(diào)整修改數(shù)據(jù)引擎

創(chuàng)建服務(wù)API

發(fā)布服務(wù)API安全的使?數(shù)據(jù)服務(wù)監(jiān)控審計反

使用效果評估

饋建設(shè)數(shù)據(jù)資

產(chǎn)有哪些數(shù)據(jù)服

務(wù)服務(wù)建設(shè)方

服務(wù)需求方獲取ACCESSTOKEN授權(quán)服務(wù)API上

線獲取服務(wù)列表使用情況統(tǒng)計注冊登錄調(diào)用服務(wù)84V資源目錄展示85數(shù)據(jù)資產(chǎn)展示86數(shù)據(jù)倉庫員工數(shù)據(jù)元模型數(shù)據(jù)集市高層次人才密度數(shù)據(jù)集市數(shù)據(jù)資產(chǎn)共享應(yīng)用示例：體現(xiàn)領(lǐng)導(dǎo)者、業(yè)務(wù)主題庫顧問、數(shù)據(jù)開發(fā)者、應(yīng)用開發(fā)者、

使用者多維度的數(shù)據(jù)管理主題庫建設(shè)數(shù)據(jù)實體結(jié)構(gòu)主題服務(wù)指標(biāo)員工數(shù)據(jù)實體結(jié)構(gòu)高層次人才密度服務(wù)服務(wù)申請申