元數(shù)據(jù)及數(shù)據(jù)質(zhì)量介紹.ppt

元數(shù)據(jù)及數(shù)據(jù)質(zhì)量介紹,20160303,議程內(nèi)容,數(shù)據(jù)管控元數(shù)據(jù)數(shù)據(jù)質(zhì)量問題與討論,26/13/2020,Confidential,隨著數(shù)據(jù)倉庫的不斷成長，你能回答下面的問題嗎？,36/13/2020,源系統(tǒng)發(fā)生變化后數(shù)據(jù)倉庫到底需要修改多少程序？發(fā)生了多少次變化？從年初到現(xiàn)在哪些系統(tǒng)變化最頻繁？某個ETL加工程序到底經(jīng)過多少開發(fā)人員的修改？每次改動的內(nèi)容是什么？哪個源系統(tǒng)的數(shù)據(jù)質(zhì)量最好？哪個小組開發(fā)質(zhì)量最高？哪些字段采用了公共代碼？代碼映射規(guī)則是什么？哪些字段是需要做變形的敏感字段？在不同環(huán)境下同步的變形策略是什么？,企業(yè)級信息管控體系,企業(yè)級信息管控戰(zhàn)略性和策略性管理，項目所有權(quán)和優(yōu)先次序設(shè)定數(shù)據(jù)管理界定日常持續(xù)創(chuàng)建、使用和廢止數(shù)據(jù)的職責(zé)元數(shù)據(jù)管理用來描述如何、何時和由誰來負(fù)責(zé)數(shù)據(jù)的接收、創(chuàng)建、訪問、修改和格式的數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)的業(yè)務(wù)、技術(shù)規(guī)范性文檔數(shù)據(jù)質(zhì)量數(shù)據(jù)滿足特定使用的適用度，包括完整性和業(yè)務(wù)規(guī)則遵從性數(shù)據(jù)整合對各主題進(jìn)行數(shù)據(jù)清理、轉(zhuǎn)換、整合和豐富的流程數(shù)據(jù)安全與隱私各業(yè)務(wù)主題對安全性和保密性的要求，包括審計能力主數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)以及定義企業(yè)運(yùn)營的關(guān)系,人員、流程和技術(shù),企業(yè)級信息管控,數(shù)據(jù)管理,主數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量,元數(shù)據(jù)管理,數(shù)據(jù)模型&業(yè)務(wù)視圖,數(shù)據(jù)安全與隱私,數(shù)據(jù)整合,數(shù)據(jù)標(biāo)準(zhǔn),46/13/2020,數(shù)據(jù)管控實施的三個方向,56/13/2020,Confidential,平臺：數(shù)據(jù)管控團(tuán)隊的工作必須建立在自動化的高效的信息平臺。接口：企業(yè)的信息系統(tǒng)之間應(yīng)按照數(shù)據(jù)管控接口規(guī)范進(jìn)行交互。模板：信息系統(tǒng)向數(shù)據(jù)管控平臺提交數(shù)據(jù)可以通過標(biāo)準(zhǔn)模板。,技術(shù),流程：根據(jù)管控要求建立可執(zhí)行工作流程，并嚴(yán)格執(zhí)行工作流程。規(guī)范：企業(yè)的各工作崗位有數(shù)據(jù)管控團(tuán)隊制訂的工作規(guī)范。制度：企業(yè)須建立數(shù)據(jù)管控的制度。,流程,組織：建立企業(yè)級的數(shù)據(jù)管控團(tuán)隊是數(shù)據(jù)管控的基礎(chǔ)。角色：團(tuán)隊中按照管控的內(nèi)容進(jìn)行崗位的設(shè)置，即角色。職責(zé)：不同的角色擁有詳細(xì)的工作職責(zé)。,組織,數(shù)據(jù)管控特點(diǎn),企業(yè)的分析型應(yīng)用發(fā)展到一定的成熟度，就能發(fā)現(xiàn)數(shù)據(jù)管控的價值。數(shù)據(jù)管控是跨系統(tǒng)、跨部門的管理。數(shù)據(jù)管控必須有先進(jìn)的管理方法論支持。數(shù)據(jù)管控是需要長期的、漸進(jìn)式的工作。數(shù)據(jù)倉庫是執(zhí)行數(shù)據(jù)管控理想的平臺。,66/13/2020,Confidential,企業(yè)數(shù)據(jù)管控成熟度,76/13/2020,Confidential,成熟度1：未知級,成熟度2：被動級,成熟度3：主動級,成熟度4：預(yù)測級,數(shù)據(jù)管控成熟度模型,我們建立了企業(yè)數(shù)據(jù)管控成熟度模型，該模型能夠使企業(yè)識別和量化數(shù)據(jù)管控的成熟度，為企業(yè)的下一步數(shù)據(jù)管控提供指導(dǎo)。你的企業(yè)處在哪一級？Unaware：未知的Reactive：被動的Proactive：能動的Predictive：預(yù)測的,86/13/2020,Confidential,回報,人員、流程、技術(shù)的整合程度,風(fēng)險,數(shù)據(jù)管控平臺架構(gòu),Database,數(shù)據(jù)管控知識庫,Metadata,DQ,DS,ETL,數(shù)據(jù)管控平臺B/S應(yīng)用,DDL,Excel,XML,SourceData,SQL,登錄,瀏覽,搜索,管理,下載,分析,管理,安全,Mart,PDM,Stage,DBA,Admin,ApplicationPlatform(TAP),業(yè)務(wù)單元,MVC,獨(dú)立單元,系統(tǒng)管理,數(shù)據(jù)標(biāo)準(zhǔn),元數(shù)據(jù),數(shù)據(jù)質(zhì)量,需求管理,數(shù)據(jù)安全,靈活查詢,數(shù)據(jù)管控平臺C/S應(yīng)用,ETL,DBC,Perl,開發(fā),應(yīng)用,需求開發(fā),SDM,信息調(diào)研,版本控制,測試,ETL開發(fā),工作模板,控制,批量,加工,數(shù)據(jù)管控平臺應(yīng)用,106/13/2020,Confidential,議程內(nèi)容,數(shù)據(jù)管控元數(shù)據(jù)數(shù)據(jù)質(zhì)量問題與討論,116/13/2020,Confidential,什么是元數(shù)據(jù),定義官方定義(CWM)：描述數(shù)據(jù)的信息。Metadataisstructuredinformationthatdescribesthecharacteristics/attributesofadataelement.數(shù)據(jù)分析界定義：分散在企業(yè)中的關(guān)鍵數(shù)據(jù)描述。Metadatadescribescriticalelementsofdatascatteredacrosstheorganization.通俗的說：如果數(shù)據(jù)倉庫是一座城市的話，元數(shù)據(jù)就是城市的地圖。,126/13/2020,Confidential,數(shù)據(jù)倉庫,元數(shù)據(jù),元數(shù)據(jù)的國際標(biāo)準(zhǔn)CWM,公共倉庫元模型（CWM:CommonWarehouseMetamodel）是為數(shù)據(jù)倉庫及商業(yè)智能環(huán)境間方便地交換元數(shù)據(jù)而制定的一個標(biāo)準(zhǔn)，其主要目的是在異構(gòu)環(huán)境下，幫助不同的數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進(jìn)行元數(shù)據(jù)交換。CWM模型為數(shù)據(jù)倉庫和商業(yè)智能（BI）工具之間共享元數(shù)據(jù)，制定了一整套關(guān)于語法和語義的規(guī)范。它主要包含以下四個方面的規(guī)范：CWM元模型（Metamodel）：描述數(shù)據(jù)倉庫系統(tǒng)的模型；CWMXML：CWM元模型的XML表示；CWMDTD：DW/BI共享元數(shù)據(jù)的交換格式；CWMIDL：DW/BI共享元數(shù)據(jù)的應(yīng)用程序訪問接口（API）。,136/13/2020,Confidential,CWM標(biāo)準(zhǔn)涉及到的元數(shù)據(jù)模型結(jié)構(gòu),數(shù)據(jù)倉庫為什么需要元數(shù)據(jù)管理,普通應(yīng)用系統(tǒng)為什么不需要元數(shù)據(jù)管理?表的數(shù)量少數(shù)據(jù)加工簡單數(shù)據(jù)來源單一訪問方式單一交鑰匙的應(yīng)用數(shù)據(jù)倉庫為什么必須元數(shù)據(jù)管理?上下游系統(tǒng)多,變更頻繁數(shù)據(jù)加工復(fù)雜用戶訪問方式復(fù)雜維護(hù)周期長某銀行的DW數(shù)據(jù)舉例:上游系統(tǒng)60個,下游系統(tǒng)20多個,倉庫內(nèi)部的表12000多個,運(yùn)行的ETL任務(wù)6000多個,每個月都有新版本上線,146/13/2020,Confidential,元數(shù)據(jù)架構(gòu),功能清單元數(shù)據(jù),166/13/2020,Confidential,元數(shù)據(jù),瀏覽,元數(shù)據(jù)地圖瀏覽元數(shù)據(jù)統(tǒng)計信息瀏覽全局版本比對DW來源系統(tǒng)元數(shù)據(jù)DW集市元數(shù)據(jù)DW/PDM元數(shù)據(jù)LDM元數(shù)據(jù)ETL、映射信息元數(shù)據(jù)數(shù)據(jù)文件元數(shù)據(jù)用戶查詢樣例元數(shù)據(jù)對象版本查看與比對影響分析血緣分析元數(shù)據(jù)質(zhì)量分析孤立對象分析全局檢索用戶注釋元數(shù)據(jù)下載,批量元數(shù)據(jù)加載元數(shù)據(jù)緩沖區(qū)管理元數(shù)據(jù)版本回滾業(yè)務(wù)元數(shù)據(jù)管理源系統(tǒng)元數(shù)據(jù)管理DW集市元數(shù)據(jù)管理DW/PDM元數(shù)據(jù)管理LDM元數(shù)據(jù)管理ETL元數(shù)據(jù)管理數(shù)據(jù)文件元數(shù)據(jù)管理查詢樣例管理元數(shù)據(jù)上傳元數(shù)據(jù)模板管理元數(shù)據(jù)橋接器管理版本管理,管理,執(zhí)行,元數(shù)據(jù)自動更新模塊ETL相關(guān)數(shù)據(jù)同步SQL解析處理模塊,元數(shù)據(jù)瀏覽的靈活性,元數(shù)據(jù)對象關(guān)系呈立體網(wǎng)狀看本體查看對象本身定義，例如表的名稱、注釋等信息。向上看查看對象所屬對象的定義，例如表所歸屬的數(shù)據(jù)庫。向下看查看對象包含的對象的定義，例如表所包含的字段、索引等。向前看查看對象的上游信息對象，例如該表的數(shù)據(jù)的來源表。向后看查看對象的下游信息對象，例如該表的數(shù)據(jù)的目標(biāo)表?？礆v史查看對象的歷史變更信息。例如該表在上一個版本中的內(nèi)容。看友鄰查看與對象有關(guān)系的其他對象，例如涉及該表的腳本等信息。,176/13/2020,Confidential,歷史對象,所屬對象,包含對象,目標(biāo)對象,來源對象,本體對象,核心價值：元數(shù)據(jù)分析功能,186/13/2020,Confidential,影響分析向下分析一個元數(shù)據(jù)對象對下游對象的影響。血緣分析與影響分析的方向相反，向上追溯一個對象的數(shù)據(jù)來源。全鏈分析從某對象出發(fā)，向上下游雙方向進(jìn)行分析?；盍Ψ治龇治鲆粋€數(shù)據(jù)庫對象被訪問的頻度。孤立對象分析分析數(shù)據(jù)準(zhǔn)備區(qū)(SData)、物理模型區(qū)(PData)中的孤立元數(shù)據(jù)對象。一致性分析定期分析元模型中的元數(shù)據(jù)是否與實際情況一致。版本比對選擇任意兩個時點(diǎn)的版本進(jìn)行比對。質(zhì)量分析分析數(shù)據(jù)倉庫中的元數(shù)據(jù)的質(zhì)量。,徹底解決影響/血緣分析放大的問題,由于DW的LDM大多采用三范式建模，因此LDM的核心表會有大量的來源與目標(biāo)，一旦做影響分析，結(jié)果就會擴(kuò)散放大。最終導(dǎo)致分析結(jié)果無法使用。采用智能SQL解析器模塊，能分析數(shù)據(jù)的真實來源與目標(biāo)。此項技術(shù)是業(yè)界領(lǐng)先的。,196/13/2020,Confidential,非精細(xì)化解析結(jié)果,精細(xì)化解析結(jié)果,系統(tǒng)簡要介紹元數(shù)據(jù),206/13/2020,Confidential,選擇的元數(shù)據(jù)管理的10個理由,完美結(jié)合數(shù)據(jù)庫的產(chǎn)品，充分利用數(shù)據(jù)庫性能。完美結(jié)合的數(shù)據(jù)倉庫實施方法論，貼合項目實際。是CWM規(guī)范制定者之一，符合業(yè)界標(biāo)準(zhǔn)的元數(shù)據(jù)產(chǎn)品。能快速動態(tài)生成全域元數(shù)據(jù)地圖，DW信息一目了然。徹底解決影響/血緣分析放大的問題。能夠直接導(dǎo)入LDM，并以圖形化顯示。是企業(yè)級數(shù)據(jù)管控架構(gòu)的基礎(chǔ)。元數(shù)據(jù)驅(qū)動數(shù)據(jù)倉庫開發(fā)過程，支持模型設(shè)計、ETL開發(fā)?？蓴U(kuò)展性好，能夠無縫實現(xiàn)企業(yè)級元數(shù)據(jù)管理。功能強(qiáng)大，性能卓越，性價比高。,216/13/2020,Confidential,議程內(nèi)容,數(shù)據(jù)管控元數(shù)據(jù)數(shù)據(jù)質(zhì)量問題與討論,226/13/2020,Confidential,中國金融行業(yè)數(shù)據(jù)質(zhì)量管理的發(fā)展歷程,236/13/2020,Confidential,2003,2006,2008,2010,1.簡單的檢查腳本。2.少量的技術(shù)和業(yè)務(wù)檢查規(guī)則。3.沒有專門的數(shù)據(jù)質(zhì)量檢查團(tuán)隊，包含在ETL工作中。4.被動式檢查，救火隊式工作。,1.第一次開發(fā)出數(shù)據(jù)質(zhì)量檢查管理系統(tǒng)，并且在建行DW部署。2.大量的技術(shù)檢查，少量的業(yè)務(wù)檢查。3.有了專門的質(zhì)量小組。,1.數(shù)據(jù)管理平臺開發(fā)完成，數(shù)據(jù)質(zhì)量與元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)等集成在一起，并在建行、工行部署。2.大量的技術(shù)和業(yè)務(wù)檢查規(guī)則。3.主動的技術(shù)檢查；被動的業(yè)務(wù)檢查。,1.完善數(shù)據(jù)管理平臺。2.抽象出規(guī)范化的金融行業(yè)的業(yè)務(wù)檢查規(guī)則。3:推動質(zhì)量檢查的閉環(huán)工作。4:實現(xiàn)主動式的業(yè)務(wù)檢查。,數(shù)據(jù)質(zhì)量管理的指標(biāo),我們需要什么樣的數(shù)據(jù)完整的所需求的數(shù)據(jù)是否都已經(jīng)獲得一致的從不同應(yīng)用獲得數(shù)據(jù)能否保持一致有效的數(shù)據(jù)是否容易理解而不被曲解準(zhǔn)確的數(shù)據(jù)是否在任何時間點(diǎn)都反應(yīng)了數(shù)據(jù)的真實情況相關(guān)的有關(guān)聯(lián)的數(shù)據(jù)之間的關(guān)系是否準(zhǔn)確有效及時的從信息產(chǎn)生到數(shù)據(jù)可用需要多長時間,246/13/2020,Confidential,數(shù)據(jù)質(zhì)量問題成因魚骨圖分析,數(shù)據(jù)質(zhì)量問題來源廣泛、復(fù)雜,256/13/2020,Confidential,數(shù)據(jù)質(zhì)量問題,技術(shù),人,流程,信息,培訓(xùn),管理,激勵,上崗培訓(xùn),進(jìn)修,目標(biāo),責(zé)任心,優(yōu)先級,反饋,獎勵,元數(shù)據(jù),模型,定義,加工,完整性,精確性,度量,有效性,數(shù)據(jù)傳遞,及時性,漏傳,基礎(chǔ)設(shè)施,OS,網(wǎng)絡(luò),硬件,實施,復(fù)查,產(chǎn)品,性能,缺陷,測試,配置,覆蓋率,數(shù)據(jù),變化頻度,流程,設(shè)計,優(yōu)化,架構(gòu),設(shè)計,工具,數(shù)據(jù)質(zhì)量問題氣泡圖分析,266/13/2020,Confidential,項目組,數(shù)據(jù)管理團(tuán)隊,企業(yè),客戶,可控范圍不可控,技術(shù)質(zhì)量性質(zhì)業(yè)務(wù),唯一性,完整性,管理,客戶信息,源系統(tǒng),系統(tǒng)調(diào)研,樣本數(shù)據(jù),開發(fā),測試,外鍵,主鍵,架構(gòu),值域,業(yè)務(wù)規(guī)則,模型,有效性,相關(guān)性,溝通,及時性,數(shù)據(jù)質(zhì)量改進(jìn)流程PDCA,PDCA環(huán)簡稱DemingCycle，由質(zhì)量大師戴明發(fā)明P計劃D執(zhí)行C檢查A行動沒有形成這個閉環(huán)，就不會有質(zhì)量的改進(jìn)根據(jù)PDCA原理，設(shè)計出適合企業(yè)的質(zhì)量提升流程,276/13/2020,Confidential,計劃,PDCA環(huán),執(zhí)行,檢查,行動,PDCA例子P:在眾多的質(zhì)量問題中選擇某一個問題準(zhǔn)備改進(jìn)。D:在部分分支機(jī)構(gòu)執(zhí)行質(zhì)量改進(jìn)方案。C:通過DW反饋評估質(zhì)量改進(jìn)效果。A:制定數(shù)據(jù)質(zhì)量改進(jìn)指引，下發(fā)全部機(jī)構(gòu)，并監(jiān)督改進(jìn)情況。,戴明名言:質(zhì)量無須驚人之舉。每個人都有客戶，如果他不知道自己的客戶是誰，也不知道客戶需要的是什么，那么他還沒有了解自己的工作。質(zhì)量提高不是來自于檢驗而是來源于過程的改進(jìn)。企業(yè)買不到高質(zhì)量的方法。,質(zhì)量以滿足客戶的需求為原則,數(shù)據(jù)流轉(zhuǎn)概述：核心系統(tǒng)的數(shù)據(jù)文件通過文件傳輸平臺傳輸?shù)綌?shù)據(jù)倉庫，數(shù)據(jù)倉庫加工數(shù)據(jù)后傳送給數(shù)據(jù)集市。問題：數(shù)據(jù)集市報告數(shù)據(jù)倉庫傳送的數(shù)據(jù)有錯誤，但是據(jù)數(shù)據(jù)倉庫的技術(shù)人員反饋，以前出過類似情況，這可能是核心系統(tǒng)下數(shù)錯誤，也不排除文件傳輸平臺漏數(shù)的情況，因此，數(shù)據(jù)集市應(yīng)該就這個質(zhì)量問題找誰？,286/13/2020,Confidential,核心系統(tǒng),文件傳輸平臺,數(shù)據(jù)倉庫,數(shù)據(jù)集市,A:找數(shù)據(jù)倉庫B:找文件傳輸平臺C:找核心系統(tǒng)D:按順序全找,正確答案：A企業(yè)要建立起下游即用戶，用戶永遠(yuǎn)是第一的原則，任何系統(tǒng)都要接受下游投訴并妥善處理的原則。,完善開發(fā)管理流程,DW相關(guān)應(yīng)用開發(fā)遵守軟件開發(fā)管理流程建立三套隔離環(huán)境：開發(fā)及SIT測試、UAT測試、生產(chǎn),296/13/2020,Confidential,數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量組織角色與職責(zé),數(shù)據(jù)質(zhì)量組組長(1)數(shù)據(jù)質(zhì)量組個人工作計劃收集,制定中長期工作計劃定期向項目經(jīng)理匯報數(shù)據(jù)質(zhì)量治理情況協(xié)調(diào)本組與數(shù)據(jù)倉庫各小組之間的工作數(shù)據(jù)質(zhì)量專家顧問(1)為數(shù)據(jù)質(zhì)量工作制定中長期的建設(shè)規(guī)劃熟悉模型建設(shè),應(yīng)用開發(fā),為數(shù)據(jù)質(zhì)量組工作提供指導(dǎo)審核數(shù)據(jù)質(zhì)量組組間的工作聯(lián)系單和檢核腳本質(zhì)量問題外部聯(lián)絡(luò)與追蹤人員(1)數(shù)據(jù)質(zhì)量組與源系統(tǒng)工作聯(lián)系單的收集與跟蹤數(shù)據(jù)倉庫運(yùn)維過程中事故記錄與日常問題的整理數(shù)據(jù)質(zhì)量知識庫的維護(hù)日常檢查人員(1-2)每日數(shù)據(jù)記錄,代碼檢查,主鍵重復(fù)等日常檢查的結(jié)果查看與報告數(shù)據(jù)質(zhì)量運(yùn)行平臺系統(tǒng)的維護(hù)專項檢查人員(1-2)處理臨時性的協(xié)同工單數(shù)據(jù)質(zhì)量問題檢查專項的數(shù)據(jù)質(zhì)量問題治理檢查數(shù)據(jù)倉庫的數(shù)據(jù)治理與改進(jìn),306/13/2020,Confidential,數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量問題治理流程,316/13/2020,Confidential,數(shù)據(jù)管理平臺數(shù)據(jù)質(zhì)量管理子系統(tǒng)架構(gòu),326/13/2020,Confidential,數(shù)據(jù)質(zhì)量管理的手段與工具,數(shù)據(jù)質(zhì)量手段分類數(shù)據(jù)收集手段數(shù)據(jù)分析手段文檔技術(shù)手段結(jié)果展現(xiàn)手段問題與改進(jìn)手段QA控制手段,336/13/2020,Confidential,數(shù)據(jù)質(zhì)量技術(shù)與工具數(shù)據(jù)質(zhì)量指標(biāo)積分卡數(shù)據(jù)質(zhì)量管理平臺(含元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn))用戶調(diào)查表、溝通成本分析、問題起源分析、時間行動分析評估與選擇、頭腦風(fēng)暴、優(yōu)先級技術(shù)過程文檔、項目管理圖表（清單、柱圖、原因效果矩陣圖、帕累托圖、數(shù)據(jù)流程圖）質(zhì)量回顧、質(zhì)量循環(huán)知識庫、論壇培訓(xùn),數(shù)據(jù)質(zhì)量指標(biāo)積分卡,346/13/2020,Confidential,-SummaryScorecardExample-,功能清單數(shù)據(jù)