數(shù)據(jù)質量管理

數(shù)據(jù)質量管理(DQC)數(shù)據(jù)質量概述PART

01評價方法PART

02數(shù)據(jù)質量管理PART

03數(shù)據(jù)質量愿景PART

04CONTENTS數(shù)據(jù)質量概述PART

01基本概念

數(shù)據(jù)質量管理（DataQualityManagement），是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質量獲得進一步提高

數(shù)據(jù)質量管理不是一時的數(shù)據(jù)治理手段，而是循環(huán)的管理過程。其終極目標是通過可靠的數(shù)據(jù)，提升數(shù)據(jù)在使用中的價值，并最終為企業(yè)贏得經(jīng)濟效益影響因素

數(shù)據(jù)問題的來源可能產(chǎn)生于從數(shù)據(jù)源頭到數(shù)據(jù)存儲介質的各個環(huán)節(jié)。在數(shù)據(jù)采集階段，數(shù)據(jù)的真實性、準確性、完整性、時效性都會影響數(shù)據(jù)質量。數(shù)據(jù)的加工、存儲過程都有可能涉及對原始數(shù)據(jù)的修改，從而引發(fā)數(shù)據(jù)的質量問題。所以，技術、流程、管理等多方面的因素都有可能會影響到數(shù)據(jù)質量。

數(shù)據(jù)質量評價方法PART

02評估維度完整性一致性準確性真實性唯一性關聯(lián)性及時性1.完整性唯一性約束不完整、參照不完整；數(shù)據(jù)條目不完整，例如：數(shù)據(jù)記錄丟失或不可用；數(shù)據(jù)屬性不完整，例如：數(shù)據(jù)屬性空值。2.一致性多源數(shù)據(jù)的數(shù)據(jù)模型不一致，例如：命名不一致、數(shù)據(jù)結構不一致、約束規(guī)則不一致。例如：數(shù)據(jù)編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。數(shù)據(jù)內容沖突的問題。3.準確性準確性也叫可靠性，是用于分析和識別哪些是不準確的或無效的數(shù)據(jù)，不可靠的數(shù)據(jù)可能會導致嚴重的問題，會造成糟糕的決策。4.唯一性用于識別和度量重復數(shù)據(jù)、冗余數(shù)據(jù)。重復數(shù)據(jù)是導致業(yè)務無法協(xié)同、流程無法追溯的重要因素，也是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。5.關聯(lián)性數(shù)據(jù)關聯(lián)性問題是指存在數(shù)據(jù)關聯(lián)的數(shù)據(jù)關系缺失或錯誤，例如：函數(shù)關系、相關系數(shù)、主外鍵關系、索引關系等。6.真實性數(shù)據(jù)必須真實準確的反映客觀的實體存在或真實的業(yè)務7.及時性數(shù)據(jù)的及時性(In-time)是指能否在需要的時候獲到數(shù)據(jù)數(shù)據(jù)質量管理PART

03數(shù)據(jù)質量管理事前事中事后事前定義監(jiān)控規(guī)則事后分析數(shù)據(jù)質量事中稽核數(shù)據(jù)質量事前定義監(jiān)控規(guī)則事前定義監(jiān)控規(guī)則梳理指標確定對象（多表、單表、字段）制定規(guī)則通過資產(chǎn)等級、制定數(shù)據(jù)質量稽核規(guī)則事中稽核數(shù)據(jù)質量數(shù)據(jù)完整性事中的數(shù)據(jù)完整性，一般指的是條目完整，最常用的就是使用ods層的數(shù)據(jù)和業(yè)務庫數(shù)據(jù)做數(shù)據(jù)量的比對事中稽核數(shù)據(jù)質量數(shù)據(jù)唯一性事中的數(shù)據(jù)唯一性，一般指的對數(shù)據(jù)模型表進行主鍵唯一性校驗，即count(1),count(distinctid)不相等的話，則需要告警事中稽核數(shù)據(jù)質量數(shù)據(jù)非空性事中的數(shù)據(jù)非空性，主要指2點1.字段的空值率，看看是不是由于開發(fā)過程中的bug造成，如果不是的話需要看一下是否有其他方式回補2.對于字段值為空的時候，應該使用缺省值填充事中稽核數(shù)據(jù)質量數(shù)據(jù)有效性事中的數(shù)據(jù)有效性，主要是存儲的數(shù)據(jù)實例或格式是否和數(shù)據(jù)值域一致，一般是枚舉值，值域范圍或者格式，如果不一致，則需要告警并且及時處理事中稽核數(shù)據(jù)質量數(shù)據(jù)準確性事中的數(shù)據(jù)準確性，一般指2點1.數(shù)據(jù)指標的波動稽核，需要設置閾值2.相關的幾個字段或者幾張表之間，是不是存在邏輯沖突的情況事中稽核數(shù)據(jù)質量數(shù)據(jù)及時性事中的數(shù)據(jù)及時性，一般指的是a任務一般運行30分鐘，并且2點左右就能跑完，但是通過稽核程序發(fā)現(xiàn)，3點該任務還沒開始跑，或者已經(jīng)跑了1個小時還沒結束，可能會造成下游任務延遲，需要及時電話告警，讓值班人員看一下是哪里卡住了，集群或者調度事中告警機制電話告警對于非常重要的異?；巳蝿招枰娫捀婢⑶医K止任務，比如完整性，唯一性，準確性，及時性郵件告警不需要晚上及時處理的稽核任務，只需要郵件和短信告警，如枚舉值校驗，數(shù)據(jù)非空性校驗短信告警不需要晚上及時處理的稽核任務，只需要郵件和短信告警，如枚舉值校驗，數(shù)據(jù)非空性校驗010203事后分析數(shù)據(jù)質量綜合分析（概覽）表打分模型同環(huán)比分析排名分析數(shù)據(jù)質量模型按照之前定好的稽核規(guī)則，用spark程序把全集團的數(shù)據(jù)跑一遍，結果數(shù)據(jù)存儲在mysql，然后使用datax將結果數(shù)據(jù)抽取回數(shù)倉并進行數(shù)據(jù)模型建設事后分析數(shù)據(jù)質量最終的模型數(shù)據(jù)需要以報表形式在數(shù)據(jù)分析平臺展示，如果可以的話，還能展示數(shù)據(jù)質量模型明細數(shù)據(jù)數(shù)據(jù)分析平臺支持excel，pdf，png等格式的導出124質量報告異常任務以各種形式及時通知到責任人，并在規(guī)定時間內整改完成告警及整改如果發(fā)現(xiàn)數(shù)據(jù)質量問題不是數(shù)據(jù)開發(fā)造成的，可以反推業(yè)務方進行整改反推3可訂閱自己比較關心的主題，表或者規(guī)則，郵件只會發(fā)送訂閱內容，明細數(shù)據(jù)可在數(shù)據(jù)平臺查