一文解析數據治理體系方法

一文解析數據治理體系方法數據治理是指組織對數據進行全面管理、維護和優(yōu)化的過程。數據治理目的在于確保數據的正確、一致、可靠，并推進數據共享、數據價值挖掘和數字化轉型。通過數據治理，企業(yè)可以更好地利用數據，提升業(yè)務效率和競爭力。本文探討數據治理體系方法以及如何結合數據管理能力成熟度模型評估企業(yè)數據管理能力。01為什么要做數據治理？數據作為推動經濟社會發(fā)展及數字化轉型的新動能已成為社會共識，數據治理作為基礎性工作，受到越來越多企事業(yè)單位的重視。1、隨著企業(yè)信息化和數字化的發(fā)展，企業(yè)數據“多”管理問題引發(fā)的結果：2、隨著信息化發(fā)展，企業(yè)在不同業(yè)務領域建立了眾多的異構系統(tǒng)，由于廠商眾多，導致平臺和技術各異。3、系統(tǒng)維護都是各自為政，基礎數據維護工作在各自屬地業(yè)務系統(tǒng)進行維護，來源不清晰、缺乏協調。4、各業(yè)務系統(tǒng)對數據的維護模型不同，導致各自的數據標準規(guī)范不統(tǒng)一，如：客商、物料等的分類標準。5、同一數據在不同的系統(tǒng)中編碼不一樣，尤其物料，甚至同一業(yè)務板塊，不同單位的物料編碼都不一致。6、由于平臺和開發(fā)語言不同，實現數據互通，導致系統(tǒng)之間的接口繁多以及多種接口標準，系統(tǒng)集成和接口管理成本上升。數據確權、數據質量、數據安全、數據流通已成為影響數據要素價值潛力發(fā)揮的重要因素，如何做好大數據治理工作成為數字化轉型的新挑戰(zhàn)。數據治理是一個需要長期投入的工作，涉及業(yè)務和技術等方方面面，影響范圍及復雜度高，治理效率尤為重要。02企業(yè)數據治理的現狀及痛點企業(yè)已經認識到數據價值的重要性，紛紛通過數據治理活動來挖掘數據的價值，提升數據管理水平。但還是存在很多問題，主要有6個方面：1、對數據治理概念的理解還是比較模糊。往往只關注了數據治理中的某些環(huán)節(jié)，沒有形成數據治理閉環(huán)；2、數據治理工作沒有總裁辦、風險管理等部門參與。導致數據治理面臨溝通協調困難，治理效率低下和效果不明顯。3、沒有建立統(tǒng)一的數據質量體系、方法和規(guī)范4、在數據治理落地實施、績效評價等方面還沒有專門的標準來指導5、缺乏可行有效的監(jiān)督、考核、評價機制，數據治理工作無法常態(tài)化6、缺少配套的數據標準工具，支持數據標準落地03數據治理方法論體系框架數據治理體系框架由四大管理層次和十一大管理領域組成，四大管理層次包括數據治理遠景、數據治理驅動力、數據治理核心管控和數據治理基礎支撐。1、數據治理遠景：主要就是數據戰(zhàn)略與規(guī)劃，數據戰(zhàn)略是跟企業(yè)戰(zhàn)略、業(yè)務戰(zhàn)略密切相關的。戰(zhàn)略的維度包括數據價值、數據文化、與業(yè)務價值一致性、總體擁有成本、數據在業(yè)務戰(zhàn)略中的能動作用等。2、數據驅動業(yè)務運營通過數據資產化、資產價值化、價值場景化、場景智能化來實現數據驅動業(yè)務運營。3、數據組織和人才明確企業(yè)內部各級組織應負有的數據治理責任，為數據治理體系的正常運轉，提供了人員和組織的保證，將數據治理上升到企業(yè)組織層面。4、數據管理制度與流程包括制度框架、制度層級、制度管理流程、制度編制情況及范圍等。管理制度又可以細分管理規(guī)范、管理辦法和工作指引三個層面。主要有數據質量管理、數據生存周期管理、主數據管理、數據安全管理等。5、數據質量管理主要提供對不符合規(guī)則的數據進行探查、發(fā)現、修復、報告的閉環(huán)管理，實現組織數據質量管理體系線上全流程閉環(huán)，持續(xù)不斷提升數據質量，滿足業(yè)務需求，輔助業(yè)務決策。6、數據生存周期管理在數據從產生、應用、歸檔到銷毀的整個生命周期全過程進行有效的自動化管理，針對不同生命周期階段的數據建立多層次的數據自動存儲體系，降低系統(tǒng)運營成本，又滿足最終用戶的數據訪問和應用的需求。7、主數據管理主數據用來定義、管理和共享組織的主數據信息，保證主數據在各個信息系統(tǒng)間的準確性、一致性、完整性。8、數據安全管理數據安全管理是數據治理體系的核心部分，包括數據安全規(guī)范管理、數據安全運行管理、數據安全技術能力、數據安全審計等方面。主要有數據架構與標準、元數據與數據資產、技術架構與數據交換。9、數據架構與標準數據架構與數據標準的業(yè)務、技術規(guī)范，以及理解數據、處理數據的相關細節(jié)信息，是建立數據治理體系所需的基礎性保障，也是支持“核心管控層”相關領域落地的基礎10、元數據與數據資產：元數據是“關于數據的數據”。元數據標注、描述或者刻畫其他數據，以便檢索、解讀或使用信息更容易。對數據上下文背景、歷史和起源進行完整地記錄并管理。通過分層架構表達對數據的分類和定義，厘清數據資產。11、技術架構與數據交換數據共享交換面向數據交換全生命周期管理，提供多類型的資源共享通道，打通各交換節(jié)點之間的數據壁壘，保證各交換節(jié)點業(yè)務系統(tǒng)之間互聯互通，實現跨部門、跨層級、跨地域的信息資源交換共享。04數據治理咨詢方案、步驟數據治理體系規(guī)劃總體框架，從大的方面可以分為三個階段：第一階段理規(guī)劃，也就是咨詢階段；第二階段搭平臺，也就是交付落地階段；第三階段建閉環(huán)，也就是數據驅動運營階段。對數據治理咨詢來講，我們的目標和策略是基于消費者驅動，重塑企業(yè)價值鏈，打造場景與業(yè)態(tài)（產品線條）、線上與線下、企業(yè)與伙伴、企業(yè)與員工、員工與用戶、用戶與用戶的關系，重新定義和規(guī)劃觸點互動策略、業(yè)務策略和數據策略，在此基礎上提供完整的數據治理解決方案，包括組織體系建設、數據管理制度、數據資產盤點等。第一階段咨詢的重點在于對數據資產的定義、規(guī)劃、梳理。第二階段是對第一階段成果的落地實施。首先是對現有湖倉一體化平臺進行延展，全域數據入湖倉數據一體化平臺，然后搭建數據治理平臺支撐數據治理管理工作，切實建立起企業(yè)數據管理能力。第三階段是在建立體系和平臺后的基礎上做運營閉環(huán)，通過數據驅動賦能業(yè)務創(chuàng)新、數據價值變現，為企業(yè)帶來持續(xù)價值增長。數據治理體系工作預計包含以下三個階段：數據治理體系現狀分析與評估、數據治理體系設計與規(guī)劃、數據治理體系建設，每個階段又分不同的任務。步驟一：現狀分析與評估：通過訪談、調研問卷、收集客戶資料等方式獲取在數據治理領域的資料，通過對收集資料的整理、歸納，分析數據治理的現狀、問題等，結合成熟度評估模型評估對現狀進行評估，根據評估的結果和同業(yè)領先銀行對標找出差距，最后從專業(yè)角度提出改進建議。步驟二：數據治理體系設計與規(guī)劃：根據現狀評估的結果，進行數據治理體系設計，主要包括數據治理體系功能框架、數據治理組織和制度框架、數據治理能力提升路線圖、信息中心職能規(guī)劃及提升路線圖。步驟三：數據治理體系建設：根據數據治理體系設計與規(guī)劃的成果，制定數據管理管理規(guī)范、管理辦法、工作指引。根據數據治理體系設計與規(guī)劃的成果，制定數據管理政策，制定數據管理工作的考核方案、考核指標、考核制度。建立數據標準全生命周期管理的流程和制度，編制基礎類數據、公共代碼基礎數據標準、核心指標數據標準并給出差異分析與落地建立，設計數據標準管理系統(tǒng)的業(yè)務需求。建立數據質量管理管理模式、管理流程和制度，同時建立數據質量認責機制。定義本項目數據質量提升數據范圍并制定度量規(guī)則，依據度量規(guī)則在相關系統(tǒng)進行數據質量探查和分析，針對分析結果進行制定數據質量整改建議。1、確定評估方案，本階段的主要任務是理解企業(yè)前期資料，設計評估維度與關鍵指標。主要工作內容有收集、理解前期獲得的企業(yè)架構、戰(zhàn)略規(guī)劃、業(yè)務介紹、湖倉一體化平臺建設等資料，基于理解的內容，設計與本次評估相關的評估維度與關鍵指標。產出物為現狀評估模板與調研訪談問題。2、收集與理解，本階段的主要任務是收集行業(yè)參考實踐的內容及企業(yè)內部參考資料，包括業(yè)務、技術和數據資料三方面。另外，以問卷調查和現場訪談的形式，對企業(yè)的各級人員進行調研，包括戰(zhàn)略領導層、部門管理層、部門骨干人員等。產出物為問卷調查結果和訪談記錄。3、執(zhí)行評估，本階段的主要任務是將企業(yè)現狀與未來期望和行業(yè)參考實踐進行比較，找出差距，識別改進機會點?；诙床炝Φ臉I(yè)務判斷，提出建議和行動計劃。本階段的產出物為企業(yè)現狀評估結果與改進方向。參考文章《用“數據金字塔”解析“數據管理能力成熟度模型（DCMM）”》中數據管理能力成熟度等級模型，對企業(yè)數據管理能力成熟度進行評估。例如企業(yè)企業(yè)數據管理能力成熟度評估結果如下：數據治理遠景-數據治理戰(zhàn)略與規(guī)劃戰(zhàn)略決定了企業(yè)架構，企業(yè)架構是從全局的角度審視與信息化相關的業(yè)務、數據、技術和應用的相互作用，企業(yè)架構由業(yè)務架構、數據架構、應用架構和技術架構共同組成。數據戰(zhàn)略包括數據價值、數據文化、與業(yè)務價值一致性、總體擁有成本、數據在業(yè)務戰(zhàn)略中的能動作用等。組織、制度、角色和流程等配套機制來保障和達成。管控領域指實施數據治理所采取的技術手段，包括數據標準、元數據、數據質量、數據生命周期、數據安全等。要實現這些數據治理相關領域，需要一套技術體系來支撐。數據治理驅動力-數據驅動業(yè)務運營數據驅動業(yè)務運營指的是在數據治理的基礎上，通過數據分析和挖掘來驅動業(yè)務運營的決策和優(yōu)化。通過對數據的規(guī)范化、清洗和整合，構建質量高、結構化清晰、可信度高的數據集，提供準確的數據支持來分析和決策。數據治理的數據驅動業(yè)務運營可以幫助企業(yè)發(fā)現和利用業(yè)務數據中的隱藏價值，優(yōu)化業(yè)務流程和服務，提高業(yè)務效率，提升競爭力。數據治理驅動力-

數據治理組織與職責數據治理組織架構的設置目的在于：建立明確的數據治理組織架構與人員角色定義，明確某類數據的責任人，定義不同數據責任人的職責，對某一特定數據范圍內的信息的正確性、一致性和及時性負責。從數據管理的工作特點來分析，既需要各個業(yè)務部門深入參與數據治理工作，承擔數據標準制定、數據質量整改、數據應用等職責，同時也需要有一個集中的組織，總體協調、指導、監(jiān)督數據治理工作的開展。因此，建議構建決策層、管理層、執(zhí)行層的三層數據管理組織架構，具體如下：企業(yè)數據組織和人才架構包括：數據治理決策委員會、數據治理辦公室、數據運營。數據治理辦公室在決策委員會的指導下，支持、確認數據治理相關的戰(zhàn)略規(guī)劃與政策；與業(yè)務部門、技術部門溝通確認數據治理的工作目標。數據治理決策委員會是公司數據管控的決策和領導組織，由企業(yè)高層領導CEO/CIO/CFO及業(yè)務負責人掛帥。數據治理委員會由主管數字化和大數據技術的領導，數據管控的相關業(yè)務部門或業(yè)務條線派駐的領導組成。數據治理辦公室，指定數據治理經理人員，下設各數據治理領域相關的數據模型主管及建模師、數據架構主管及數據架構管理員、數據質量主管及數據質量管理員、數據安全主管及數據安全管理員、數據標準主管及數據標準管理員、元數據主管及元數據管理員。負責頒布數據治理的方案、流程、報告執(zhí)行結果，管理跨業(yè)務組織的數據內容。數據運營組織，由各業(yè)務部門和數據管理部門組成，其中，每個業(yè)務部門需指定業(yè)務線負責人，其他業(yè)務部門人員可從數據治理的角度分為數據責任人、數據使用人員、業(yè)務定義人員及數據錄入人員。數據治理組織體系設計的目的不僅僅停留在組織架構的層面，更重要的是為了指導各領域實際管理流程環(huán)節(jié)的落地開展。在項目中，將在對每個領域的職責劃分的基礎之上，借鑒“RACI”方法，把具體職責分配到相應的角色上，從而幫助形成各個領域的管理流程環(huán)節(jié)?！癛ACI”是一個相對直觀的模型，用以明確組織變革過程中的各個角色及其相關責任，可以確保各項職責的角色分配科學、明晰、精確。RACI圖表計劃可以幫助我們有組織地、按統(tǒng)一的格式來明確一個工作團隊中個人的角色及職責；根據RACI圖表中的分工，各小組或個人的角色及職責得以明確溝通；理解不一致得以避免，團隊協作得以加強；避免了無畏的工作；“被咨詢人”及“被通知人”起到了跨職能部門的溝通作用。數據治理驅動力-

數據治理制度與流程管理政策與制度的目的在于：通過政策和規(guī)范的方式發(fā)布數據治理各個相關部門的責任，明確數據治理各領域的政策、規(guī)范和實施辦法，確保數據治理的管理原則和執(zhí)行是一致地貫穿全公司，改變或規(guī)范各個部門數據治理人員的行為。根據數據管理的層次和授權決策次序，數據管理制度框架分為政策、制度、細則三個梯次，該框架標準化地規(guī)定數據管理的具體領域、各個數據管理領域內的目標、遵循的行動原則、完成的明確任務、實行的工作方式、采取的一般步驟和具體措施。數據治理核心管控

-數據質量數據質量管理主要提供對不符合規(guī)則的數據進行探查、發(fā)現、修復、報告的閉環(huán)管理，實現企業(yè)數據質量管理體系線上全流程閉環(huán)，持續(xù)不斷提升數據質量，滿足業(yè)務需求，輔助業(yè)務決策。數據質量管理分為四個步驟，如下圖所示：

1、定義：確定數據質量需求，為項目確定與業(yè)務需求相一致的成功衡量指標，即確定數據質量分析維度、規(guī)則、評估指標，為數據質量分析提供標準和依據。如質量稽核規(guī)則包含維度大小類、業(yè)務提出部門、源系統(tǒng)、數據庫表、字段、取值范圍及腳本邏輯等。

2、稽核：根據定義的分析維度、規(guī)則等，對選定的數據進行檢查。在數據質量檢查中，通常需要用統(tǒng)一的數據質量檢查規(guī)則模板，從而保證數據質量檢查過程中標準的一致性。通常會編寫數據質量稽核腳本，即根據數據質量稽核規(guī)則“翻譯”為數據治理平臺上數據質量稽核工具使用的語句。如使用SQL對關系數據庫中的數據進行測量，執(zhí)行測量腳本，獲得每個測量規(guī)則的質量指標值，以及問題數據樣本文件。3、分析：在做完數據質量稽核工作后，然后就是對根據檢查的結果進行評估分析，發(fā)現形成數據質量問題的原因，作為定義數據質量改進點的依據。稽核階段獲得的異常數據是主要的分析對象，從中挑選具有代表性的異常數據記錄，向業(yè)務部門和IT技術人員通過訪談或調查方式分析造成數據的原因。并將問題原因歸類，作為識別和定義數據質量改進點的信息依據。依據經驗，建議從技術問題域、流程問題域、信息問題域、管理問題域四大方面進行分析造成數據質量的原因，每個類別下又可細分原因類型，每個細分類型下在項目執(zhí)行過程中將通過訪談等方式作第三級的進一步細分，生成并提交數據質量評估報告。4、彌補：根據數據質量原因分析結果，規(guī)劃數據質量彌補方案，提升數據質量。基于前述階段稽核發(fā)現的數據質量問題，以及數據質量問題產生原因的分析，在數據彌補方案階段將制定有針對性的數據質量改進方案與任務，并制定數據質量改進實施方案。也有些企業(yè)，在實施數據中臺和和數據應用時，此前沒有做數據治理相關工作。這樣會導致有些數據在目前的業(yè)務系統(tǒng)中沒有，同時短期內發(fā)現這些數據找不到業(yè)務系統(tǒng)承載，然后直接在數據中臺開發(fā)應用來滿足缺失數據錄入或導入，這些其實不太合規(guī)。數據中臺本身不承載業(yè)務，所以實施數據中臺前一定要數據治理咨詢或數據資產盤點和梳理工作。數據治理核心管控

-數據生存周期數據生存周期管理，可以協助數據管理組織和人員，在數據從產生、應用、歸檔到銷毀的整個生命周期全過程進行有效的自動化管理。針對不同生命周期階段的數據建立多層次的數據自動存儲體系，既有效管控系統(tǒng)整體在線數據規(guī)模，降低系統(tǒng)運營成本，又滿足最終用戶的數據訪問和應用的需求。數據治理核心管控

-數據安全數據安全合規(guī)管理一方面根據現有法律法規(guī)、國際標準、行業(yè)標準以及企業(yè)內信息安全策略，制定安全、可靠、可執(zhí)行的數據安全相關的標準、規(guī)范和操作流程；另一方面要企業(yè)的數據安全風險分析范圍，通過安全風險分析，制定切實可行的風險防護措施，對現有數據安全控制措施的有效性進行評估，提升數據安全等級，確保企業(yè)數據得到有效提升。數據治理團隊和數據安全技術團隊應分工負責，數據治理團隊在梳理數據資源、明確數據權責的基礎上，制定信息安全策略；數據安全技術團隊則應重點做好數據安全工具的支撐工作。雙方在充分理解相互的工作基礎上，充分合作，制定總體數據安全策略，做好數據安全管理工作。數據安全等級的設置，要基于數據治理的細化數據梳理成果。重點在于充分理解信息安全政策和業(yè)務需求，將宏觀分類分級進一步細化為：系統(tǒng)級-數據實體級-數據元素級-數據記錄級，基于此進一步制定各類數據的訪問策略，更新數據安全管理辦法。借鑒數據安全模型和數據權責管理方法，完成數據的產生者、數據的管理者、數據的使用者的定義。數據治理基礎支撐-數據架構與標準根據數據標準體系規(guī)劃的編制原則、準入原則以及所有者定義原則，制定符合實際、立足未來零售業(yè)架構發(fā)展的數據體系框架。數據標準設計的原則保證標準命名、編碼、業(yè)務解釋等內容的唯一性維持數據標準的權威性，加強它的穩(wěn)定性。數據標準的調研、設計和執(zhí)行要具備前瞻性，保證它的可持續(xù)性發(fā)展業(yè)務定義、業(yè)務名稱，業(yè)務口徑等要具有準確性。尊重實際情況和將來的發(fā)展，使標準具有可執(zhí)行性。充分考慮業(yè)務風險和技術實施風險，保證標準的順利執(zhí)行。數據標準內容數據標準的定義數據標準的分類數據標準的編碼規(guī)范數據標準的命名規(guī)范數據標準的屬性規(guī)范數據標準的應用建議數據標準管理組織分為決策層、管理層和執(zhí)行層，每一層中均有不同角色的人參與，相應的每種角色的職責也有所不同。建議數據標準管理實行“統(tǒng)一領導、集中管理、分工協調”的管理模式。建立由行長任組長的數據管理委員會承擔數據標準管理的決策和領導責任。建立數據標準管理專職機構，負責全公司數據標準的統(tǒng)一管理，承擔涉及全公司性數據標準的制定、維護和應用監(jiān)督等工作；建立數據標準管理團隊，承擔一般專業(yè)部門數據標準管理與應用推動工作。數據治理實施路徑規(guī)劃數據治理實施路線圖有一套固