DB3301T 0364.2-2024公共數(shù)據(jù)質(zhì)量治理 第2部分：實施指南

33012024-08-30發(fā)布I II 3 3 3 4 4 4 5 5 6 6 6 6 7 7 7 7 8本文件按照GB/T1.1—2020《標準化工作導則請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。3公共數(shù)據(jù)質(zhì)量治理第2部分：實施指南GB/T44109—2024信息技術大數(shù)據(jù)數(shù)據(jù)治理實施DB3301/T0364.1公共數(shù)據(jù)質(zhì)量治理第1部分：體系架構DB3301/T0364.1界定的以及下列術語和定義適用于本文件。公共服務運營單位（以下統(tǒng)稱公共管理和服務機構在因履職需要使用公共數(shù)據(jù)的公共管理和服務機構，以及使用公共管理和服務機構相關業(yè)務系統(tǒng)中公共數(shù)據(jù)提供單位publicdata公共數(shù)據(jù)主管部門publicdataadministrationde4數(shù)據(jù)記錄中最基本的、不可再分的可命名數(shù)據(jù)單位，用于描述實體的某種屬性?？刭|(zhì)、達標入庫”等原則，開展數(shù)據(jù)的源頭治理、系5.1.1公共數(shù)據(jù)提供單位(以下簡稱“數(shù)據(jù)提供單位”)提供數(shù)據(jù)時優(yōu)先采納國家部委、省級部門制定的標準，并將生產(chǎn)數(shù)據(jù)標準要求同步給公共數(shù)據(jù)主管部門(以下簡稱“數(shù)據(jù)主管部門”)。未編制標5.1.2數(shù)據(jù)提供單位應制定數(shù)據(jù)質(zhì)量稽核計劃，定期進行數(shù)據(jù)質(zhì)量稽核，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，定義數(shù)據(jù)規(guī)則模板，生成數(shù)據(jù)質(zhì)量檢查報告，對數(shù)據(jù)質(zhì)量問5.1.3數(shù)據(jù)提供單位需根據(jù)質(zhì)量檢查計劃對產(chǎn)生數(shù)據(jù)的完整性、唯一性、精確性、一致性、及時性、——數(shù)據(jù)完整性，業(yè)務所需的關鍵數(shù)據(jù)項在系統(tǒng)中是否有定義，或者關鍵數(shù)據(jù)項是否都采集了數(shù)——數(shù)據(jù)唯一性，是否滿足一個業(yè)務唯一關鍵數(shù)據(jù)項值組合僅對應一條記錄；——數(shù)據(jù)一致性，在同一業(yè)務標準情況下，相同數(shù)據(jù)項在不同系統(tǒng)或同一系統(tǒng)內(nèi)不同表格記錄多——數(shù)據(jù)及時性，是否能夠在數(shù)據(jù)需求定義要求的期限內(nèi)獲得最新的數(shù)據(jù)，或按要求的更新頻率——數(shù)據(jù)準確性，數(shù)據(jù)是否準確反映了其對應的真實業(yè)務內(nèi)容，準確性檢查可以通過對比權威數(shù)——數(shù)據(jù)有效性，數(shù)據(jù)值符合預先定義的業(yè)務規(guī)則或數(shù)據(jù)格式要求，有效性檢查通常包括對數(shù)據(jù)5.1.4數(shù)據(jù)提供單位應定期關注數(shù)據(jù)問題工單，在規(guī)定時限內(nèi)完成問題排查和整改，數(shù)據(jù)問題工單具5——完成整改，修正問題數(shù)據(jù)后，重新歸集數(shù)據(jù)，并完成數(shù)據(jù)校驗，整改結果應及時通知反饋——校核無誤，對反饋的數(shù)據(jù)問題核查后，確認不存在數(shù)據(jù)問題，并將結果通知反饋方；——協(xié)商解決，因其他特殊原因難以修正的數(shù)據(jù)問題，可與反饋方協(xié)商解決。注：數(shù)據(jù)問題工單是反饋數(shù)據(jù)質(zhì)量問題的工作單據(jù)，包括5.2.1數(shù)據(jù)主管部門統(tǒng)籌公共數(shù)據(jù)歸集存儲階段的數(shù)據(jù)質(zhì)量稽核等工作，在歸集存儲過程中，通過空完善，實現(xiàn)常用標準的質(zhì)量治理，提升治理效率，包括但不限于以——身份證號碼；5.2.2數(shù)據(jù)主管部門、數(shù)據(jù)提供單位應分析數(shù)據(jù)質(zhì)量檢查過程中發(fā)現(xiàn)的問題并開展分析，確定數(shù)據(jù)質(zhì)量分析方法和要求，判斷產(chǎn)生數(shù)據(jù)質(zhì)量問題的原因及質(zhì)量問題的影響范圍,生成數(shù)據(jù)質(zhì)量分析報告并對5.2.4數(shù)據(jù)主管部門應對數(shù)據(jù)提供單位已歸集數(shù)據(jù)開展質(zhì)量稽核工作，稽核內(nèi)容除數(shù)據(jù)的完整性、唯稽核通過的項目數(shù)據(jù)，由數(shù)據(jù)主管部門出具項目數(shù)據(jù)驗收通過意見書，方可認定為完成數(shù)據(jù)歸集。5.3.1公共數(shù)據(jù)使用方（以下簡稱“5.3.2數(shù)據(jù)使用方應根據(jù)發(fā)現(xiàn)的質(zhì)量問題生成數(shù)據(jù)問題工單，工單中包含的數(shù)據(jù)目錄或數(shù)據(jù)接口所對5.3.3數(shù)據(jù)主管部門負責審批、流轉(zhuǎn)、跟進數(shù)據(jù)問題工單處置進展，協(xié)調(diào)問題處置，定期統(tǒng)計分析質(zhì)量問題，提出合理化建議。對數(shù)據(jù)提供單位開展相關培訓工作，逐步降低質(zhì)量問題的發(fā)生率。提升方案，跟蹤數(shù)據(jù)質(zhì)量改進過程，優(yōu)化數(shù)據(jù)質(zhì)量相關制度、流程、5.3.5數(shù)據(jù)使用方應負責核驗數(shù)據(jù)提供單位整改并重新歸集的數(shù)據(jù)，在確認問題解決后方可結束對應66實施過程管理6.1工作機制6.1.1建立領導負責機制，明確公共數(shù)據(jù)質(zhì)量治理的主要目標、基本要求、工作任務等，牽頭協(xié)調(diào)解決重大問題。6.1.2數(shù)據(jù)主管部門建立存量數(shù)據(jù)常態(tài)化治理機制，數(shù)據(jù)提供單位按照“一數(shù)一源一標準”要求對存量數(shù)據(jù)進行標準化治理，通過數(shù)據(jù)清洗、核對等手段發(fā)現(xiàn)的問題數(shù)據(jù)，數(shù)據(jù)主管部門及時督促數(shù)據(jù)提供單位落實整改。6.1.3數(shù)據(jù)主管部門應建立常態(tài)化數(shù)據(jù)質(zhì)量稽核機制，發(fā)現(xiàn)的問題需反饋至數(shù)據(jù)提供單位，數(shù)據(jù)質(zhì)量稽核的方法包括：——通過統(tǒng)計、查詢等系統(tǒng)進行檢查；——在業(yè)務軟件使用過程中對數(shù)據(jù)庫中已有數(shù)據(jù)進行檢查；——用數(shù)據(jù)質(zhì)量管理系統(tǒng)等工具進行檢查；——抽取原始檔案材料與數(shù)據(jù)庫中數(shù)據(jù)進行對比。6.1.4建立共享數(shù)據(jù)快速治理機制，數(shù)據(jù)使用方在數(shù)據(jù)使用過程中發(fā)現(xiàn)的數(shù)據(jù)問題，應當以數(shù)據(jù)問題工單形式及時反饋至公共數(shù)據(jù)平臺，由數(shù)據(jù)主管部門負責工單的分派、流轉(zhuǎn)，數(shù)據(jù)提供單位應及時受理、修正。數(shù)據(jù)主管部門和數(shù)據(jù)使用方對修正后的數(shù)據(jù)進行校驗，形成管理閉環(huán)。6.1.5建立數(shù)據(jù)質(zhì)量評估和改進機制，涵蓋評估標準指標、評估流程、反饋渠道、持續(xù)改進和優(yōu)化等內(nèi)容。6.1.6建立由數(shù)據(jù)主管部門、數(shù)據(jù)使用方和數(shù)據(jù)提供單位組成的公共數(shù)據(jù)質(zhì)量治理工作體系，以及專人負責的工作聯(lián)系機制。通過配備專業(yè)人員，開展知識培訓、購買第三方服務等方式，滿足公共數(shù)據(jù)質(zhì)量治理的工作需求。6.1.7宜建立有效的公共數(shù)據(jù)質(zhì)量治理組織架構，促進數(shù)據(jù)主管部門、數(shù)據(jù)使用方和數(shù)據(jù)提供單位之間的語義理解與業(yè)務融合，推動數(shù)據(jù)工作與業(yè)務場景的銜接。6.2清單梳理6.2.1數(shù)據(jù)提供單位、數(shù)據(jù)使用方和數(shù)據(jù)主管部門在公共數(shù)據(jù)全生命周期的不同階段，應根據(jù)實際業(yè)務需求，確定需要開展質(zhì)量治理的數(shù)據(jù)清單。6.2.2數(shù)據(jù)提供單位對公共數(shù)據(jù)質(zhì)量進行定義，明確問題清單的基本要素。開展識別低質(zhì)量公共數(shù)據(jù)問題規(guī)則和問題清單。6.2.3數(shù)據(jù)提供單位執(zhí)行問題清單評估并排序，對核心高頻的數(shù)據(jù)質(zhì)量問題展開數(shù)據(jù)清洗和治理，識別主要的質(zhì)量問題，進行根本原因分析，并對主要的質(zhì)量問題制定解決改進方案。6.2.4數(shù)據(jù)主管部門應將各數(shù)據(jù)提供單位在公共數(shù)據(jù)平臺上進行數(shù)據(jù)編目并且開展了數(shù)據(jù)歸集的數(shù)據(jù)納入需開展質(zhì)量治理的清單。并將公共數(shù)據(jù)平臺和數(shù)據(jù)資源系統(tǒng)上的編目數(shù)據(jù)進行自動融合比對，明確數(shù)據(jù)目錄、數(shù)據(jù)項清單，實施數(shù)據(jù)質(zhì)量精準管控。6.2.5數(shù)據(jù)主管部門應將通過公共數(shù)據(jù)平臺申請應用于各數(shù)據(jù)使用方信息化系統(tǒng)建設的數(shù)據(jù)納入需開展質(zhì)量治理的清單。6.3規(guī)則建立6.3.1數(shù)據(jù)提供單位宜制定數(shù)據(jù)質(zhì)量規(guī)則，提交數(shù)據(jù)主管部門確認，其制定的依據(jù)包括：——國家部委、省部門制定的數(shù)據(jù)標準定義的數(shù)據(jù)規(guī)格等要求；7——部門或行業(yè)業(yè)務規(guī)則和業(yè)務辦理定義的數(shù)據(jù)質(zhì)量要求；——數(shù)據(jù)主管部門制定的數(shù)據(jù)編目、歸集、共享等制度規(guī)范中提出的數(shù)據(jù)質(zhì)量要求；——上級單位或數(shù)據(jù)使用方提出跨層級、跨領域、跨系統(tǒng)的數(shù)據(jù)質(zhì)量要求；——從指標類數(shù)據(jù)的質(zhì)量要求中解析而得的基礎數(shù)據(jù)質(zhì)量要求。6.3.2基礎類數(shù)據(jù)質(zhì)量規(guī)則用于衡量業(yè)務產(chǎn)生的詳細數(shù)據(jù)的質(zhì)量，基礎類數(shù)據(jù)主要產(chǎn)生于業(yè)務系統(tǒng)。6.3.3指標類數(shù)據(jù)質(zhì)量規(guī)則用于衡量指標類數(shù)據(jù)的質(zhì)量，指標類數(shù)據(jù)是指按照一定規(guī)則對基礎類數(shù)據(jù)加工而生成的衍生數(shù)據(jù)。6.3.4預設表級、字段級質(zhì)檢規(guī)則模板，關聯(lián)巡檢稽核對象生成質(zhì)檢規(guī)則。6.3.5數(shù)據(jù)提供單位應參與數(shù)據(jù)標準庫建設工作，并向數(shù)據(jù)主管部門提供相關數(shù)據(jù)標準并及時更新。6.3.6數(shù)據(jù)主管部門負責對接上級部門，定期上報本級數(shù)據(jù)標準庫、回流上級數(shù)據(jù)標準庫內(nèi)容，融合到本級數(shù)據(jù)標準庫。6.3.7已建成數(shù)據(jù)標準庫應通過合規(guī)方式對外發(fā)布共享，可應用于數(shù)據(jù)組件、信息化項目建設等場景。6.4系統(tǒng)應用6.4.1數(shù)據(jù)質(zhì)量管理系統(tǒng)需具備清單更新、規(guī)則生成、方案調(diào)度、報告輸出、工單流轉(zhuǎn)、統(tǒng)計分析、考核晾曬等功能。6.4.2系統(tǒng)應支撐問題數(shù)據(jù)發(fā)現(xiàn)、反饋及問題數(shù)據(jù)復核、修正等公共數(shù)據(jù)質(zhì)量治理工作。6.4.3系統(tǒng)的數(shù)據(jù)問題工單反饋模塊應統(tǒng)一接入公共數(shù)據(jù)工單系統(tǒng)，數(shù)據(jù)問題工單應進行統(tǒng)一管理。7評價改進7.1.1數(shù)據(jù)提供方、數(shù)據(jù)主管部門在公共數(shù)據(jù)質(zhì)量治理評價工作啟動前，應根據(jù)其愿景、戰(zhàn)略目標、業(yè)務發(fā)展需要、法律法規(guī)和行業(yè)規(guī)范等制定整個評價的目標和范圍。7.1.2依據(jù)公共數(shù)據(jù)質(zhì)量治理的執(zhí)行情況和取得成效兩個角度，綜合考慮定量和定性兩個維度的評價指標，設計公共數(shù)據(jù)質(zhì)量治理的評價指標體系，指標具體包括：——數(shù)據(jù)完整率，數(shù)據(jù)集賦值完整的數(shù)據(jù)項數(shù)量與數(shù)據(jù)項總數(shù)量之比；——數(shù)據(jù)唯一率，數(shù)據(jù)集唯一記錄數(shù)量與記錄總數(shù)量之比；——數(shù)據(jù)精確率，數(shù)據(jù)項精度符合標準規(guī)范的記錄數(shù)量與記錄總數(shù)量之比；——數(shù)據(jù)一致率，數(shù)據(jù)集具有相同含義數(shù)據(jù)(同一更新時間點、存儲在不同位置)賦值一致的記錄數(shù)量與記錄總數(shù)量之比；——數(shù)據(jù)及時率，數(shù)據(jù)集賦值滿足業(yè)務周期頻率要求的記錄數(shù)量與記錄總數(shù)量之比；——數(shù)據(jù)準確率，數(shù)據(jù)集賦值準確的數(shù)據(jù)項數(shù)量與數(shù)據(jù)項總數(shù)量