工業(yè)數(shù)據(jù)流通數(shù)據(jù)質量管理規(guī)范

1工業(yè)數(shù)據(jù)流通數(shù)據(jù)質量管理規(guī)范本文件給出了工業(yè)數(shù)據(jù)流通中數(shù)據(jù)質量的總體要求和職責要求，規(guī)定了數(shù)據(jù)質量管理指標、質量管理流程、質量管理工具等方面的要求。本文件適用于工業(yè)數(shù)據(jù)流通過程中對工業(yè)數(shù)據(jù)進行質量管理的工作。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T36344-2018信息技術數(shù)據(jù)質量評價指標3術語和定義下列術語和定義適用于本文件。3.1工業(yè)數(shù)據(jù)industrialdata在工業(yè)領域中，涉及企業(yè)的所有生產活動和服務所產生的數(shù)據(jù)。[來源：GB/T42128-2022，3.1.1]3.2數(shù)據(jù)質量dataquality數(shù)據(jù)的一組固有特性滿足要求的程度。[來源：GB/T39400-2020,3.1]3.3數(shù)據(jù)質量管理dataqualitymanagement指導和控制某機構數(shù)據(jù)質量的協(xié)調活動。[來源：GB/T39400-2020,3.2]3.4數(shù)據(jù)質量管理工具dataqualitymanagementtool運用信息化技術和管理方法來規(guī)劃、實施與控制數(shù)據(jù)質量的識別、評估、提升等一系列活動。4總體要求工業(yè)數(shù)據(jù)流通過程中，相關單位應按本文件的要求建立數(shù)據(jù)質量管理體系，編寫出臺相應的文件，在執(zhí)行過程中應對其有效性進行持續(xù)改進，實現(xiàn)數(shù)據(jù)質量的持續(xù)提高。具體包括：2DB21/TXXXXX—XXXXa）識別數(shù)據(jù)質量管理工作覆蓋的范圍，確定數(shù)據(jù)質量管理涉及的環(huán)節(jié)和流程；b）確定這些環(huán)節(jié)和流程的順序和相互關系；c）確定所需采取的準則和方法,以確保這些環(huán)節(jié)和流程的運行及控制有效；d）確保管理職責明晰、保障機制健全，以支持這些環(huán)節(jié)和流程的運行和監(jiān)控；e）對這些環(huán)節(jié)和流程進行分析、監(jiān)督和考核；f）采取必要的措施，以實現(xiàn)數(shù)據(jù)質量管理目標和對這些環(huán)節(jié)和流程的持續(xù)改進。5職責要求數(shù)據(jù)質量管理者應對本單位與數(shù)據(jù)質量管理相關的工作作出規(guī)定，具有以下方面的職責：a）指導推進、監(jiān)督考核本單位工業(yè)數(shù)據(jù)流通、利用相關工作；b）根據(jù)需要確保按照本文件的要求，建立、實施、保持并持續(xù)改進數(shù)據(jù)質量管理體系；c）提出工業(yè)數(shù)據(jù)的數(shù)據(jù)目錄規(guī)范、數(shù)據(jù)質量指標要求，制定數(shù)據(jù)質量管理規(guī)則，確保數(shù)據(jù)質量管理工作有明確的目標和評估標準；d）向最高管理者報告數(shù)據(jù)質量管理情況和改進需求，提供數(shù)據(jù)質量監(jiān)測和評估報告；e）負責與數(shù)據(jù)質量管理工作有關的外部聯(lián)系工作；f）對其他部門提出的數(shù)據(jù)質量要求及時進行處理和反饋，定期執(zhí)行數(shù)據(jù)質量評估。6數(shù)據(jù)質量管理指標工業(yè)數(shù)據(jù)質量管理指標框架見圖1，應基于此框架對工業(yè)數(shù)據(jù)進行數(shù)據(jù)質量的符合性評價。圖1質量管理指標框架各質量特性的說明如下：a）規(guī)范性：數(shù)據(jù)符合數(shù)據(jù)標準、數(shù)據(jù)模型、業(yè)務規(guī)則、元數(shù)據(jù)、權威參考數(shù)據(jù)及安全規(guī)范的程度。1)數(shù)據(jù)標準是數(shù)據(jù)的命名、定義、結構和取值規(guī)范方面的規(guī)則和基準。2)數(shù)據(jù)模型是對分析的圖像和文本表述，該分析識別了組織為完成其使命、功能、目標、目的和戰(zhàn)略，以及管理和評價組織所需要的數(shù)據(jù)。3)業(yè)務規(guī)則是一種權威性原則或指導方針，用來描述業(yè)務交互，并建立行動和數(shù)據(jù)行為結果及完整性的規(guī)則。4)元數(shù)據(jù)是關于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述)，以及關于數(shù)據(jù)擁有權、存取路徑、訪問權和數(shù)據(jù)易變性的數(shù)據(jù)。5)權威參考數(shù)據(jù)是系統(tǒng)、應用軟件、數(shù)據(jù)庫、流程、報告或平臺日志記錄用來參考的特定字段的有效數(shù)據(jù)集合。6)安全規(guī)范是安全和隱私方面的規(guī)則，包括數(shù)據(jù)權限管理、數(shù)據(jù)脫敏處理。b）完整性：按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度。即數(shù)據(jù)信息是否存在缺失的狀況，包括數(shù)據(jù)元素完整性和數(shù)據(jù)記錄完整性；3c）準確性：數(shù)據(jù)準確表示其所描述的真實實體(實體對象)真實值的程度，即數(shù)據(jù)記錄的信息是否存在異?；蝈e誤，包括數(shù)據(jù)內容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復率、數(shù)據(jù)唯一性、臟數(shù)據(jù)出現(xiàn)率；d）一致性：數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾的程度，即數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范數(shù)據(jù)集合是否保持了統(tǒng)一的格式，主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯，包括相同數(shù)據(jù)一致性和關聯(lián)數(shù)據(jù)一致性；e）時效性：數(shù)據(jù)在時間變化中的正確程度，包括基于時間段的正確性、基于時間點及時性、時序性；f）可訪問性：數(shù)據(jù)能被訪問的程度，包括可訪問和可用性。數(shù)據(jù)質量管理過程中數(shù)據(jù)質量評價應按GB/T36344-2018的規(guī)定進行。注：由于工業(yè)產品生命周期同一階段的數(shù)據(jù)具有強關聯(lián)性，如產品零部件組成、工況、設備狀態(tài)、維修情況、零部件經營流程具有較強時序性。因此，工業(yè)數(shù)據(jù)質量特性評價宜側重7質量管理流程7.1概述工業(yè)數(shù)據(jù)質量管理應貫穿于工業(yè)數(shù)據(jù)流通的各個階段，數(shù)據(jù)質量管理者應按照數(shù)據(jù)質量管理的要求，對影響數(shù)據(jù)質量的數(shù)據(jù)流程加以識別，制定管理措施，并實施流程控制，從數(shù)據(jù)采集源頭開始疏理數(shù)據(jù)流向，識別影響數(shù)據(jù)質量的數(shù)據(jù)流程，關鍵流程至少應包括數(shù)據(jù)采集、數(shù)據(jù)審核、數(shù)據(jù)校驗、數(shù)據(jù)更正等。7.2數(shù)據(jù)采集數(shù)據(jù)質量管理者應明確數(shù)據(jù)采集流程的工序、內容和崗位職責，編制程序文件和相應的作業(yè)指導文件。在數(shù)據(jù)采集工作中應滿足以下要求：a）數(shù)據(jù)事權部門應制定基礎數(shù)據(jù)采集的業(yè)務規(guī)則，并負責監(jiān)督在各級各類相關系統(tǒng)中實現(xiàn)；b）承擔數(shù)據(jù)采集任務的操作人員應由數(shù)據(jù)事權部門培訓考核后上崗，數(shù)據(jù)事權部門對于保證數(shù)據(jù)的規(guī)范性、完整性、準確性、一致性、時效性等質量特性具有指導的義務和責任；c）基礎數(shù)據(jù)應與相關標準所定義的數(shù)據(jù)項集合相吻合，以保證原始數(shù)據(jù)的完整性；d）基礎數(shù)據(jù)中的數(shù)據(jù)項應和數(shù)據(jù)項名稱對應的標準數(shù)據(jù)代碼相吻合，且符合相關標準規(guī)定的邏輯校驗關系，并且同時符合數(shù)據(jù)項名稱表征的客觀實體，以保證原始數(shù)據(jù)的準確性；e）基礎數(shù)據(jù)中的數(shù)據(jù)項應和工業(yè)數(shù)據(jù)標準規(guī)定的數(shù)據(jù)屬性相吻合，以保證原始數(shù)據(jù)的規(guī)范性；f）基礎數(shù)據(jù)應和數(shù)據(jù)事權部門操作日志所記載的最末一次數(shù)據(jù)屬性相吻合，以保證原始數(shù)據(jù)的時效性和一致性。7.3數(shù)據(jù)審核數(shù)據(jù)質量管理者應明確數(shù)據(jù)審核流程的工序、內容和崗位職責，編制程序文件和相應的作業(yè)指導文件。在數(shù)據(jù)審核工作中滿足以下要求：a）數(shù)據(jù)事權部門應建立基礎數(shù)據(jù)采集的審核程序，對錄入系統(tǒng)的數(shù)據(jù)質量進行審核；b）在基礎數(shù)據(jù)的采集過程中，數(shù)據(jù)事權部門應采用抽驗方式對所錄入數(shù)據(jù)的質量進行人工或計算機檢驗，抽驗樣本數(shù)量應按一定比率進行抽取，抽驗樣本周期和抽驗樣本數(shù)據(jù)跨度應分別控制在規(guī)定時間之內；c）對錄入數(shù)據(jù)采用了計算機自動審核方式的，應建立相應的審核制度和規(guī)程；d）應保持上述質量審核的全部證實性記錄。7.4數(shù)據(jù)校驗4DB21/TXXXXX—XXXX數(shù)據(jù)質量管理者應明確數(shù)據(jù)校驗流程的工序、內容和崗位職責，編制程序文件和相應的作業(yè)指導文件。在數(shù)據(jù)校驗工作中中滿足以下要求：a）數(shù)據(jù)事權部門應建立在線校驗程序和相關校驗規(guī)程，對在線數(shù)據(jù)規(guī)范性、完整性、準確性、一致性、時效性等質量特性進行校驗；b）相關部門應設立相應的數(shù)據(jù)檢驗管理崗位，承擔在線數(shù)據(jù)校驗管理職責，對校驗結果進行統(tǒng)一匯總及處置；c）有針對性地制定相應的校驗方法，對不同數(shù)據(jù)庫中的數(shù)據(jù)進行交叉校驗；d）應保持上述數(shù)據(jù)校驗的證實性記錄。7.5數(shù)據(jù)更正數(shù)據(jù)質量管理者應明確數(shù)據(jù)更正流程的工序和內容，編制程序文件和相應的作業(yè)指導文件。在數(shù)據(jù)更正工作中滿足以下要求：a）數(shù)據(jù)質量管理部門和數(shù)據(jù)事權部門應建立數(shù)據(jù)更正的業(yè)務規(guī)則，并負責監(jiān)督、指導各級部門對業(yè)務規(guī)則的執(zhí)行，對拒不執(zhí)行的部門，數(shù)據(jù)質量管理部門和數(shù)據(jù)事權部門有權終止違規(guī)者的更正操作；b）在基礎數(shù)據(jù)審核或校驗過程中，若發(fā)現(xiàn)質量不合格的數(shù)據(jù)，應要求采集人員重新核對，經確認后，對原錄入數(shù)據(jù)進行更正；c）對外部受眾投訴的數(shù)據(jù)質量問題，應啟動更正程序，及時更正來自外部發(fā)現(xiàn)的質量不合格數(shù)據(jù)；d）數(shù)據(jù)事權部門和數(shù)據(jù)質量管理部門應保持上述數(shù)據(jù)更正的證實性記錄。8質量管理工具8.1數(shù)據(jù)質量管理規(guī)則數(shù)據(jù)質量管理規(guī)則要求包括但不限于：a）應支持根據(jù)數(shù)據(jù)質量特性自定義質量維度；b）應支持關聯(lián)數(shù)據(jù)標準規(guī)范，進行基礎規(guī)則定義。包括但不限于空值校驗、值域校驗、格式校驗、長度校驗、精度校驗、唯一性約束校驗、主外鍵校驗等；c）應支持根據(jù)基礎規(guī)則和平臺應用場景自定義業(yè)務規(guī)則；d）應通過自定義SQL語句等方式完成對數(shù)據(jù)質量的檢核。8.2數(shù)據(jù)質量檢測任務數(shù)據(jù)質量檢測任務要求包括但不限于：a）應支持質量檢測任務的創(chuàng)建；b）應支持檢測任務調度規(guī)則的設定；c）應支持手動執(zhí)行與自動執(zhí)行檢測任務，支持手動、定時、輪詢、每周、自定義等多種調度規(guī)則；d）應支持質量檢測任務運維，查看任務執(zhí)行日志、任務調度次數(shù)等；e）應支持問題數(shù)據(jù)的查詢與導出；f）應支持未達標數(shù)據(jù)的查詢與導出。注1：問題數(shù)據(jù)是指平臺設置數(shù)據(jù)庫表中合格注2：未達標數(shù)據(jù)是未達到平臺設置的數(shù)據(jù)質量特性合格8.3數(shù)據(jù)質量監(jiān)控數(shù)據(jù)質量監(jiān)控要求包括但不限于：a）應支持對數(shù)據(jù)進行監(jiān)控，明確數(shù)據(jù)的來源和去向；5b）應支持對規(guī)則校驗的結果進行監(jiān)控和分析，校驗結果應定位到原始數(shù)據(jù)項。8.4數(shù)據(jù)質量報警應支持問題數(shù)據(jù)的報警。8.5數(shù)據(jù)質量檢測報告數(shù)據(jù)質量檢測報告要求包括但不限于：a）應支持對校驗結果進行記錄并生成檢測報告，檢測報告的內容包括但不限于：1）歷史檢測記錄的數(shù)據(jù)波動，以及本次質量檢測執(zhí)行時間、檢測結果等基本信息；2）對應數(shù)據(jù)的動態(tài)質量變化情況；3）每項業(yè)務規(guī)則檢測數(shù)據(jù)量、問題數(shù)據(jù)量、合格率等詳細信息。b）應支持在線查看每項業(yè)務規(guī)則問題數(shù)據(jù)的詳情；c）應支持打包下載對應的問題數(shù)據(jù)；d）應支持數(shù)據(jù)質量檢測報告的查看和下載。8.6數(shù)據(jù)質量檢測報告分析數(shù)據(jù)質量檢測報告分析要求包括但不限于：a）應具備對檢測報告進行綜合性分析的功能，包括但不限于以下內容：1）應支持通過多維度的分析報告來展示質量檢測總體結果，包含檢測數(shù)據(jù)來源、檢測時間、綜合得分、檢測數(shù)據(jù)量、合格數(shù)據(jù)量、規(guī)則數(shù)目、檢測資源數(shù)目等基本信息，和各個質量維度下每項的得分，以及此次檢測數(shù)據(jù)的短板問題所屬維度；2）應支持展示每項業(yè)務規(guī)則的詳細檢測內容，如每項的檢測數(shù)據(jù)總數(shù)、問題數(shù)據(jù)數(shù)目，合格率、問題數(shù)據(jù)分布情況等；3）應支持通過評分報告詳情展示每項規(guī)則對應的得分情況及對應的比分權重，體現(xiàn)不同規(guī)則的重要程度，并對高權重質量規(guī)則進行著重分析處理；4）應支持每個業(yè)務規(guī)則橫向對比，提供宏觀的檢測報告分析，展示數(shù)據(jù)質量問題的分布。b）應具備對檢測報告進行統(tǒng)計分析的功能，包括但不限于以下內容：1）應支持通過圖表的形式展示數(shù)據(jù)質量概覽信息；2）應支持按照數(shù)據(jù)源目錄層級，即分層分域原則，按照指定的業(yè)務層級如區(qū)域、部門、指定表等