元數據管理與數據質量監(jiān)控

1、元數據管理 & 數據質量監(jiān)控北京瑞斯泰得數據技術開發(fā)有限公司Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385項目背景數據 各種各樣的數據 分散存在 影響不確定 數據由來不清楚ETL ETL之前無法獲知數據概況 ETL過程中缺乏監(jiān)控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)382

2、40385功能概覽元數據管理與數據質量監(jiān)控平臺元數據管理元數據管理數據庫管理業(yè)務數據字典報表腳本數據質量監(jiān)控數據質量監(jiān)控質量點監(jiān)控數據剖析數據檢查數據對比數據指標數據庫監(jiān)控表監(jiān)控表空間監(jiān)控SQL腳本監(jiān)控結果管理結果管理質量點監(jiān)控數據剖析數據檢查數據對比數據指標表空間監(jiān)控SQL腳本監(jiān)控任務調度管理任務調度管理任務中心日志中心系統(tǒng)管理系統(tǒng)管理元數據維護權限管理工作區(qū)工作區(qū)個人文件夾公共文件夾Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385

3、元數據管理 對對各各種元數據實施統(tǒng)一管理種元數據實施統(tǒng)一管理包括增、刪、改、查、預覽等操作。數據質量監(jiān)控 基于元數據做各種分析和監(jiān)控基于元數據做各種分析和監(jiān)控數據：質量點監(jiān)控、數據剖析，數據檢查等數據庫：表空間監(jiān)控、數據庫監(jiān)控、表監(jiān)控ETL：SQL腳本監(jiān)控結果管理 展示數據質量管理中各種監(jiān)控展示數據質量管理中各種監(jiān)控和分析的和分析的行結果行結果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務調度管理 展示各類監(jiān)控或任務狀態(tài)，可停止

4、、暫停、重啟監(jiān)控和任務 展示各種監(jiān)控或任務執(zhí)行的日志、結果信息系統(tǒng)管理 元數據添加、變化日志、類別、屬性、屬性類別的維護 權限管理：用戶及其權限管理工作區(qū) 個人文件夾：存儲個人關注的對象 公共文件夾：存儲公共對象，達到資源共享Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385pServerpApplicationpftpptelnetp p指標p維度p緯表p字典基本表p字典數據表 p數據庫p表p視圖物化視圖p存儲過程p字段p pETLp

5、報表p數據接口p接口文件 元數據的類型Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理1.數據庫元數據2.管理型元數據3.業(yè)務元數據4.數據字典元數據5.腳本元數據Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-數據庫元數據 基本操作 增、刪、改、查 加

6、入到“個人文件夾” 加入到“公共文件夾” 表 存在性實時查詢 字段備注查詢 字段備注保存 表數據預覽 影響分析 血統(tǒng)分析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-管理型元數據 基本操作 編輯、刪除 加入到“個人

7、文件夾” 加入到“公共文件夾” 工作桌面支持 自動登錄netterm 自動登錄plsqlBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-業(yè)務元數據 增加步驟 添加對象類別，例如：“統(tǒng)計周期” 添加對象屬性類別，例如：

8、“字符型” 添加對象屬性，例如：“描述” 新增一個具體的元數據，例如：“月”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-數據字典 基本操作 瀏覽 增加 編輯 刪除Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-SQL腳本元數據 基本操作 編輯 刪除

9、 工作桌面支持 用UltraEdit 打開腳本文件和日志文件Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385血統(tǒng)分析 功能描述：通過對元數據關系的回溯，以圖形方式展現(xiàn)指定元數據的數據血統(tǒng)和加工過程。 作用：通過該功能，業(yè)務人員可以清楚的了解指標等關鍵數據的來龍去脈。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guang

10、zhou (8620)38240385影響分析 功能描述：通過分析元數據之間的關系，以圖形方式直觀展現(xiàn)指定實體對全局的影響，如某數據庫表的變更將影響到哪些ETL、數據庫表等。 作用：通過影響分析，技術人員可掌握各程序、數據之間的關系和相互影響，更好確定系統(tǒng)變更所涉及的范圍，避免遺漏和誤操作，從而降低維護人員的工作量和出錯的機率。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量六大評估標準哪些數據是以非標準格式存儲的？哪些數據值

11、提供了沖突信息？哪些數據不能正確描述對象的屬性或已經過期？那些數據根本就不存在？關鍵數據是否及時傳送到目標應用？哪些數據記錄時重復的記錄？Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監(jiān)控質量點監(jiān)控數據剖析數據指標表空間監(jiān)控表監(jiān)控SQL腳本監(jiān)控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (

12、8620)38240385數據質量監(jiān)控-質量點監(jiān)控 功能描述監(jiān)控某個生產流程環(huán)節(jié)，查看該環(huán)節(jié)的質量指標是否符合要求。 作用保證數據在生產過程的某個生產環(huán)節(jié)的正確性和一致性。 規(guī)則維護 定義SQL 告警條件 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 數據集維護 規(guī)則維護 標準探測 模式探測 分布探測 日期探測 任務調度數據質量監(jiān)控-數據剖析Beijing Stats Data Mining Co. Ltd.Beijing

13、 (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385p探測出檢查對象的數據模式，方便做數據分析，并能根據探出的數據模式自動生成數據規(guī)則表達式，產生數據校驗規(guī)則。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監(jiān)控-數據指標 數據集維護 規(guī)則維護 統(tǒng)計周期 度量設定 告警條件 任務調度Beijing Stats Data Mining Co. Ltd.B

14、eijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監(jiān)控-表空間監(jiān)控 功能描述監(jiān)控數據庫表空間使用量是否超過指定的限額或百分比。 作用提前獲得表空間不足的信息，以便及時處理，防止由于空間不足引起的異常發(fā)生。 告警條件 可用空間小于N兆 使用率超過M% 告警責任人 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Sta

15、ts Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385表空間監(jiān)控結果表空間監(jiān)控結果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監(jiān)控-表監(jiān)控 表選擇 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8

16、621)53060345 Guangzhou (8620)38240385數據質量監(jiān)控-SQL腳本監(jiān)控 告警條件錯誤關鍵字、過濾關鍵字 超時設置超時時長 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務調度中心任務中

17、心 瀏覽任務 暫停任務 重啟任務 刪除任務日志中心 結果信息 調度日志 調度成功 調度失敗 正在運行Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 任務中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 日志中心Beijing Stats Data Mining Co.

18、Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385系統(tǒng)管理元數據管理 查看、搜索元數據變化日志 元數據對象類別維護 元數據對象屬性類型維護 元數據對象屬性維護權限管理 用戶所擁有的角色維護Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385工作區(qū)個人文件夾 目錄維護：增、刪、改 瀏覽、刪除被創(chuàng)建的對象公共文件夾 目錄維護：增、刪、改 瀏覽、刪除被創(chuàng)建的對象Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53