DI數(shù)據(jù)集成解決方案

DATE\@"M/d/yyyy"4/25/2017NewH3CGroupPage13/數(shù)據(jù)集成系統(tǒng)解決方案

目錄1. 數(shù)據(jù)集成系統(tǒng)現(xiàn)狀 1-41.1 基礎(chǔ)數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差 1-41.2 接口沒有實(shí)現(xiàn)統(tǒng)一的接口平臺(tái) 1-41.3 XXX內(nèi)部信息難以完整統(tǒng)一和共享 1-42. 數(shù)據(jù)集成需求分析 2-42.1 系統(tǒng)需求 2-42.1.1 實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一 2-42.1.2 實(shí)現(xiàn)數(shù)據(jù)共享 2-52.1.3 實(shí)現(xiàn)數(shù)據(jù)應(yīng)用 2-52.1.4 實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管控 2-53. 數(shù)據(jù)集成目標(biāo) 3-53.1 建立規(guī)范統(tǒng)一的指標(biāo)體系 3-63.2 統(tǒng)一的數(shù)據(jù)采集接口 3-63.3 統(tǒng)一的數(shù)據(jù)存儲(chǔ)中心 3-63.4 建立數(shù)據(jù)應(yīng)用接口 3-64. 數(shù)據(jù)集成方案 4-74.1 ODS系統(tǒng)設(shè)計(jì) 4-74.1.1 現(xiàn)階段ODS系統(tǒng)設(shè)計(jì) 4-74.1.2 未來ODS系統(tǒng)設(shè)計(jì) 4-84.2 ODS系統(tǒng)架構(gòu) 4-84.3 ODS數(shù)據(jù)模型 4-94.4 數(shù)據(jù)管理 4-104.5 系統(tǒng)技術(shù)特點(diǎn) 4-124.5.1 先進(jìn)性 4-124.5.2 開放性和標(biāo)準(zhǔn)化 4-124.5.3 高效性 4-124.5.4 靈活性與擴(kuò)展性 4-124.5.5 較高的性價(jià)比，降低總成本 4-13

數(shù)據(jù)集成系統(tǒng)現(xiàn)狀XXX有不少的應(yīng)用系統(tǒng)，比如**系統(tǒng)、**系統(tǒng)、**系統(tǒng)、**系統(tǒng)和XXX信息門戶。這些系統(tǒng)一般都有不同供應(yīng)商提供，他們之間的信息有重疊和不一致顯現(xiàn)存在。因此很容易產(chǎn)生下列的問題：基礎(chǔ)數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差對(duì)于同樣的問題，每個(gè)不同的系統(tǒng)都維護(hù)有自身的數(shù)據(jù)結(jié)構(gòu)，例如在工程管理系統(tǒng)中存在供應(yīng)商數(shù)據(jù)，而在物資系統(tǒng)中也存在供應(yīng)商數(shù)據(jù)，這兩個(gè)系統(tǒng)對(duì)同一個(gè)供應(yīng)商可能存在不同的編號(hào)、不同的命名等等。這就導(dǎo)致了兩個(gè)系統(tǒng)間沒有數(shù)據(jù)標(biāo)準(zhǔn)，在工程管理系統(tǒng)中更新了供應(yīng)商數(shù)據(jù)后，物資系統(tǒng)無法依據(jù)指定的規(guī)則進(jìn)行同步更新，造成了XXX主數(shù)據(jù)的混亂局面，難以滿足快速支撐精確管理的需要，使得XXX的運(yùn)營效率和管理水平難以進(jìn)一步提升。接口沒有實(shí)現(xiàn)統(tǒng)一的接口平臺(tái)由于沒有統(tǒng)一的XXX主數(shù)據(jù)，目前系統(tǒng)接口均采用點(diǎn)對(duì)點(diǎn)方式，技術(shù)實(shí)現(xiàn)方式多種多樣，例如最多的方式是數(shù)據(jù)庫直接存取，接口雙方需要明確知道對(duì)方的底層數(shù)據(jù)結(jié)構(gòu)，這導(dǎo)致了完成和維護(hù)這些接口是一項(xiàng)非常艱巨的任務(wù)，并且在不同的供應(yīng)商之間難于明確自身的責(zé)任，出現(xiàn)問題之后相互推諉。XXX內(nèi)部信息難以完整統(tǒng)一和共享由于現(xiàn)在的應(yīng)用系統(tǒng)是由不同的供應(yīng)商提供，基礎(chǔ)數(shù)據(jù)難以同步更新，各自產(chǎn)生的數(shù)據(jù)信息，都成了一個(gè)個(gè)的信息孤島，彼此之間的數(shù)據(jù)難以共享。XXX不容易獲取匯總信息。數(shù)據(jù)集成需求分析系統(tǒng)需求實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一數(shù)據(jù)集成中心在對(duì)XXX數(shù)據(jù)的整合過程中能夠?qū)崿F(xiàn)以下三個(gè)統(tǒng)一：統(tǒng)一數(shù)據(jù)模型由數(shù)據(jù)集成中心承載XXX數(shù)據(jù)模型（EDM），促進(jìn)XXX各域數(shù)據(jù)邏輯模型的統(tǒng)一。在XXX內(nèi)新建或改造的系統(tǒng)，其數(shù)據(jù)模型應(yīng)向數(shù)據(jù)集成中心所承載的XXX數(shù)據(jù)模型靠攏。數(shù)據(jù)模型是各個(gè)系統(tǒng)及應(yīng)用間交互的基礎(chǔ)，通過數(shù)據(jù)模型的統(tǒng)一，減少系統(tǒng)及應(yīng)用間復(fù)雜的轉(zhuǎn)換，提高系統(tǒng)、應(yīng)用、接口的效率。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)集成中心中建立標(biāo)準(zhǔn)的數(shù)據(jù)編碼目錄，源系統(tǒng)數(shù)據(jù)依據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)編碼目錄，經(jīng)過整合后進(jìn)入數(shù)據(jù)集成中心存儲(chǔ)，實(shí)現(xiàn)XXX數(shù)據(jù)的標(biāo)準(zhǔn)化與統(tǒng)一存儲(chǔ)。統(tǒng)一數(shù)據(jù)視圖基于數(shù)據(jù)集成中心所存儲(chǔ)的數(shù)據(jù)，支撐實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使XXX在用戶、資源等視角獲取到的信息是一致的，提升用戶、以及XXX內(nèi)部的管理人員與分析人員對(duì)系統(tǒng)的感知。實(shí)現(xiàn)數(shù)據(jù)共享數(shù)據(jù)集成中心為XXX各業(yè)務(wù)系統(tǒng)提供統(tǒng)一共享數(shù)據(jù)接口，減少系統(tǒng)間相互接口的重復(fù)性，降低接口的復(fù)雜程度，提高系統(tǒng)間接口效率與質(zhì)量；為跨系統(tǒng)數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐。數(shù)據(jù)集成中心作為XXX運(yùn)營數(shù)據(jù)共享平臺(tái)，是各業(yè)務(wù)部門和XXX管理層獲取統(tǒng)計(jì)數(shù)據(jù)的唯一來源。數(shù)據(jù)集成中心可將某個(gè)生產(chǎn)系統(tǒng)的數(shù)據(jù)以準(zhǔn)實(shí)時(shí)地方式存儲(chǔ)轉(zhuǎn)發(fā)至其它對(duì)數(shù)據(jù)實(shí)時(shí)性要求不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口。數(shù)據(jù)集成中心以實(shí)時(shí)的查詢服務(wù)或準(zhǔn)實(shí)時(shí)批量的數(shù)據(jù)提供的方式將數(shù)據(jù)集成中心內(nèi)整合或計(jì)算好的數(shù)據(jù)向外部系統(tǒng)提供，以配合外部系統(tǒng)支撐統(tǒng)一用戶視圖查詢、用戶服務(wù)流程等功能。實(shí)現(xiàn)數(shù)據(jù)應(yīng)用數(shù)據(jù)集成中心利用自身系統(tǒng)的數(shù)據(jù)提供以下幾類功能：查詢應(yīng)用 實(shí)現(xiàn)查詢條件不固定的按需查詢功能。用戶可以根據(jù)關(guān)心的維度查詢數(shù)據(jù)集成中心內(nèi)整合好的360度業(yè)務(wù)全貌數(shù)據(jù)，如，為渠道經(jīng)理提供完整用戶視圖信息的查詢，為用戶提供完整用戶視圖查詢、用戶賬單查詢等。固定報(bào)表應(yīng)用固定報(bào)表是維度和指標(biāo)固定的統(tǒng)計(jì)結(jié)果的展示，在數(shù)據(jù)集成中心內(nèi)對(duì)于實(shí)時(shí)性要求高的報(bào)表采用即時(shí)生成的模式，而對(duì)于實(shí)時(shí)性要求不高的報(bào)表，基于性能影響和資源開銷兩方面的考慮，應(yīng)采用后臺(tái)通過作業(yè)的方式先自動(dòng)生成，在需要時(shí)可以立即展現(xiàn)結(jié)果。報(bào)表展現(xiàn)應(yīng)支持多種圖表方式，如餅圖、柱圖、線圖等；支持報(bào)表數(shù)據(jù)導(dǎo)出為其他文件類型，如EXCEL、CSV、XML、PDF、WEB存檔文件等；支持報(bào)表精確打印控制。動(dòng)態(tài)報(bào)表應(yīng)用基于數(shù)據(jù)集成中心整合好的數(shù)據(jù)，可以利用報(bào)表工具，按關(guān)心的維度和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行主題性的統(tǒng)計(jì)，動(dòng)態(tài)報(bào)表應(yīng)用中，維度和指標(biāo)不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)變換。在數(shù)據(jù)集成中心上可實(shí)現(xiàn)多種動(dòng)態(tài)報(bào)表。計(jì)算應(yīng)用數(shù)據(jù)集成中心可基于整合好的數(shù)據(jù)按照設(shè)定好的業(yè)務(wù)規(guī)則進(jìn)行部分屬性數(shù)據(jù)計(jì)算，計(jì)算結(jié)果并不在數(shù)據(jù)集成中心內(nèi)直接更新，而是由數(shù)據(jù)集成中心返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后，再通過數(shù)據(jù)抽取、加載過程進(jìn)入數(shù)據(jù)集成中心之后更新。實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管控?cái)?shù)據(jù)集成中心在數(shù)據(jù)收斂的過程中，能完成以下數(shù)據(jù)質(zhì)量管控工作：1.數(shù)據(jù)質(zhì)量校驗(yàn)根據(jù)規(guī)則對(duì)數(shù)據(jù)集成中心所存儲(chǔ)的數(shù)據(jù)進(jìn)行一致性、完整性、正確性的校驗(yàn)，形成數(shù)據(jù)校驗(yàn)結(jié)果并交付源業(yè)務(wù)系統(tǒng)進(jìn)行修正。2.數(shù)據(jù)質(zhì)量管控通過建立XXX數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一管控，達(dá)到數(shù)據(jù)質(zhì)量逐步完善。數(shù)據(jù)集成目標(biāo)通過數(shù)據(jù)集成，數(shù)據(jù)集成中心應(yīng)該能達(dá)到以下幾個(gè)目標(biāo)：建立規(guī)范統(tǒng)一的指標(biāo)體系根據(jù)XXX的業(yè)務(wù)實(shí)際情況，建立面向XXX指標(biāo)體系的數(shù)據(jù)接口，用于收集XXX各系統(tǒng)間的指標(biāo)數(shù)據(jù)，同時(shí)為XXX各系統(tǒng)提供所需的指標(biāo)數(shù)據(jù)，成為溝通XXX現(xiàn)有系統(tǒng)和未來系統(tǒng)之間各種關(guān)鍵業(yè)務(wù)指標(biāo)數(shù)據(jù)的信息橋梁。統(tǒng)一的數(shù)據(jù)采集接口建立統(tǒng)一的數(shù)據(jù)采集接口，根據(jù)XXX實(shí)際業(yè)務(wù)需要，定義符合XXX需要的數(shù)據(jù)采集指標(biāo)，通過XXX數(shù)據(jù)業(yè)務(wù)平臺(tái)統(tǒng)一的進(jìn)行數(shù)據(jù)采集，改變?cè)袑訉酉逻_(dá)參數(shù)，再層層匯總、層層過濾，時(shí)效性和準(zhǔn)確性亦難以保證的問題。統(tǒng)一的數(shù)據(jù)存儲(chǔ)中心通過XXX規(guī)范的指標(biāo)體系，收集和整合相應(yīng)指標(biāo)數(shù)據(jù)，存儲(chǔ)到數(shù)據(jù)集成中心。按照統(tǒng)一指標(biāo)、統(tǒng)一統(tǒng)計(jì)口徑和統(tǒng)一數(shù)據(jù)概念的要求，存儲(chǔ)指標(biāo)數(shù)據(jù)和建立數(shù)據(jù)存儲(chǔ)中心，滿足不同系統(tǒng)之間相互獲取數(shù)據(jù)的要求，同時(shí)為數(shù)據(jù)的綜合分析和歷史回溯奠定數(shù)據(jù)基礎(chǔ)。建立數(shù)據(jù)應(yīng)用接口XXX在生產(chǎn)經(jīng)營決策過程中，通常迫切需要了解XXX外部的實(shí)際情況，所以需要打通XXX與外部的數(shù)據(jù)壁壘，實(shí)現(xiàn)彼此之間數(shù)據(jù)共享。這種需求通過建立XXX與外部之間特定的數(shù)據(jù)應(yīng)用接口，一方面，從外部抽取XXX需要的特定商業(yè)指標(biāo)數(shù)據(jù)，另一方面，提供外部所需的XXX指標(biāo)數(shù)據(jù)。通過二者數(shù)據(jù)之間的充分對(duì)比分析，實(shí)現(xiàn)數(shù)據(jù)之間的數(shù)據(jù)共享，提高現(xiàn)有系統(tǒng)的數(shù)據(jù)使用率和有效地提高數(shù)據(jù)支撐能力，為管理層的經(jīng)營決策提供堅(jiān)實(shí)可靠的依據(jù)。數(shù)據(jù)集成方案ODS系統(tǒng)設(shè)計(jì)現(xiàn)階段ODS系統(tǒng)設(shè)計(jì)如上圖所示，我們?cè)O(shè)計(jì)的ODS系統(tǒng)中，主要有DI模塊和ODS模塊2部分組成，ODS系統(tǒng)根據(jù)通過Trigger、應(yīng)用、批處理、Queue等手段從各MSS應(yīng)用系統(tǒng)中獲得數(shù)據(jù)，并通過DI應(yīng)用對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗、并裝載到ODS數(shù)據(jù)庫中。而一般通過TriggerUpdates的方式來將一些ODS數(shù)據(jù)返回更新各MSS應(yīng)用的數(shù)據(jù)庫。DI模塊這里的DI模塊主要是數(shù)據(jù)抽取、轉(zhuǎn)換和加載，這是數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向ODS加載的主要方法數(shù)據(jù)抽取從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉庫系統(tǒng)所需的數(shù)據(jù)，數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫抽取數(shù)據(jù)，也可以從文件抽取。對(duì)于不同數(shù)據(jù)平臺(tái)、源數(shù)據(jù)形式、性能要求的業(yè)務(wù)系統(tǒng)，以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同，為保證抽取效率，減少對(duì)生產(chǎn)運(yùn)營的影響，對(duì)于大數(shù)據(jù)量的抽取，采取數(shù)據(jù)分割、縮短抽取周期的原則，對(duì)于直接的數(shù)據(jù)庫抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫的安全。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對(duì)抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型具有一致性和完整性，并按要求裝入數(shù)據(jù)倉庫。數(shù)據(jù)加載數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中，可以采用數(shù)據(jù)加載工具，也可以采用API編程進(jìn)行數(shù)據(jù)加載。ODS數(shù)據(jù)庫模塊操作數(shù)據(jù)存儲(chǔ)ODS（OperationDataStorage）是一個(gè)集成了來自不同數(shù)據(jù)庫數(shù)據(jù)的環(huán)境。其目的是為終端用戶提供一致的XXX數(shù)據(jù)集成視圖。它可以幫助用戶輕松應(yīng)對(duì)跨多個(gè)商業(yè)功能的操作挑戰(zhàn)，是面向主題的、集成的、近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)。設(shè)計(jì)ODS層的目的在于改善了對(duì)關(guān)鍵操作數(shù)據(jù)庫的存取，獲得收益、用戶等主題的XXX級(jí)完整視圖，有利于更好地通觀全局。近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)提供了查詢與服務(wù)能力，并以更高的性能生成操作報(bào)告。設(shè)計(jì)ODS的核心是實(shí)現(xiàn)焦點(diǎn)主題全局試圖應(yīng)用，如XXX的用戶管理系統(tǒng)，可以建立以用戶為中心的ODS用戶主題視圖，向上層提供高效的服務(wù)。未來ODS系統(tǒng)設(shè)計(jì)對(duì)于未來的ODS系統(tǒng)設(shè)計(jì)，我們認(rèn)為可以引入MDM的設(shè)計(jì)，但通過ODS來自動(dòng)修改的數(shù)據(jù)庫結(jié)構(gòu)也應(yīng)該僅針對(duì)新開發(fā)的應(yīng)用，即根據(jù)新開發(fā)應(yīng)用的需來對(duì)數(shù)據(jù)庫的結(jié)構(gòu)進(jìn)行修改。而不應(yīng)對(duì)一個(gè)正常運(yùn)行的應(yīng)用系統(tǒng)進(jìn)行任何的改變。ODS系統(tǒng)架構(gòu)ODS系統(tǒng)是介于DW和OLTP系統(tǒng)之間的系統(tǒng)。歷史事實(shí)證明，只有將各個(gè)系統(tǒng)的數(shù)據(jù)綜合在一起才能真正反映出XXX管理需要的數(shù)據(jù)或者報(bào)表，而對(duì)這些數(shù)據(jù)的要求是近乎實(shí)時(shí)的。通過整合現(xiàn)有系統(tǒng)的數(shù)據(jù)和流程。使ODS系統(tǒng)作為所有應(yīng)用系統(tǒng)交互的平臺(tái)，通過DI和ESB兩種技術(shù)對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行整合：各個(gè)應(yīng)用竹編，如人力資源、財(cái)務(wù)管理等將通過XXX服務(wù)總線平臺(tái)（ESB）進(jìn)行交互，ESB也作為其它可能與應(yīng)用系統(tǒng)交互的統(tǒng)一接口；另一方面，數(shù)據(jù)抽取傳送平臺(tái)（DI）負(fù)責(zé)將各個(gè)子系統(tǒng)的數(shù)據(jù)抽取出來（拆分、合并、映射）裝入到ODS系統(tǒng)中，那么ODS系統(tǒng)在具備了各個(gè)子系統(tǒng)的近實(shí)時(shí)數(shù)據(jù)之后，就可以作為獨(dú)立數(shù)據(jù)源對(duì)外提供數(shù)據(jù)服務(wù)，它可以作為數(shù)據(jù)報(bào)表和分析的數(shù)據(jù)源，也可以作為其它子系統(tǒng)相互同步的數(shù)據(jù)源。這樣做有兩個(gè)好處：轉(zhuǎn)移了本屬于各系統(tǒng)的信息查詢負(fù)載到ODS系統(tǒng)，使各系統(tǒng)的壓力降低，提高了整體性能。OMS由于擁有了完整的主數(shù)據(jù)，它為面向主題的分析提供了必須的數(shù)據(jù)基礎(chǔ)。ODS數(shù)據(jù)模型ODS終極目標(biāo)是為了提供非戰(zhàn)略性的中層決策支持，我們認(rèn)為ODS的數(shù)據(jù)模型可以參考數(shù)據(jù)倉庫（DW,DataWarehouse）的基礎(chǔ)模型，即將數(shù)據(jù)分為事實(shí)數(shù)據(jù)和緯度數(shù)據(jù)。事實(shí)數(shù)據(jù)一般代表的是業(yè)務(wù)變動(dòng)記錄，在MSS中我們稱為業(yè)務(wù)數(shù)據(jù)，而緯度數(shù)據(jù)則存放事實(shí)數(shù)據(jù)中業(yè)務(wù)發(fā)生的對(duì)象主體信息，緯度數(shù)據(jù)稱為主數(shù)據(jù)。事實(shí)數(shù)據(jù)和緯度數(shù)據(jù)的關(guān)系是通過關(guān)鍵字來關(guān)聯(lián)的，在數(shù)據(jù)庫中它們都體現(xiàn)為數(shù)據(jù)表的形式。以下為ODS的數(shù)據(jù)模型圖：圖表SEQ圖表\*ARABIC13ODS數(shù)據(jù)模型在上圖中緯度是維持各系統(tǒng)數(shù)據(jù)的一致性描述，而事實(shí)表則是提供分析使用的基礎(chǔ)數(shù)據(jù)。在確立了基本的數(shù)據(jù)模型之后，如何確定數(shù)據(jù)的采集的范圍呢？首先從構(gòu)建XXX全局視圖出發(fā)（即面向主題的分析），查出每個(gè)主題需要哪些數(shù)據(jù)，這些數(shù)據(jù)分別分布在哪些系統(tǒng)中，當(dāng)這一切確定之后，那么整個(gè)ODS數(shù)據(jù)模型牽涉到的數(shù)據(jù)范圍就基本確定了。接著需要通過DI工具將各系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換后裝入到ODS數(shù)據(jù)庫中，轉(zhuǎn)換方式大致分為四種：遷移：一般性的數(shù)據(jù)拷貝方式，源和目標(biāo)的數(shù)據(jù)屬性和值完全相同。組合：例如將供應(yīng)商所處的省份、市、街道組合為ODS中的地址字段。拆分：例如將員工姓名拆分為單獨(dú)的姓和名字段。映射：例如將合同的“完成”狀態(tài)映射為“OK”態(tài)。當(dāng)數(shù)據(jù)從MSS子系統(tǒng)轉(zhuǎn)換到ODS系統(tǒng)時(shí)，數(shù)據(jù)質(zhì)量依賴于DI平臺(tái)，DI平臺(tái)提供完整的事務(wù)、容錯(cuò)、補(bǔ)償、容錯(cuò)和日志功能用于控制數(shù)據(jù)轉(zhuǎn)換的質(zhì)量。數(shù)據(jù)管理由于用戶的需求和場景是經(jīng)常變化的，因此滿足個(gè)性化的定制將變的非常重要。目前數(shù)據(jù)應(yīng)用在個(gè)性戶定制方面主要表現(xiàn)在：雖然定義了模型，但模型不完整，效果不好。這樣用戶在使用時(shí)，不能根據(jù)其需求動(dòng)態(tài)的調(diào)整后端的業(yè)務(wù)規(guī)則和運(yùn)行環(huán)境，不利于用戶的使用。所以需要提供一個(gè)靈活的數(shù)據(jù)模型管理，以及業(yè)務(wù)規(guī)則管理，來應(yīng)對(duì)系統(tǒng)的變化。數(shù)據(jù)模型管理提供可視化的數(shù)據(jù)模型編輯工具，支持以下幾種數(shù)據(jù)模型抽取模式。主擴(kuò)展模式通常用來將幾個(gè)相似的對(duì)象的共有屬性抽取出來，形成一個(gè)“公共屬性表”。例如：一個(gè)員工的基本信息由角色信息、組織信息、崗位信息等部分組成。主從模式描述兩個(gè)表之間的主從關(guān)系，從而形成的“一對(duì)多”關(guān)系。例如：一個(gè)項(xiàng)目對(duì)應(yīng)多個(gè)計(jì)劃階段。多對(duì)多模式描述對(duì)象相互不分主次、地位，互為一對(duì)多的關(guān)系。例如：一種器材可以對(duì)應(yīng)多個(gè)領(lǐng)料單，一個(gè)領(lǐng)料單也可以對(duì)應(yīng)多種器材。流程、規(guī)則管理提供可視化的流程編輯工具、流程定義和流程監(jiān)控功能。提供函數(shù)集提供常用規(guī)則方法，以及規(guī)則定義語言描述規(guī)則。提供基本規(guī)則：直接映射原來是什么就是什么，原封不動(dòng)照搬過來，對(duì)這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運(yùn)算。數(shù)學(xué)運(yùn)算數(shù)據(jù)源的一個(gè)或多個(gè)字段進(jìn)行數(shù)學(xué)運(yùn)算得到的目標(biāo)字段，比如：合同里的支付計(jì)劃由多個(gè)時(shí)間段和支付比例組成，由此得出其總的合同支付時(shí)間和支付金額，這種規(guī)則一般對(duì)數(shù)值型字段而言。參照轉(zhuǎn)換在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個(gè)或多個(gè)字段作為Key，去一個(gè)關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個(gè)關(guān)聯(lián)數(shù)組使用Hash算法實(shí)現(xiàn)是比較合適也是最常見的，在整個(gè)DI開始之前，它就裝入內(nèi)存，對(duì)性能提高的幫助非常大。字符串處理從數(shù)據(jù)源某個(gè)字符串字段中經(jīng)?？梢垣@取特定信息，例如身份證號(hào)。而且，經(jīng)常會(huì)有數(shù)值型值，以字符串形式體現(xiàn)。對(duì)字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時(shí)候，一定要加上異常處理。空值判斷對(duì)于空值的處理是數(shù)據(jù)倉庫中一個(gè)常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。但是無論怎樣，對(duì)于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對(duì)空值進(jìn)行判斷，目前我們的建議是將它轉(zhuǎn)換成特定的值。日期轉(zhuǎn)換在數(shù)據(jù)倉庫中日期值一般都會(huì)有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對(duì)于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。日期運(yùn)算基于日期，我們通常會(huì)計(jì)算日差、月差、時(shí)長等。一般數(shù)據(jù)庫提供的日期運(yùn)算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運(yùn)算函數(shù)集。聚集運(yùn)算對(duì)于事實(shí)表中的度量字段，他們通常是通過數(shù)據(jù)源一個(gè)或多個(gè)字段運(yùn)用聚集函數(shù)得來的，這些聚集函數(shù)為SQL標(biāo)準(zhǔn)中，包括sum，count，avg，min，max。既定取值這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對(duì)目標(biāo)字段取一個(gè)固定的或是依賴系統(tǒng)的值系統(tǒng)技術(shù)特點(diǎn)為實(shí)現(xiàn)XXXODS系統(tǒng)管理系統(tǒng)的業(yè)務(wù)處理、資源共享、信息交流，采用了面向?qū)ο蟆⑾f(xié)作、動(dòng)態(tài)工作流和組件等先進(jìn)技術(shù)，架構(gòu)層次清晰，緊密結(jié)合行業(yè)特點(diǎn)，注重易用性、個(gè)性化，與同類產(chǎn)品相比，本系統(tǒng)在先進(jìn)性、安全性、開放性、高效性、擴(kuò)展性、靈活性、易用性、規(guī)范性、實(shí)用性等方面均達(dá)到較高的水準(zhǔn)，具有以下突出優(yōu)勢：先進(jìn)性.NET平臺(tái)支持業(yè)內(nèi)各種高級(jí)應(yīng)用、接口技術(shù)和標(biāo)準(zhǔn)，使系統(tǒng)平臺(tái)具有良好的開放性和互集成性。同時(shí)，作為主流應(yīng)用平臺(tái)之一，.NET也是業(yè)內(nèi)的事實(shí)工業(yè)標(biāo)準(zhǔn)，是其他技術(shù)、系統(tǒng)、應(yīng)用支持的主要對(duì)象之一，可以確保系統(tǒng)在未來相當(dāng)長的時(shí)間內(nèi)完全適應(yīng)審計(jì)信息化的發(fā)展。.NET平臺(tái)支持業(yè)內(nèi)各種高級(jí)應(yīng)用、接口技術(shù)和標(biāo)準(zhǔn)，使系統(tǒng)平臺(tái)具有良好的開放性和互集成性。同時(shí)，作為主