企業(yè)數(shù)據(jù)開放平臺建設(shè)思路.doc

企業(yè)數(shù)據(jù)開放平臺建設(shè)思路 摘要：隨著企業(yè)信息系統(tǒng)的運營及發(fā)展，與外圍平臺間的數(shù)據(jù)共享越來越密切，越來越多的企業(yè)信息系統(tǒng)將會開放內(nèi)部核心數(shù)據(jù)資源，提供給第三方系統(tǒng)接入，便于共同開發(fā)數(shù)據(jù)資源。那么設(shè)計一個開放數(shù)據(jù)提供平臺， 把自己的數(shù)據(jù)資源準(zhǔn)確及時的推送給第三方系統(tǒng)尤為迫切。企業(yè)數(shù)據(jù)開放平臺的管理系統(tǒng)主要負(fù)責(zé)系統(tǒng)中各類數(shù)據(jù)的維護(hù)與管理，其中數(shù)據(jù)同步模塊是企業(yè)數(shù)據(jù)開放平臺的重要組成部分。 關(guān)鍵詞：企業(yè)數(shù)據(jù) 開放平臺 設(shè)計 中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2015）04-0195-02 企業(yè)數(shù)據(jù)開放平臺是以提供基礎(chǔ)數(shù)據(jù)服務(wù)為目的，為下游接入的子系統(tǒng)，提供標(biāo)準(zhǔn)化的接口，并實現(xiàn)與數(shù)據(jù)開放相關(guān)的運營管理；整個系統(tǒng)分為上游數(shù)據(jù)源管理、下游接入系統(tǒng)管理，鑒權(quán)服務(wù)，數(shù)據(jù)同步服務(wù)等組成部分。上游數(shù)據(jù)源管理主要對數(shù)據(jù)提供方配置數(shù)據(jù)過濾規(guī)則，經(jīng)過加工轉(zhuǎn)換之后換成開放平臺的標(biāo)準(zhǔn)格式數(shù)據(jù)。下游接入系統(tǒng)管理主要為接入方配置所需的數(shù)據(jù)模型，配置數(shù)據(jù)同步規(guī)則。鑒權(quán)服務(wù)主要對下游系統(tǒng)頒發(fā)訪問令牌，只有通過合法授權(quán)才能正常訪問數(shù)據(jù)。數(shù)據(jù)同步服務(wù)是數(shù)據(jù)開放平臺最復(fù)雜及最核心的功能模塊，完好的同步機制能保證數(shù)據(jù)同步的完整性、及時性及正確性。 1 數(shù)據(jù)開放平臺組成 圖1顯示了企業(yè)數(shù)據(jù)開放平臺功能模塊及上下游系統(tǒng)的關(guān)系。 從圖1可以看到完整數(shù)據(jù)開放平臺的全貌，最頂層的是上游系統(tǒng)，上游系統(tǒng)是數(shù)據(jù)源，提供基礎(chǔ)數(shù)據(jù)，通過數(shù)據(jù)適配層的數(shù)據(jù)轉(zhuǎn)換，把數(shù)據(jù)存儲到數(shù)據(jù)中心。下游系統(tǒng)通過數(shù)據(jù)開放平臺提供的數(shù)據(jù)同步服務(wù)取得數(shù)據(jù)資源。由此可見數(shù)據(jù)適配器及數(shù)據(jù)同步模塊起承上啟下的作用，是數(shù)據(jù)開放平臺重點建設(shè)的功能模塊。 2 數(shù)據(jù)適配器的設(shè)計思路。 由于數(shù)據(jù)由多個上游系統(tǒng)產(chǎn)生。不同的上游系統(tǒng)提供的硬件設(shè)施、網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)庫管理系統(tǒng)，業(yè)務(wù)支撐系統(tǒng)、業(yè)務(wù)規(guī)范等很有可能都不一樣，單一的依賴傳統(tǒng)系統(tǒng)軟件或工具已不能滿足數(shù)據(jù)同步的需求，迫切需要設(shè)計一種企業(yè)級的應(yīng)用解決方案，能夠屏蔽復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)關(guān)系，使不同的網(wǎng)元間數(shù)據(jù)簡單順暢的流動到企業(yè)數(shù)據(jù)開放平臺。數(shù)據(jù)適配器主要功能就是對上游系統(tǒng)提供統(tǒng)一的數(shù)據(jù)訪問接口，對下直接與企業(yè)數(shù)據(jù)開放平臺的數(shù)據(jù)庫交互。 2.1 在系統(tǒng)支撐上數(shù)據(jù)適配器設(shè)計要求包括以下幾個原則 與平臺無關(guān)性：無論上游數(shù)據(jù)庫管理系統(tǒng)處于何種環(huán)境，都能通過調(diào)用平臺開放的接口，把數(shù)據(jù)存儲到數(shù)據(jù)中心。 可擴展性：設(shè)計的適配器能滿足后續(xù)業(yè)務(wù)的擴展。如：能在不改變現(xiàn)有接口的協(xié)議上支持?jǐn)?shù)據(jù)中心表字段的增加。 可復(fù)用性：設(shè)計的適配器除了滿足現(xiàn)有的接入的上游系統(tǒng)之外，能滿足后續(xù)更多接入的上游系統(tǒng)。 2.2 在業(yè)務(wù)及管理上數(shù)據(jù)適配器設(shè)計要求包括以下幾個原則 支持?jǐn)?shù)據(jù)規(guī)則的配置。系統(tǒng)能靈活支持不同的上游系統(tǒng)不同的數(shù)據(jù)過濾規(guī)則。數(shù)據(jù)適配器在接收到上游系統(tǒng)的數(shù)據(jù)時，從配置規(guī)則里匹對所需要的數(shù)據(jù) ，只有復(fù)合規(guī)則的數(shù)據(jù)才進(jìn)行入庫保存。 支持?jǐn)?shù)據(jù)的轉(zhuǎn)換。上游系統(tǒng)通過適配器同步數(shù)據(jù)時，對于特殊字段的值能夠根據(jù)配置的轉(zhuǎn)換邏輯進(jìn)行個性處理，以便兼容到上游系統(tǒng)的特殊業(yè)務(wù)。 支持?jǐn)?shù)據(jù)的加工。上流系統(tǒng)同步數(shù)據(jù)時，對于不完整的數(shù)據(jù)，適配器能夠自動根據(jù)配置的數(shù)據(jù)加工邏輯，對數(shù)據(jù)進(jìn)行自動填充處理，使數(shù)據(jù)達(dá)到完整性。 不能隨便變更數(shù)據(jù)中心的業(yè)務(wù)約束。業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)規(guī)則應(yīng)以數(shù)據(jù)中心的為準(zhǔn)。當(dāng)上游系統(tǒng)與數(shù)據(jù)中心的業(yè)務(wù)約束有沖突時，數(shù)據(jù)中心應(yīng)該把這部分?jǐn)?shù)據(jù)進(jìn)行屏蔽或過濾處理。 3 數(shù)據(jù)同步的設(shè)計思路 數(shù)據(jù)中心的下游系統(tǒng)，是數(shù)據(jù)消費者。下游系統(tǒng)通過數(shù)據(jù)開放平臺的同步機制來獲取數(shù)據(jù)，因此設(shè)計可靠穩(wěn)定及時的數(shù)據(jù)同步機制是數(shù)據(jù)同步建設(shè)的目標(biāo)。數(shù)據(jù)同步建設(shè)的思路包括以下幾點： （1）對于所有下游系統(tǒng)必須經(jīng)過合法授權(quán)才能訪問數(shù)據(jù)。 （2）對于所有下游系統(tǒng)必須要限定訪問數(shù)據(jù)的范圍和訪問的頻率，防止不必要的數(shù)據(jù)傳輸及過于頻繁的請求訪問，造成數(shù)據(jù)中心服務(wù)器壓力問題。 （3）數(shù)據(jù)中心不允許下游系統(tǒng)反向更新數(shù)據(jù)，數(shù)據(jù)的錄入及更新都在數(shù)據(jù)中心的上游系統(tǒng)執(zhí)行。 3.1 同步機制的選擇，以下兩種是業(yè)界常用的數(shù)據(jù)同步方案 3.1.1 主動同步的方案 具體來說由數(shù)據(jù)中心主動發(fā)起同步 流程如下 （1）數(shù)據(jù)中心向下游系統(tǒng)發(fā)通知，告知下游系統(tǒng)數(shù)據(jù)有更新； （2）下游系統(tǒng)收到通知后向數(shù)據(jù)更新請求數(shù)據(jù)； （3）數(shù)據(jù)中心收到請求數(shù)據(jù)后，向下游系統(tǒng)發(fā)送數(shù)據(jù)； （4）下游系統(tǒng)收到數(shù)據(jù)后進(jìn)行入庫保存。 3.1.2 被動同步方案 具體來說由下游系統(tǒng)主動發(fā)起數(shù)據(jù)同步的請求 流程如下 （1）下游系統(tǒng)向數(shù)據(jù)中心發(fā)起數(shù)據(jù)更新請求； （2）數(shù)據(jù)中心收到請求后，向下游系統(tǒng)發(fā)送數(shù)據(jù)； （3）下游系統(tǒng)收到數(shù)據(jù)后進(jìn)行入庫保存。 數(shù)據(jù)同步模塊應(yīng)該建立監(jiān)控機制。監(jiān)控包括性能監(jiān)控、業(yè)務(wù)監(jiān)控、預(yù)警等，主要監(jiān)控數(shù)據(jù)請求、數(shù)據(jù)處理、系統(tǒng)壓力三個方面。并提供預(yù)警機制，通過配置相關(guān)預(yù)警規(guī)則、實現(xiàn)業(yè)務(wù)異常的展現(xiàn)及處理等。 4 規(guī)范管理 4.1 制定標(biāo)準(zhǔn)接口協(xié)議規(guī)范 Web service是一個平臺獨立的，低耦合的，自包含的、基于可編程的web的應(yīng)用程序，可使用開放的XML（標(biāo)準(zhǔn)通用標(biāo)記語言下的一個子集）標(biāo)準(zhǔn)來描述、發(fā)布、發(fā)現(xiàn)、協(xié)調(diào)和配置這些應(yīng)用程序，用于開發(fā)分布式的互操作的應(yīng)用程序。對于數(shù)據(jù)適配器及數(shù)據(jù)同步接口非常適合采Web service的形式。 4.2 制定全流程管理規(guī)范 無論是上游系統(tǒng)、還是下游系統(tǒng)從零開始到成功接入到數(shù)據(jù)開放平臺必定會有涉及以下內(nèi)容： （1）業(yè)務(wù)評估。對于上游系統(tǒng)，企業(yè)數(shù)據(jù)開放平臺必須充分評估上游系統(tǒng)的數(shù)據(jù)是否是數(shù)據(jù)中心需要的數(shù)據(jù)。對于下游系統(tǒng)，企業(yè)數(shù)據(jù)開放平臺應(yīng)該協(xié)助下游系統(tǒng)，評估數(shù)據(jù)中心的提供數(shù)據(jù)能否滿足下游系統(tǒng)的業(yè)務(wù)要求。 （2）同步方案的選擇。原則上無論是上游還是下游系統(tǒng)，均以數(shù)據(jù)開放平臺的標(biāo)準(zhǔn)接口協(xié)議來實現(xiàn)數(shù)據(jù)的同步。不允許為了某個下游系統(tǒng)而改變現(xiàn)有的同步機制。但如果某個上游系統(tǒng)過于強勢，已經(jīng)有成熟的數(shù)據(jù)同步解決方案時，可以在數(shù)據(jù)適配器與此上游系統(tǒng)之間架設(shè)一層數(shù)據(jù)中轉(zhuǎn)后臺，這個數(shù)據(jù)中轉(zhuǎn)后臺等于為此上游系統(tǒng)單獨服務(wù)的，用于平滑它的接入，數(shù)據(jù)適配器直接對接這個數(shù)據(jù)中轉(zhuǎn)后臺。 （3）接入配置。系統(tǒng)應(yīng)該設(shè)計有接入方的管理功能，對于上游系統(tǒng)能夠配置數(shù)據(jù)適配置器的過濾規(guī)則、數(shù)據(jù)的轉(zhuǎn)換規(guī)則、容錯處理規(guī)則等。對于下游系統(tǒng)能夠配置數(shù)據(jù)消費者需要哪些數(shù)據(jù)、數(shù)據(jù)消費者的授權(quán)碼，數(shù)據(jù)加密的密鑰、消費者IP等等。 （4）配合上下游系統(tǒng)的開發(fā)聯(lián)調(diào)實施。對于上游系統(tǒng)接入，需要驗證上游系統(tǒng)同步過來的數(shù)據(jù)是否正確入庫，入庫的數(shù)據(jù)能否正常流轉(zhuǎn)到下游系統(tǒng)。如果開放平臺還為上游系統(tǒng)獨立開發(fā)了數(shù)據(jù)中轉(zhuǎn)后臺，還需要驗證上游的業(yè)務(wù)系統(tǒng)是否正確的把數(shù)據(jù)同步到數(shù)據(jù)中轉(zhuǎn)后臺。對于下游系統(tǒng)，一般需要驗證數(shù)據(jù)中心的數(shù)據(jù)是否正常流轉(zhuǎn)到下游系統(tǒng)，一般而言開發(fā)的聯(lián)調(diào)工作在于下游系統(tǒng)，但也需要數(shù)據(jù)開放平臺配合實施。 （5）上線前數(shù)據(jù)割接。對于上游接入的系統(tǒng)，需要把上游存量數(shù)據(jù)做一次割接。上游系統(tǒng)割接數(shù)據(jù)之后，數(shù)據(jù)中心會把數(shù)據(jù)復(fù)制多份給下游系統(tǒng)，系統(tǒng)順間暴發(fā)巨量的數(shù)據(jù)同步，對于數(shù)據(jù)中心性能會是一個考驗。因此割接宜在系統(tǒng)壓力最輕的時間段內(nèi)執(zhí)行（如晚上10點過后）。另外在割接上游系統(tǒng)的數(shù)據(jù)時務(wù)必保證數(shù)據(jù)的正確性，如果數(shù)據(jù)割接存在問題那么造成數(shù)據(jù)回滾的成本會相當(dāng)大。對于下游系統(tǒng)，系統(tǒng)上線前宜采用文件的形式做一次歷史數(shù)據(jù)的全量割接，這樣對數(shù)據(jù)中心的壓力是最小的。 （6）上線后的運營管理。無論是上游系統(tǒng)，還是下游系統(tǒng)，在運營過程中肯定會提出很多優(yōu)化建議或業(yè)務(wù)需求。對于這些建