數(shù)據(jù)倉庫元數(shù)據(jù)管理模式的分析與比較

1、數(shù)據(jù)倉庫元數(shù)據(jù)管理模式的分析與比較聶茹,張虹(中國礦業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院,江蘇徐州221008摘要:介紹了典型的元數(shù)據(jù)管理策略,并對三種元數(shù)據(jù)管理模式進行了詳細(xì)的分析與比較;最后提出了一種分布式的元數(shù)據(jù)管理模式。關(guān)鍵詞:數(shù)據(jù)倉庫;元數(shù)據(jù);元數(shù)據(jù)庫中圖法分類號:TP392 文獻標(biāo)識碼: A 文章編號:1001-3695(200502-0057-02Com parison Research of M et ada ta M an agem entM odule in Data War ehouseNIE Ru,ZHAN G Hong(School of Computer Science&am

2、p;Technology,China Univers ity of Mining&Technology,Xuz hou Jiangs u221008,ChinaAbst ract:Ca tegorizes the m a jor m eta dat a m ana gem ent s trat eg y,m akes a det ailed a na ly ze a nd com parison of t hree kinds of m eta dat a m anag em ent m odules,and present s a distribut ed m et adat a m

3、 ana gem ent m odule.Key words:Dat a Warehous e;Meta da ta;Meta da ta Reposit ory元數(shù)據(jù)是數(shù)據(jù)倉庫的一個重要組成部分,是聯(lián)系數(shù)據(jù)倉庫中各部分的紐帶。它作用于數(shù)據(jù)倉庫的創(chuàng)建、維護、管理和使用的各個方面,是內(nèi)部技術(shù)人員開發(fā)與維護數(shù)據(jù)倉庫的藍圖,是業(yè)務(wù)終端用戶導(dǎo)航數(shù)據(jù)倉庫以及定位有用信息的路標(biāo)1。而元數(shù)據(jù)管理是構(gòu)建、管理、維護和使用數(shù)據(jù)倉庫系統(tǒng)的核心部件2。元數(shù)據(jù)管理的一個重要方面是元數(shù)據(jù)的互操作以及與數(shù)據(jù)訪問及分析工具的集成,這一點在元數(shù)據(jù)管理中非常重要,其最終目的是無縫連接數(shù)據(jù)倉庫環(huán)境中的各個工具,實現(xiàn)數(shù)據(jù)倉庫裝載、

4、管理、維護和使用的一體化及半自動化3。因此,元數(shù)據(jù)管理模式不僅制約了元數(shù)據(jù)的使用和普及,甚至可以直接關(guān)系到數(shù)據(jù)倉庫項目的成敗。1 元數(shù)據(jù)管理的兩種策略1.1 元數(shù)據(jù)倉庫建立一個有較寬專業(yè)覆蓋范圍的元數(shù)據(jù)標(biāo)準(zhǔn),讓所有行業(yè)的元數(shù)據(jù)均按照此標(biāo)準(zhǔn)進行定義和管理,并通過擴展策略來支持新類型元數(shù)據(jù)的加入,這是元數(shù)據(jù)倉庫的根本出發(fā)點。建立元數(shù)據(jù)訪問和整個元數(shù)據(jù)生命周期管理的系統(tǒng)元數(shù)據(jù)倉庫(Met ada ta Reposit ory,作為元數(shù)據(jù)訪問和聚集的平臺4。這種元數(shù)據(jù)管理策略包含一個元數(shù)據(jù)管理體系結(jié)構(gòu)的框架,這些體系結(jié)構(gòu)框架要求:(1定義通用的元數(shù)據(jù)標(biāo)準(zhǔn),描述元數(shù)據(jù)的結(jié)構(gòu)和語義,這種標(biāo)準(zhǔn)必須是與廠商無

5、關(guān)并獨立于特定實現(xiàn)技術(shù)的。(2對于標(biāo)準(zhǔn)的定義必須有一個標(biāo)準(zhǔn)的建模語言。(3標(biāo)準(zhǔn)的定義必須有一定的邏輯抽象性,能夠被多種技術(shù)在多種軟、硬件平臺上實現(xiàn)。(4對于此標(biāo)準(zhǔn)的不同廠商的具體實現(xiàn)系統(tǒng)之間要有一種元數(shù)據(jù)交換標(biāo)準(zhǔn),以實現(xiàn)元數(shù)據(jù)互訪和元數(shù)據(jù)的分布式管理。這種元數(shù)據(jù)管理策略以O(shè)MG的MOF和MDC的OIM為代表5。1.2 元數(shù)據(jù)交換元數(shù)據(jù)交換途徑包括:元數(shù)據(jù)橋和元數(shù)據(jù)交換標(biāo)準(zhǔn)6。(1元數(shù)據(jù)橋溝通不同工具或應(yīng)用,提供面向批處理的互操作?，F(xiàn)在只有少數(shù)幾家公司提供這種橋接器,沒有明顯的市場影響力。(2元數(shù)據(jù)交換標(biāo)準(zhǔn)允許不同工具用同一種數(shù)據(jù)格式來共享元數(shù)據(jù)(標(biāo)準(zhǔn)定義了共享元數(shù)據(jù)的結(jié)構(gòu)和語義,但沒有定義元數(shù)

6、據(jù)如何在表示層被使用;允許不同領(lǐng)域有不同種類,如地理界的地球空間元數(shù)據(jù)標(biāo)準(zhǔn)、人文學(xué)界的TEL Header、檔案界的EAD元數(shù)據(jù)集等,其中在IT業(yè)中的以C DIF,XML為代表5。2元數(shù)據(jù)管理模式的分析與比較目前,存在三種典型的元數(shù)據(jù)管理模式,每一種管理模式都對數(shù)據(jù)倉庫的管理和使用等方面具有相應(yīng)的優(yōu)勢和缺陷,但它們又同時具備一些共同的基本特征和功能。元數(shù)據(jù)的集成和互操作是元數(shù)據(jù)管理系統(tǒng)應(yīng)該具備的基本的和最重要的功能之一。2.1 集中式元數(shù)據(jù)管理模式企業(yè)范圍內(nèi)的信息管理要求信息環(huán)境中的異構(gòu)產(chǎn)品能夠?qū)υ獢?shù)據(jù)進行全局的、高效的訪問,因此,企業(yè)級的集中式元數(shù)據(jù)庫的數(shù)據(jù)協(xié)調(diào)方案應(yīng)運而生7。為了集成企業(yè)范

7、圍內(nèi)的不同開發(fā)工具和元數(shù)據(jù)庫,共享元數(shù)據(jù)環(huán)境必須提供一致的共享方法,使得元數(shù)據(jù)能夠被一致地存儲、管理、集成和全局訪問。其參考結(jié)構(gòu)如圖1所示。企業(yè)級中心元數(shù)據(jù)庫作為元數(shù)據(jù)集成的平臺,一方面有助75第2期聶茹等:數(shù)據(jù)倉庫元數(shù)據(jù)管理模式的分析與比較收稿日期:2004-01-11;修返日期:2004-05-12于管理整個企業(yè)中數(shù)據(jù)倉庫或數(shù)據(jù)集市的關(guān)鍵數(shù)據(jù);另一方面有助于所有的參與者都能共享通用的數(shù)據(jù)結(jié)構(gòu)、商業(yè)規(guī)則定義和企業(yè)各系統(tǒng)間的數(shù)據(jù)定義,而無須提供元數(shù)據(jù)交換機制。但是,使用統(tǒng)一的元數(shù)據(jù)模型,并將所有的元數(shù)據(jù)集中存儲在中心元數(shù)據(jù)庫,不利于數(shù)據(jù)倉庫的維護,造價昂貴且實施困難,并且不同的數(shù)據(jù)倉庫工具只能

8、直接訪問中心元數(shù)據(jù)庫,而不能自治地局部存儲和管理元數(shù)據(jù)。Microsoft和Plat inum開發(fā)的Re-posit ory就是這種面向整個企業(yè)的集中式元數(shù)據(jù)管理模式。2.2 分散式元數(shù)據(jù)管理模式為了解決中心元數(shù)據(jù)庫管理模式存在的缺陷,目前大多數(shù)數(shù)據(jù)倉庫系統(tǒng)中采用一種基于交換機制的元數(shù)據(jù)管理模式。這種管理模式通過建立相應(yīng)的元數(shù)據(jù)交換標(biāo)準(zhǔn),使得不同的數(shù)據(jù)倉庫工具能夠使用不同的數(shù)據(jù)模型、不同的表示方式,而這些工具之間可以通過元數(shù)據(jù)交換標(biāo)準(zhǔn)進行連接和通信(圖2。在數(shù)據(jù)倉庫的實施中先建立各部門的數(shù)據(jù)集市,再在其基礎(chǔ)上建立企業(yè)級數(shù)據(jù)倉庫,這種管理模式的最大優(yōu)點是不同的工具可以高度自治地訪問局部元數(shù)據(jù)庫,

9、提高了訪問速度;但是系統(tǒng)需要提供元數(shù)據(jù)交換機制來滿足不同局部元數(shù)據(jù)庫之間的互操作和連接等問題,相應(yīng)地增加了系統(tǒng)的負(fù)擔(dān)8。另外,這種模式形成了冗余、分離的數(shù)據(jù)局面,其數(shù)據(jù)和元數(shù)據(jù)分散在多個系統(tǒng)中,增大了協(xié)調(diào)和管理它們的難度,產(chǎn)生了許多問題。OMG提出的CWM規(guī)范已經(jīng)成為這個數(shù)據(jù)倉庫業(yè)內(nèi)共同支持的元數(shù)據(jù)管理的唯一事實標(biāo)準(zhǔn)。2.3 共享式元數(shù)據(jù)管理模式共享式元數(shù)據(jù)管理模式結(jié)合了前兩種方法的優(yōu)點,并且克服了它們的諸多弊端,(圖39。元數(shù)據(jù)庫采用前述的元數(shù)據(jù)標(biāo)準(zhǔn)(如CWM,建立一個從原始元數(shù)據(jù)到規(guī)范元數(shù)據(jù)的包裝器,將分散在不同廠商的數(shù)據(jù)倉庫工具中的元數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的元數(shù)據(jù)語言,并且提供統(tǒng)一的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)

10、和業(yè)務(wù)規(guī)則,將企業(yè)內(nèi)的各數(shù)據(jù)集市組合到一起。圖3共享式元數(shù)據(jù)管理模式元數(shù)據(jù)庫作為元數(shù)據(jù)的集成平臺,包括用于操作和查詢元數(shù)據(jù)的機制,使整個機構(gòu)都能方便地訪問元數(shù)據(jù)。這樣不但有利于管理所有數(shù)據(jù)倉庫和數(shù)據(jù)集市中出現(xiàn)的元數(shù)據(jù),而且還為各個數(shù)據(jù)集市提供了一個統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)規(guī)則。3 分布式元數(shù)據(jù)管理模式隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,傳統(tǒng)的數(shù)據(jù)倉庫元數(shù)據(jù)管理體系已逐漸不能適應(yīng)數(shù)據(jù)倉庫分布化、異構(gòu)化的要求,相應(yīng)的分布式數(shù)據(jù)倉庫元數(shù)據(jù)管理體系亟待推出并逐步完善。在對傳統(tǒng)元數(shù)據(jù)管理模式進行深入分析和比較研究的基礎(chǔ)上,本文提出了基于分布式的元數(shù)據(jù)管理模型(圖4。圖4分布式元數(shù)據(jù)管理模式模型中的元數(shù)據(jù)是分布在各個站點

11、的數(shù)據(jù)倉庫中數(shù)據(jù)的描述性信息的集合。數(shù)據(jù)倉庫是網(wǎng)絡(luò)環(huán)境下的全數(shù)字信息流,其數(shù)據(jù)來自網(wǎng)絡(luò)環(huán)境下的分布式存儲的各類數(shù)據(jù)庫。數(shù)據(jù)倉庫通過元數(shù)據(jù)系統(tǒng)動態(tài)抽取分布式信息來滿足用戶決策支持的需要。模型中的元數(shù)據(jù)管理系統(tǒng)是一個對各站點元數(shù)據(jù)庫、全局共享元數(shù)據(jù)庫及其相互之間的關(guān)系進行協(xié)調(diào)與管理,并提供面向用戶的應(yīng)用接口與應(yīng)用界面的軟件平臺,它包括如下子系統(tǒng):(1元數(shù)據(jù)管理系統(tǒng);(2請求響應(yīng)端管理系統(tǒng);(3數(shù)據(jù)倉庫系統(tǒng),根據(jù)決策問題及數(shù)據(jù)倉庫的設(shè)計方案,驅(qū)動數(shù)據(jù)引擎,抽取分布式存儲的信息,構(gòu)建數(shù)據(jù)倉庫。4元數(shù)據(jù)庫的實現(xiàn)元數(shù)據(jù)管理的任務(wù)主要有兩個方面:負(fù)責(zé)存儲和維護元數(shù)據(jù)庫中的元數(shù)據(jù);負(fù)責(zé)數(shù)據(jù)倉庫建模工具、數(shù)據(jù)獲

12、取工具、前端工具之間的消息傳遞,協(xié)調(diào)各模塊與工具之間的工作。元數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)如圖5所示。以下我們通過對數(shù)據(jù)倉庫各個主要功能模塊的具體分析,全面地了解元數(shù)據(jù)管理的具體實現(xiàn)。圖5 元數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)4.1 數(shù)據(jù)源數(shù)據(jù)倉庫的數(shù)據(jù)來自于企業(yè)內(nèi)外的多個異構(gòu)的數(shù)據(jù)源,它們可以是各種類型的數(shù)據(jù)庫、文本文件,甚至是Web數(shù)據(jù)。具體來說,主要包括數(shù)據(jù)源的元數(shù)據(jù)、數(shù)據(jù)模型的元數(shù)據(jù)、數(shù)據(jù)源與數(shù)據(jù)倉庫映射的元數(shù)據(jù)等2。4.2 數(shù)據(jù)倉庫建模數(shù)據(jù)倉庫建模工具幫助用戶通過需求分析創(chuàng)建倉庫的數(shù)據(jù)模式,同時還能夠定義模式中各個表的數(shù)據(jù)來源、數(shù)據(jù)轉(zhuǎn)換規(guī)則、有關(guān)聚集操作等信息。具體轉(zhuǎn)換規(guī)則有如下幾種8:(1基本的轉(zhuǎn)換規(guī)則有兩個:一對

13、一抽取,即源數(shù)據(jù)庫中某一列直接抽取到數(shù)據(jù)倉庫中的對應(yīng)列,可分為直接抽取和通過聚集函數(shù)抽取兩種情況。多對一抽取,即兩個或兩個以上的源數(shù)據(jù)庫中的列被抽取到數(shù)據(jù)倉庫的一個列中,通過算術(shù)運算符或通過U nion操作完成。(2復(fù)雜的轉(zhuǎn)換規(guī)則可以由上面的基本轉(zhuǎn)換規(guī)則得到。(3轉(zhuǎn)換規(guī)則中不可避免會用到一些函數(shù),當(dāng)抽取時需要一些特殊的操作,允許用戶編程定義一些自定義函數(shù)。(下轉(zhuǎn)第61頁85計算機應(yīng)用研究2005年 圖1集中式元數(shù)據(jù)管 理模式圖2分散式元數(shù)據(jù)管理模式 然運算過于復(fù)雜,因此可以選用Floyd算法或是根據(jù)著名的旅行商問題(亦稱貨郎擔(dān)問題的解法求解。在求得最優(yōu)路徑的基礎(chǔ)上,再根據(jù)現(xiàn)有車輛運行情況可確定

14、車輛調(diào)配計劃。(2機構(gòu)設(shè)施地理位置的選擇對于供應(yīng)商、第三物流企業(yè)、配送中心、用戶而言,需求和供給這兩方面總是存在著空間分布上的差異。此外無論是供應(yīng)商還是銷售商其服務(wù)范圍和銷售市場范圍也具有一定的空間分布形式,因此機構(gòu)設(shè)施的布局是電子商務(wù)下物流管理所必須面臨的問題,其合理程度直接影響利潤獲取的多少。機構(gòu)設(shè)施地理位置的選擇包括位置的評價和優(yōu)化。評價是對于現(xiàn)有設(shè)施的空間位置分布模式的評價,而優(yōu)化是對于最佳位置的搜尋。地理位置的合理布局實質(zhì)上就是在距離最小化和利潤最大化兩者之間尋求平衡點。現(xiàn)有的針對市場功能區(qū)域進行空間分析和模擬的模型很多,如Peily的零售重力模型、Ba tt y的裂點方程、Tobl

15、er的價格場和作用風(fēng)以及空間線性優(yōu)化模型?？臻g線性優(yōu)化模型是由一系列的邊界條件和一個目標(biāo)函數(shù)組成。邊界條件即規(guī)劃目標(biāo)的約束條件,目標(biāo)函數(shù)代表最大限度可能達到的目標(biāo)。如某一公司要在某市設(shè)立x個配送中心,要求分配中心完全覆蓋這個城市,而且每個配送中心的顧客數(shù)量大致相等。在求解過程中,首先可在城市交通圖上標(biāo)出居民地的空間分布位置,分析已有的供應(yīng)點和潛在的供應(yīng)點,按照給定的條件列出需求點和供應(yīng)點的二元矩陣;根據(jù)矩陣約簡方法,排除多余供應(yīng)點,求出滿足條件的且最少量的配送中心。詳細(xì)方法可參考文獻2。(3輔助決策分析物流系統(tǒng)與企業(yè)和用戶有著最直接的聯(lián)系,對消費和市場的分析,可以幫助企業(yè)制定正確的生產(chǎn)和銷售計

16、劃。GIS提供全方位的信息,歷史的、現(xiàn)在的、空間的、屬性的。通過這些可以獲得客戶資料以及與企業(yè)相關(guān)的綜合數(shù)據(jù),如用戶的歷史購買力、購買行為、年齡構(gòu)成、地理分布;所在區(qū)域的交通狀況、經(jīng)濟發(fā)展程度、消費水平等。在空間數(shù)據(jù)上集成各種信息,并以此為基礎(chǔ),進行如消費趨勢分析、銷售力量分析、目標(biāo)市場分析以及潛在客戶分析等,為管理者提供決策支持。4結(jié)論地理信息系統(tǒng)與電子商務(wù)和物流歷史上是完全獨立,且分開發(fā)展的不同系統(tǒng),但是在這樣一個信息化、網(wǎng)絡(luò)化的時代,幾種技術(shù)的整合是難以避免的。無論從特點上、體系結(jié)構(gòu)上、操作的可行性上來講,它們的結(jié)合都是切實可行的,而且是有價值的。將GIS技術(shù)引入電子商務(wù)下的物流管理,一

17、方面能夠開拓GIS的應(yīng)用領(lǐng)域,促進其自身的發(fā)展;另一方面,也可以完善電子商務(wù)下物流管理體系,更好地滿足物流管理信息化的要求,提高物流分析技術(shù),幫助解決電子商務(wù)下物流配送的瓶頸問題。GIS技術(shù)和現(xiàn)代物流技術(shù)都是在20世紀(jì)80年代初傳入我國,發(fā)展歷史都不長,理論和實踐上都還有待進一步的提高。而將GIS應(yīng)用于物流分析和物流研究中,還處于起步階段,在應(yīng)用中,基于GIS的物流管理信息系統(tǒng)的計算機體系的建立、數(shù)據(jù)庫的建設(shè),以及物流分析模型都還有待于更深入的研究。參考文獻:1張鐸.電子商務(wù)與物流M.北京:清華大學(xué)出版社,2000.2陳述彭,魯學(xué)軍,周成虎.地理信息系統(tǒng)導(dǎo)論M.北京:科學(xué)教育出版社,2000.

18、3郭仁忠.空間分析M.武漢:武漢測繪科技大學(xué)出版社,1997.4王大力,陳聯(lián).基于GeoSurf建立綠色食品交易中心網(wǎng)站的可行性研究J.測繪軟科學(xué)研究,2002,8(2:37-40.5張廣軍,榮朝和.物流分析系統(tǒng)GIS仿真J.中國流通經(jīng)濟,1999,(4:19-22.作者簡介:楊瑾(1973-,女,重慶人,長安大學(xué)講師,博士研究生,主要研究方向為地理信息系統(tǒng)的教學(xué)與研究;陳晏輝(1973-,男,寧夏銀川人,工程師,碩士,主要研究方向為電子商務(wù)及物流管理。(上接第58頁4.3 數(shù)據(jù)抽取與轉(zhuǎn)換從源系統(tǒng)的數(shù)據(jù)到數(shù)據(jù)倉庫中的目標(biāo)數(shù)據(jù)的轉(zhuǎn)移是一項復(fù)雜的工作,主要涉及到兩個問題:抽取工作之間的復(fù)雜關(guān)系;源

19、數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的映射,即源表與目標(biāo)表之間的一種復(fù)雜的多對多的關(guān)系。4.4 元數(shù)據(jù)的瀏覽與導(dǎo)航元數(shù)據(jù)瀏覽是分門別類地組織和顯示各種元數(shù)據(jù),供數(shù)據(jù)倉庫管理員或最終用戶根據(jù)需要瀏覽或查看他所關(guān)心的元數(shù)據(jù)。當(dāng)然,不同的用戶要通過用戶權(quán)限使用自己訪問級別內(nèi)的數(shù)據(jù)。4.5 數(shù)據(jù)質(zhì)量評估數(shù)據(jù)倉庫把數(shù)據(jù)從源事務(wù)系統(tǒng)移到數(shù)據(jù)倉庫中的目的是用于決策支持,這對數(shù)據(jù)質(zhì)量提出了更高的要求。保證質(zhì)量的第一步是建立支持商業(yè)目標(biāo)的數(shù)據(jù)質(zhì)量期望標(biāo)準(zhǔn)以及達不到該標(biāo)準(zhǔn)所冒的風(fēng)險有多大。衡量數(shù)據(jù)質(zhì)量的公共參數(shù)包括:準(zhǔn)確性、完整性、一致性、相關(guān)性、時間性、唯一性和有效性。5 結(jié)束語本文討論了數(shù)據(jù)倉庫實現(xiàn)過程中非常重要的一環(huán),元數(shù)據(jù)的管理。元數(shù)據(jù)就像一座橋梁,將數(shù)據(jù)倉庫中的數(shù)據(jù)與用戶有機地結(jié)合起來,它不僅在整個數(shù)據(jù)倉庫系統(tǒng),而且在整個決策支持系統(tǒng)中,都起著非常重要的作用。本文分析、比較了元數(shù)據(jù)管理的幾種模式,并針對目前元數(shù)據(jù)管理存在的問題,提出了分布式元數(shù)據(jù)管理模式。隨著分布式系統(tǒng)的廣泛應(yīng)用,分布式元數(shù)據(jù)管理模式必將得到廣泛應(yīng)用。參考文獻:1illia m