倉(cāng)庫(kù)管理_數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案的研究與設(shè)計(jì)

同濟(jì)大學(xué)軟件學(xué)院 碩士學(xué)位論文 基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案的研究與設(shè)計(jì) 姓名：楊家旭 申請(qǐng)學(xué)位級(jí)別：碩士 專業(yè)：軟件工程 指導(dǎo)教師：張維東;李琳 20070601 摘要 隨著市場(chǎng)經(jīng)濟(jì)競(jìng)爭(zhēng)的加劇，企業(yè)和組織的管理和決策越來(lái)越有賴于對(duì)市場(chǎng) 需求的分析、預(yù)測(cè)，而現(xiàn)實(shí)中往往存在決策依據(jù)不足和有效數(shù)據(jù)十分缺乏的現(xiàn) 象；同時(shí)，在計(jì)算機(jī)和關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)十分普及的今天，大部分企業(yè)和 組織的管理信息系統(tǒng)仍然是以低層操作型的事務(wù)處理為重心建設(shè)，而企業(yè)中高 層的決策支持系統(tǒng)的基礎(chǔ)十分薄弱。低層的數(shù)據(jù)泛濫，而中高層用于決策的信 息卻十分貧乏的問(wèn)題表明：基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)的開(kāi)發(fā)已十分迫切。 數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和數(shù)學(xué)建模是作為三種獨(dú)立的信息和數(shù)學(xué)處理技術(shù)出 現(xiàn)的。數(shù)據(jù)倉(cāng)庫(kù)用于數(shù)據(jù)的存儲(chǔ)和組織，數(shù)據(jù)挖掘集中于數(shù)據(jù)的分析，數(shù)學(xué)建 模則致力于模型的構(gòu)建和知識(shí)的自動(dòng)發(fā)現(xiàn)。由于這三種技術(shù)內(nèi)在的聯(lián)系性和互 補(bǔ)性。它們結(jié)合起來(lái)就形成了一種新的決策支持系統(tǒng)( D S s ) 構(gòu)架，從而構(gòu)成為 基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案。 本文正是在這種背景下，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的理論和設(shè)計(jì)進(jìn)行了研究。主要是以 管理層次的分析為依據(jù)，以現(xiàn)實(shí)中大規(guī)模數(shù)據(jù)庫(kù)為基礎(chǔ)，借助數(shù)據(jù)整合手段， 采取多維數(shù)據(jù)模型，構(gòu)建出底層為倉(cāng)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器、中間層為0 L A P 服務(wù)器、 頂層為客戶端的三層數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，以滿足決策支持系統(tǒng)的構(gòu)建和數(shù)學(xué)建模系 統(tǒng)研究和設(shè)計(jì)的需要。 在數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)設(shè)計(jì)基礎(chǔ)上，我們將數(shù)學(xué)建模系統(tǒng)作為研究的重點(diǎn)。首 先，我們結(jié)合實(shí)際案例，研究了回歸分析和最小二乘法等基于數(shù)據(jù)的建模方法 的應(yīng)用，這一方法我們稱為定制數(shù)學(xué)建模的方法。其次，我們?cè)谘芯繑?shù)學(xué)建模 的方法和軟件開(kāi)發(fā)上，提出了回歸函數(shù)算法集合的設(shè)計(jì)思想，并對(duì)自動(dòng)優(yōu)選數(shù) 學(xué)建模系統(tǒng)進(jìn)行技術(shù)研究與設(shè)計(jì)。同時(shí)運(yùn)用這一技術(shù)，對(duì)勝利油田生產(chǎn)和管理 的歷史數(shù)據(jù)實(shí)例進(jìn)行研究與分析，建立了許多油田生產(chǎn)管理的數(shù)學(xué)模型，用于 企業(yè)預(yù)測(cè)和分析，都取得了很好的效果。 最后，總結(jié)了基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)建模技術(shù)的應(yīng)用并簡(jiǎn)要討論了進(jìn)一步的 工作方向。 關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘，數(shù)學(xué)建模，回歸分析，最小二乘法，回歸函數(shù) 算法集合，決策支持系統(tǒng) A B S T R A C T W i t ht h ef i e r c ec o m p e t i t i o ni nt h em a r k e t i n ge c o n o m ye n v i r o n m e n t , t h e l e 吣a n d 講驢n i 翻硒d e p e n d sl a r g e l y t h em t ea n a l y s i sa n dp f 婦l x e d i c t i o no ft h em a r k e t H o w e v a , f a i l m eo fd e c i s i o nm a k i n gc d I 】5 e db yt h el a c ko fe f f e c t i v ed a ma n di n f o r m a t i o ne x i s t s 豳ac o m m o np h 舢洲N o w a d i 驢, d e s p i t et h ep o p u l a r i z a t i o no ft h ec o m p u t e re n dt h e r e l a t i o nd a t a b a s es y s t e m , t h ef o e a so ft h eb u s i n e s sp r o c e s s i n go fM a n a g e m e n tl n f o n u n t i e n S y s t e mi ne n t e r p m e si ss t i l lo nl o wl e v e l B u tt h eb a s i so fD e c i s i o nS u p p o r tS y s t e mf o rm i d d l e a n du p p e rl e v e l sc a n n o tm e e tt h er e q u i r e m e n to ft h ec u r r e n ti n f o r m a t i o np r o c e s s i n g T h ef a c t i n d i c a t e st h a tt h ed e v e l o p m e n to fD e c i s i o nS u p p o r tS y s t e mb a s e do nd a t aw a r e h o u s ei so ng r e a t d e m a n d D a mw a r e h o u s e , d a mm i n i n ga n dm a t h e m a t i c a lm o d e l i n go o 眥i n t ob e i n gr e l a t i v e l ya 3 t h r e ed a mi n o c e s s i n gt e c h n o l o g i e s 【h 紐w 丑代由o u i su s e df o rd a ms t o r a g ea n do r g a n i z a t i o n , d a t am i n i n gf o rd a ma n a l y s i sa n dm a t h e m a t i c a lm o d e l i n gf o rm o d e l i n g 。啪H 毗d a n d k n o w l e d g ed i s c o v e r yi nd a m l m s e D u et ot h e 伽6 o f t h ea b o v et h r e et e c h n o l o g i e s ，山斜 伽b ec o m b i n e di n t oan wD e c i s i o nS u p p o r tS y s t e _ m ( D S S ) ，w h i c hi s4m a t h e m a t i c a lm o d e l i n g s o l u t i o nb a s e d0 1 1d a t aw a r e h n u s e T h i sp a p e ri sas t u d yO i lt h et h e o r ya n dt h ed e s i g no f d a t aw a m h o u s e B a s e dO H 舭a n a l y a l s o f t b ea d m i n i s t r a t i v el e v e la n dt h el a r g ed a t a b a s ew a r e h o u s ei nd a i l yl i f e , t h i sa r t i c l ec o n s t r u c t sa t h r e el e v e ld a mw a r e h o u s ec o n f i g u r a t i o n - d a t a b a s eS O l “ V e ta tt h eb o t t o m , O L A PS O l V e t “ i nt h e m i d d l ea n do u s t o m c rs c r v e l “ o nt h et o p - b yu s i n gd a mc o m b i n a t i o nm e t h o d a n d m u l t i - d i m e n s i o n a ld a t am o d e l T h ed a t aw a r e h o u s em o d e lh e l p st oc o n s t r u c tt h es u p p o r ts y s t c m a n dd e s i g nt h em a t h e m a t i c a lm o d e l i n gs o l u t i o n B a 8 e dO nt h ed e s i g no ft h ed a t aw a 耐l o u s y s t e m 。t h ef o c u si s0 1 1t h em a t hm o d e ls y s t e m 1 l It h ef i r s tp l a c e , c o m b i n e dw i t ht h ea c t u a lc a 辯o fe n t e r p r i ，i ti sr e s e a r c h e dt h a tt h em e t h o d a n d a p p l i c a t i o no f m o d e l i n g m e t h o d sb a s e dO i ld a t a , s u c ha sR e g r e s s i o nA n a l y s i sa n dM e t h o do f L e a s tS q u a r a sa n dS Oo n ，w h i c hi sc a l l e dM a t h e m a t i c a lM o d e l i n go fC u s t o m i z a t i o n N e x t ，0 1 1 r e s e m r c hm e t h o d so ft h em a t h e m a t i c a lm o d e l i n ga n ds o t h c a r ed e v e l o p m e n t , t h ed e s i g ni d e ao f t h eA l g o r i t h mA g g r e g a t eo fR e g r e s s i o nA n a l y s i sF u n c t i o ni sp u tf o r w a r d , a n dM a t h e m a t i c a l M o d e l i n gS y s t e mo fA u t o m a t i cO p t i m i z a t i o nA l g o r i d m a i sa l s o a n a l y da n dd e s i g n e d t c c h n i e a l l y B yu s i n gt h i sm e t h o d , t h ea r t i c l ea l s oa n a l y z e st h ed a t ao fa d m i n i s t r a t i o nc o l l e c t e d f i x u nt h e S h e n g l i O i lF i e l da n de s t a b l i s h e sal o to fm a t hm o d e l sf o rp r o d u c t i o na n d a d m i n i s t r a t i o no fo i lf i e l d s T h o s em o d e l sa c h i e v eg r e a te f f e c t so nt h eb u s i n e s sp r e d i c t i o na n d a a a l y m T h el a s tp e r ti sas u m m a r yo f t h ea p p l i c a t i o no f m a t h e m a t i c a lm o d e l i n gt e c h n o l o g yb a s e d O nd a t ew a r e h o u s e , a n dt h ef u t u r ed e v e i o p n n to f t h i st e c h n o l o g y i sa l s od i s c u s s e d K e y w o r d w ：D a t aW a r e h o u s e , D a t aM i n i n g , R e g r e s s i o nA n a l y s i s , M e t h o do f L e a s tS q u a r e 氐 M a t h e m a t i c a lM o d e m q gA l g o r i t h mA g g r e g a t eo fR e g r e s s i o n A n a l y I bF u n c t i o n , D i 。i S u p p o r tS y s t e m 學(xué)位論文版權(quán)使用授權(quán)書(shū) 本人完全了解同濟(jì)大學(xué)關(guān)于收集、保存、使用學(xué)位論文的規(guī)定，同 意如下各項(xiàng)內(nèi)容：按照學(xué)校要求提交學(xué)位論文的印刷本和電子版本；學(xué) 校有權(quán)保存學(xué)位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù) 字化或其它手段保存論文；學(xué)校有權(quán)提供目錄檢索以及提供本學(xué)位論文 全文或者部分的閱覽服務(wù)；學(xué)校有權(quán)按有關(guān)規(guī)定向國(guó)家有關(guān)部門(mén)或者機(jī) 構(gòu)送交論文的復(fù)印件和電子版；在不以贏利為目的的前提下，學(xué)?？梢?適當(dāng)復(fù)制論文的部分或全部?jī)?nèi)容用于學(xué)術(shù)活動(dòng)。 學(xué)位做作者躲玄鉤勿紗 少刁年7 月l 廠目 年月日年月日 同濟(jì)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，進(jìn)行研 究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研 究成果不包含任何他人創(chuàng)作的、已公開(kāi)發(fā)表或者沒(méi)有公開(kāi)發(fā)表的作品的 內(nèi)容。對(duì)本論文所涉及的研究工作做出貢獻(xiàn)的其他個(gè)人和集體，均已在 文中以明確方式標(biāo)明。本學(xué)位論文原創(chuàng)性聲明的法律責(zé)任由本人承擔(dān)。 鈔 f 歹日 第1 章引言 1 1 概述 第1 章引言 1 1 1 論文選置的背景及意義 隨著企業(yè)管理和政府行政管理現(xiàn)代化水平的逐步提高，管理軟件的開(kāi)發(fā)與 應(yīng)用水平也在逐步提高，目前企業(yè)管理和政府行政管理正朝著科學(xué)化、系統(tǒng)化， 現(xiàn)代化的方向發(fā)展，而其核心就是要進(jìn)行科學(xué)的決策，而科學(xué)的決策就必須依 據(jù)科學(xué)準(zhǔn)確的決策信息和在定性分析基礎(chǔ)上的定量分析，顯然對(duì)于充斥于文山 會(huì)海里的報(bào)表數(shù)據(jù)與底層數(shù)據(jù)庫(kù)海洋里的大量數(shù)據(jù)的充分挖掘、分析和利用， 已經(jīng)成為管理決策的當(dāng)務(wù)之急。因此管理軟件的開(kāi)發(fā)與應(yīng)用就必須適用于這一 形勢(shì)的變化 數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘技術(shù)是上世紀(jì)九十年代以來(lái)國(guó)外在大量基于W e b 數(shù)據(jù) 庫(kù)和高級(jí)數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)上發(fā)展起來(lái)的一種新的數(shù)據(jù)庫(kù)結(jié)構(gòu)和技術(shù)。與傳統(tǒng) 數(shù)據(jù)庫(kù)不同的數(shù)據(jù)倉(cāng)庫(kù)和與聯(lián)機(jī)事務(wù)處理不同的聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘技術(shù)， 共同組成了決策支持的D S S 構(gòu)架解決方案。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘表明知識(shí)就隱 藏在日常積累下來(lái)的大量數(shù)據(jù)之中，僅靠復(fù)雜的算法和推理并不能發(fā)現(xiàn)知識(shí)， 數(shù)據(jù)才是知識(shí)的真正源泉。數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘特別是數(shù)學(xué)建模為管理軟件技 術(shù)的開(kāi)發(fā)指出了新的發(fā)展道路。 通過(guò)本課題的研究要努力實(shí)現(xiàn)如下五個(gè)轉(zhuǎn)變：一是從數(shù)據(jù)到信息的轉(zhuǎn)變。 二是從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的轉(zhuǎn)變。三是從聯(lián)機(jī)事務(wù)處理到聯(lián)機(jī)分析處理的轉(zhuǎn)變。 四是從數(shù)據(jù)的匯總與簡(jiǎn)單分析向數(shù)學(xué)建模轉(zhuǎn)變。五是從事后的管理分析向事前 的管理預(yù)測(cè)和科學(xué)決策轉(zhuǎn)變。 我國(guó)管理軟件開(kāi)發(fā)正處于由文檔性、綜合性事務(wù)處理進(jìn)一步向決策型事務(wù) 處理轉(zhuǎn)變的過(guò)程之中。決策支持系統(tǒng)( D S S ) 的解決方案就是要以管理決策為核 心，以數(shù)據(jù)倉(cāng)庫(kù)、O L A P ( 聯(lián)機(jī)分析處理) 和數(shù)據(jù)挖掘等國(guó)內(nèi)外最新的理論成果 和技術(shù)為依據(jù)，對(duì)管理數(shù)據(jù)進(jìn)行量化的信息整合、展現(xiàn)和數(shù)學(xué)建模及預(yù)測(cè)，為 企業(yè)和政府決策層提供全方位、多視角的決策信息。 本課題在學(xué)習(xí)國(guó)內(nèi)外先進(jìn)的決策支持系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和數(shù)學(xué)建 模原理和技術(shù)的基礎(chǔ)上，主要針對(duì)目前企業(yè)和政府管理事務(wù)處理軟件開(kāi)發(fā)與應(yīng) 用的現(xiàn)狀，在運(yùn)用數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘基本原理的基礎(chǔ)上，通過(guò)對(duì)企業(yè)生產(chǎn)與 第1 章引言 管理和政府行政管理的歷史數(shù)據(jù)進(jìn)行分析的基礎(chǔ)上，對(duì)數(shù)學(xué)建模架構(gòu)進(jìn)行系統(tǒng) 分析與預(yù)測(cè)的研究，以進(jìn)一步提高管理軟件開(kāi)發(fā)與應(yīng)用的水平，拓寬軟件開(kāi)發(fā) 與應(yīng)用的范圍，進(jìn)一步開(kāi)辟軟件開(kāi)發(fā)與應(yīng)用的前景 1 1 2 國(guó)內(nèi)外對(duì)這一課題的研究現(xiàn)狀 決策支持系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)庫(kù)研究、開(kāi)發(fā)和應(yīng)用最活躍的分支之一。 數(shù)據(jù)庫(kù)系統(tǒng)特別是關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的成功，使我們有了強(qiáng)有力的事務(wù)處理工具。 各種各樣的數(shù)據(jù)庫(kù)系統(tǒng)的開(kāi)發(fā)，使得更多的數(shù)據(jù)以前所未有的速度收集在計(jì)算 機(jī)中，以幫助我們分析數(shù)據(jù)、理解數(shù)據(jù)，幫助我們基于豐富的數(shù)據(jù)做出決策。 數(shù)據(jù)挖掘從大量數(shù)據(jù)中用非平凡的方法發(fā)現(xiàn)有用的知識(shí)就成了一 種自然的需要。數(shù)據(jù)挖掘必須從數(shù)據(jù)庫(kù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、 統(tǒng)計(jì)學(xué)、模型識(shí)別、知識(shí)庫(kù)系統(tǒng)、知識(shí)獲取、信息提取、商性能計(jì)算和數(shù)據(jù)可 視化等學(xué)科領(lǐng)域汲取營(yíng)養(yǎng)。 數(shù)學(xué)建模方法涉及到統(tǒng)計(jì)學(xué)、數(shù)值分析、隨機(jī)過(guò)程等學(xué)科，國(guó)內(nèi)外在這一 方面的研究從理論到實(shí)踐取得了長(zhǎng)足的進(jìn)步。但是在企業(yè)管理與政府行政管理 中的運(yùn)用還沒(méi)有成為一種普遍的行為。國(guó)內(nèi)外軟件開(kāi)發(fā)商也開(kāi)發(fā)了s P S s 、S A S 以及國(guó)內(nèi)少數(shù)決策支持系統(tǒng)和數(shù)學(xué)建模軟件，但從多年來(lái)的推廣效果來(lái)看并不 是十分理想，究其原因： 一是這些軟件的開(kāi)發(fā)不能針對(duì)企業(yè)和政府部門(mén)研制適合這個(gè)企業(yè)和部門(mén)的 具有個(gè)性化的軟件或平臺(tái)，導(dǎo)致軟件使用和推廣上的障礙。 二是這些軟件對(duì)使用這些軟件的人的要求比較高，要懂?dāng)?shù)學(xué)通編程，而現(xiàn) 實(shí)中絕大部分的般管理人員達(dá)不到這樣一個(gè)素質(zhì)，軟件的設(shè)計(jì)在使用上又相 對(duì)比較深?yuàn)W和繁瑣，從而使這些軟件束之高閣。 三是從用戶來(lái)看這些軟件價(jià)錢(qián)很貴，會(huì)使用的人又不多、利用率太低，不 少用戶感到得不償失、不合算。 因此，開(kāi)發(fā)種使客戶感到“物有所值”的數(shù)學(xué)建模軟件或平臺(tái)，要對(duì)開(kāi) 發(fā)的軟件在技術(shù)上高標(biāo)準(zhǔn)設(shè)計(jì)和開(kāi)發(fā)，而在使用上要降低對(duì)使用者的素質(zhì)要求， 使那些不具備建模專業(yè)技術(shù)的普通管理人員只要能操作計(jì)算機(jī)就能進(jìn)行數(shù)據(jù)倉(cāng) 庫(kù)和數(shù)據(jù)挖掘或數(shù)學(xué)建模，從而使軟件產(chǎn)品或平臺(tái)應(yīng)該像個(gè)計(jì)算器那樣既能 十分適用，又十分普及。 1 2 采取的研究方法、技術(shù)路線 2 第1 章引言 1 2 1 研究方法 對(duì)基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案的研究與設(shè)計(jì)是一項(xiàng)理論和實(shí)踐相結(jié) 合的工作。在這個(gè)過(guò)程中，不僅需要積極的跟蹤該領(lǐng)域的國(guó)內(nèi)外的最新技術(shù)， 充實(shí)理論基礎(chǔ)，不斷深入對(duì)課題的理論研究：還需要以理論為指導(dǎo)，開(kāi)發(fā)出基 于該理論的原型系統(tǒng)。應(yīng)用最新的軟件技術(shù)開(kāi)發(fā)面向決策支持系統(tǒng)和基于數(shù)據(jù) 倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案的架構(gòu)和平臺(tái)。 1 2 2 技術(shù)路線 面向決策型管理、基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案的研究與設(shè)計(jì)的目的 是建立一個(gè)基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)( D s s ) 架構(gòu)和平臺(tái)。其基本的技術(shù)路 線是： 數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和數(shù)學(xué)建模是作為三種獨(dú)立的信息和數(shù)學(xué)處理技術(shù)出現(xiàn) 的。數(shù)據(jù)倉(cāng)庫(kù)用于數(shù)據(jù)的存儲(chǔ)和組織，數(shù)據(jù)挖掘集中于數(shù)據(jù)的分析，數(shù)學(xué)建模則 致力于模型的構(gòu)建和知識(shí)的自動(dòng)發(fā)現(xiàn)。由于這三種技術(shù)內(nèi)在的聯(lián)系性和互補(bǔ)性， 它們結(jié)合起來(lái)就形成了一種新的決策支持系統(tǒng)( D S S ) 構(gòu)架，從而構(gòu)成為基于數(shù) 據(jù)倉(cāng)庫(kù)、面向決策的數(shù)學(xué)模型解決方案。 從W e b 服務(wù)能夠提供一種非常理想的、可動(dòng)態(tài)擴(kuò)展的、靈活的分布式計(jì)算 模式的角度，結(jié)合W e b 服務(wù)技術(shù)來(lái)進(jìn)行系統(tǒng)整合。在W e b 服務(wù)的基礎(chǔ)上分別從 客戶端應(yīng)用層、服務(wù)集成層、應(yīng)用服務(wù)層、數(shù)據(jù)服務(wù)層研究基于決策型事務(wù)處 理架構(gòu)的實(shí)現(xiàn)，并對(duì)于軟件構(gòu)件技術(shù)、軟件總線的系統(tǒng)設(shè)計(jì)方法加以研究，以 實(shí)現(xiàn)系統(tǒng)中各種功能應(yīng)用。 設(shè)計(jì)建立數(shù)據(jù)倉(cāng)庫(kù)的框架。以現(xiàn)實(shí)中大規(guī)模數(shù)據(jù)庫(kù)的原始數(shù)據(jù)為基礎(chǔ)，借 助數(shù)據(jù)管理技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)倉(cāng)庫(kù)接口技術(shù)等手段，以數(shù)據(jù)倉(cāng)庫(kù)的概 念模型、邏輯模型和物理模型以及對(duì)元數(shù)據(jù)、數(shù)據(jù)粒度和分布式數(shù)據(jù)倉(cāng)庫(kù)的研 究為依據(jù)，通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)基本功能層、數(shù)據(jù)倉(cāng)庫(kù)管理層和數(shù)據(jù)倉(cāng)庫(kù)環(huán)境支持 層的系統(tǒng)分析，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)模式進(jìn)行系統(tǒng)設(shè)計(jì)，建立適應(yīng)于決策型事務(wù) 處理特別是適應(yīng)于數(shù)學(xué)建模的數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)的解決方案。 聯(lián)機(jī)分析處理。利用O L A P 的多維數(shù)據(jù)集和數(shù)據(jù)聚集技術(shù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù) 據(jù)進(jìn)行組織和匯總出數(shù)據(jù)的立方體，建立多維數(shù)據(jù)模型，從而構(gòu)建出底層為倉(cāng) 庫(kù)數(shù)據(jù)庫(kù)服務(wù)器、中間層為O L A P 服務(wù)器、頂層為客戶( 查詢和報(bào)告工具、分析 工具、數(shù)據(jù)挖掘工具) 的三層數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，最終形成數(shù)據(jù)倉(cāng)庫(kù)模型或數(shù)據(jù)集 市模型、虛擬倉(cāng)庫(kù)模型，并用聯(lián)機(jī)分析和可視化工具對(duì)這些數(shù)據(jù)迅速進(jìn)行有效 的評(píng)價(jià)。 第l 章引言 以數(shù)學(xué)模型為主的數(shù)據(jù)挖掘技術(shù)。主要研究包括統(tǒng)計(jì)方法、聚類(lèi)分析、決 策樹(shù)與決策規(guī)則以及可視化方法。其中重點(diǎn)運(yùn)用數(shù)據(jù)倉(cāng)庫(kù)原理研究建立數(shù)學(xué)模 型的方法及相應(yīng)的編程邏輯，并輔助以可視化方法全方位、多視角的進(jìn)行信息 整合、前端展現(xiàn)和管理預(yù)測(cè)。 1 3 論文的內(nèi)容和結(jié)構(gòu) I 3 1 理論框架 我國(guó)管理軟件的開(kāi)發(fā)與運(yùn)用正處于文檔性、綜合性事務(wù)處理的階段。在這 一階段中，我國(guó)絕大部分企業(yè)管理和政府行政管理以及相應(yīng)的軟件開(kāi)發(fā)中存在 的重視數(shù)據(jù)統(tǒng)計(jì)、忽視數(shù)據(jù)分析，重視報(bào)表文檔等事務(wù)性處理及軟件系統(tǒng)的開(kāi) 發(fā)、忽視數(shù)據(jù)分析與數(shù)學(xué)模型軟件的開(kāi)發(fā)與運(yùn)用等問(wèn)題。為適應(yīng)管理科學(xué)化、 系統(tǒng)化和現(xiàn)代化的需要，與傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)不同的數(shù)據(jù)倉(cāng)庫(kù)、與聯(lián)機(jī)事務(wù)處 理不同的聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘、數(shù)學(xué)建模技術(shù)，共同組成了決策型事務(wù)處 理的D S S 構(gòu)架解決方案。這一基礎(chǔ)構(gòu)架的主要構(gòu)成： 數(shù)據(jù)倉(cāng)庫(kù)( D W ) + 聯(lián)機(jī)分析處理( O L A P ) + 數(shù)據(jù)挖掘( 蹦) + 數(shù)學(xué)建模( - 帥 一基于數(shù)據(jù)庫(kù)的決策支持系統(tǒng)( D S S ) 的可行性方案 數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘和數(shù)學(xué)建模是作為四種獨(dú)立的信息處 理技術(shù)出現(xiàn)的。數(shù)據(jù)倉(cāng)庫(kù)用于數(shù)據(jù)的存儲(chǔ)和組織，O L A P 集中于數(shù)據(jù)的分析，數(shù) 據(jù)挖掘和數(shù)學(xué)建模則致力于知識(shí)的自動(dòng)發(fā)現(xiàn)。它們可以分別應(yīng)用到信息系統(tǒng)的 設(shè)計(jì)和實(shí)現(xiàn)中，以提高相應(yīng)部分的處理能力。但是由于這四種技術(shù)內(nèi)在的聯(lián)系 性和互補(bǔ)性，它們結(jié)合起來(lái)就形成了一種新的D S S 構(gòu)架。這一構(gòu)架以數(shù)據(jù)庫(kù)中 的大量數(shù)據(jù)為基礎(chǔ)，其特點(diǎn)主要體現(xiàn)在： I 、在底層數(shù)據(jù)庫(kù)中保存了大量的事務(wù)級(jí)細(xì)節(jié)數(shù)據(jù)。這些數(shù)據(jù)是整個(gè)D S S 系 統(tǒng)的來(lái)源。 2 、數(shù)據(jù)倉(cāng)庫(kù)對(duì)底層數(shù)據(jù)庫(kù)中的事務(wù)級(jí)數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換、綜合，重組成 面向全局的數(shù)據(jù)視圖，為D S S 提供數(shù)據(jù)存儲(chǔ)和組織的基礎(chǔ)。 3 、O L A P 從數(shù)據(jù)倉(cāng)庫(kù)中的集成數(shù)據(jù)出發(fā)，構(gòu)建面向分析的多維數(shù)據(jù)模型，再 使用多維分析方法從多個(gè)不同的視角對(duì)多線數(shù)據(jù)進(jìn)行分析、比較，分析活動(dòng)從 以前的方法驅(qū)動(dòng)轉(zhuǎn)向了數(shù)據(jù)驅(qū)動(dòng)，分析方法和數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)了分離。 4 、數(shù)據(jù)挖掘和數(shù)學(xué)建模以數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)為基礎(chǔ)，自 4 第l 章引言 動(dòng)地發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并以這些模式為基礎(chǔ)自動(dòng)地做出預(yù)測(cè)。 1 3 2 基本內(nèi)容 本文分為7 個(gè)部分對(duì)基于數(shù)據(jù)倉(cāng)庫(kù)和面向決策的數(shù)學(xué)模型解決方案進(jìn)行論 述。 第1 章，引言。說(shuō)明了論文選題的背景以及國(guó)內(nèi)外對(duì)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘 和數(shù)據(jù)建模研究的現(xiàn)狀，并對(duì)基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)建模技術(shù)做簡(jiǎn)要的分析。 第2 章，決策支持系統(tǒng)的框架。分析了傳統(tǒng)決策支持系統(tǒng)存在的問(wèn)題，并 在引入數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的基礎(chǔ)上，介紹了決策支持系統(tǒng)的體系結(jié)構(gòu)形式和 框架。同時(shí)導(dǎo)出了面向決策和基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)建模解決方案的基本架構(gòu)。 第3 章，從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)。從數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的原因出發(fā)，分析了數(shù)據(jù) 倉(cāng)庫(kù)是適應(yīng)管理的需要而產(chǎn)生的大的背景，并描述了數(shù)據(jù)倉(cāng)庫(kù)的基本作用和目 標(biāo) 第4 章，數(shù)據(jù)倉(cāng)庫(kù)的總體結(jié)構(gòu)。本章迸一步描述了數(shù)據(jù)倉(cāng)庫(kù)的總體結(jié)構(gòu)、 平臺(tái)和開(kāi)發(fā)方法、步驟等核心理論。 第5 章，基于數(shù)據(jù)的數(shù)學(xué)建模方法。在第3 章和第4 章論述數(shù)據(jù)倉(cāng)庫(kù)和數(shù) 據(jù)挖掘理論的基礎(chǔ)上，本章進(jìn)一步闡述了數(shù)學(xué)建模的基本方法和理論，并通過(guò) 實(shí)例重點(diǎn)說(shuō)明了基于數(shù)據(jù)的數(shù)學(xué)建模方法及具體應(yīng)用。 第6 章，自動(dòng)優(yōu)選數(shù)學(xué)建模系統(tǒng)的設(shè)計(jì)。本章進(jìn)一步提出了自動(dòng)優(yōu)選數(shù)學(xué) 建模系統(tǒng)的設(shè)計(jì)思想，并具體研究和探索了自動(dòng)優(yōu)選數(shù)學(xué)建模系統(tǒng)設(shè)計(jì)的具體 方法，并用于解決企業(yè)實(shí)際問(wèn)題。 最后，總結(jié)本文中數(shù)據(jù)倉(cāng)庫(kù)與數(shù)學(xué)建模、決策支持系統(tǒng)的研究成果，并對(duì) 進(jìn)一步工作的方向進(jìn)行了簡(jiǎn)要的討論。 5 第2 章決簟支持系統(tǒng)的框架 第2 章決策支持系統(tǒng)的框架 本章回顧并總結(jié)了決策支持系統(tǒng)產(chǎn)生和發(fā)展、及其理論基礎(chǔ)，分析了傳統(tǒng) 決策支持系統(tǒng)存在的問(wèn)題，并在引入數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的基礎(chǔ)上，介紹了基 于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)的體系結(jié)構(gòu)形式和框架。并由此導(dǎo)出了基于數(shù)據(jù)倉(cāng) 庫(kù)和面向決策支持系統(tǒng)的數(shù)學(xué)模型解決方案的初步框架。 2 1 傳統(tǒng)決策支持系統(tǒng)及缺陷 2 1 1 傳統(tǒng)決策支持系統(tǒng) 決策支持系統(tǒng)( D e c i s i o nS u p p o r tS y s t e m ，簡(jiǎn)稱D S S ) 是由數(shù)據(jù)處理系統(tǒng)、 管理信息系統(tǒng)逐步發(fā)展而來(lái)的，是允許決策者直接干預(yù)并能接受決策者的直觀 判斷和經(jīng)驗(yàn)的動(dòng)態(tài)交互式計(jì)算機(jī)系統(tǒng)。對(duì)于決策支持系統(tǒng)的結(jié)構(gòu)，最初由 R H S p r a g u e 提出了基于人機(jī)對(duì)話系統(tǒng)、數(shù)據(jù)庫(kù)與模型庫(kù)的“兩庫(kù)”結(jié)構(gòu)。之 后的“三庫(kù)”結(jié)構(gòu)則實(shí)現(xiàn)了模型與方法的分離存儲(chǔ)，即添加了方法庫(kù)。后來(lái)又 把人工智能技術(shù)、專家系統(tǒng)、知識(shí)工程的思想方法引入決策支持系統(tǒng)后，即在 原來(lái)的結(jié)構(gòu)基礎(chǔ)上，增加了知識(shí)庫(kù)，并引入了推理機(jī)制，就形成了決策支持系 統(tǒng)的“四庫(kù)”結(jié)構(gòu)框架，如圖2 1 所示。 圖2 1 傳統(tǒng)的決策支持系統(tǒng)體系結(jié)構(gòu) 6 第2 章決策支持系統(tǒng)的框架 2 I 2 傳統(tǒng)的決策支持系統(tǒng)存在不足 傳統(tǒng)的決策支持系統(tǒng)依舊建立在事務(wù)處理環(huán)境上，而事務(wù)處理環(huán)境主要是 針對(duì)數(shù)據(jù)的日常操作，以事務(wù)快速響應(yīng)及頻繁的數(shù)據(jù)修改為特征，因此傳統(tǒng)決 策支持系統(tǒng)存在諸多不足，主要表現(xiàn)在： l 、傳統(tǒng)的決策支持系統(tǒng)缺乏內(nèi)在的統(tǒng)一性 傳統(tǒng)的D S S 是以模型庫(kù)、數(shù)據(jù)庫(kù)、方法庫(kù)所組成的系統(tǒng)結(jié)構(gòu)?？墒窃贒 s S 的開(kāi)發(fā)過(guò)程中，模型庫(kù)、數(shù)據(jù)庫(kù)和方法庫(kù)往往被獨(dú)立地設(shè)計(jì)與實(shí)現(xiàn)，從而使傳 統(tǒng)的D S S 在系統(tǒng)結(jié)構(gòu)上很難達(dá)到內(nèi)在的統(tǒng)一性和完整性，因而應(yīng)用效果并不理 想 2 、傳統(tǒng)的決策支持系統(tǒng)缺乏強(qiáng)有力的工具 企業(yè)決策是一個(gè)提出問(wèn)題、分析問(wèn)題、解決問(wèn)題的循環(huán)過(guò)程。分析的過(guò)程 實(shí)質(zhì)上是一種不斷抽取的過(guò)程，即要對(duì)大量分散的數(shù)據(jù)進(jìn)行快速綜合分析，然 后從中捕獲與決策相關(guān)的信息而傳統(tǒng)的D s S 往往側(cè)重于抽象的理論，在理論 上和方法上過(guò)于復(fù)雜，缺乏有效的分析工具，因而也就得不到有效的分析結(jié)果一 3 、傳統(tǒng)的決策支持系統(tǒng)沒(méi)有充足數(shù)據(jù)源的支持 傳統(tǒng)的D S S 所進(jìn)行的數(shù)據(jù)處理是直接利用關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)，只能對(duì)原始 數(shù)據(jù)進(jìn)行一般的加工和匯總，導(dǎo)致決策所需信息不足，難以滿足D S S 的需要 4 、傳統(tǒng)決策支持系統(tǒng)開(kāi)發(fā)困難 傳統(tǒng)D S S 的各部件中只有數(shù)據(jù)部件有成熟的商品軟件可以直接使用，其他 部件及部件的接口和集成問(wèn)題需要自行設(shè)計(jì)和開(kāi)發(fā)。計(jì)算機(jī)語(yǔ)言對(duì)傳統(tǒng)D s s 的 接口技術(shù)和集成技術(shù)的支持能力有限。 2 2 基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng) 上個(gè)世紀(jì)九十年代以來(lái)興起的D w 和O L A P 技術(shù)為D S S 的發(fā)展開(kāi)辟了新的途 徑，它給D S S 的發(fā)展注入了新的活力，利用明的優(yōu)勢(shì)彌補(bǔ)了以往D S S 的不足， 從而使現(xiàn)行系統(tǒng)中的數(shù)據(jù)庫(kù)資源得到充分利用，非技術(shù)性管理人員和一般用戶 能更夷便地對(duì)來(lái)自多數(shù)據(jù)庫(kù)的信息進(jìn)行自由訪問(wèn)和分析，使企業(yè)分析工作和決 策過(guò)程得到很好的支持，從而拓寬了D S S 的應(yīng)用領(lǐng)域和應(yīng)用范圍?；贒 W 的 D S S 體系結(jié)構(gòu)與傳統(tǒng)的D s s 體系結(jié)構(gòu)有所不同，它改變了傳繞D S S 將數(shù)據(jù)庫(kù)、 模型庫(kù)、方法庫(kù)分離設(shè)計(jì)的做法，將數(shù)據(jù)庫(kù)與模型庫(kù)、方法庫(kù)有機(jī)結(jié)合在一個(gè) 7 笨2 章磚燕支持系統(tǒng)的框架 多維數(shù)據(jù)庫(kù)中，并以對(duì)象的方式存儲(chǔ)，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)進(jìn)行統(tǒng)管理， 較好地協(xié)調(diào)了數(shù)據(jù)、模型、方法三者之間的關(guān)系，從而使整個(gè)系統(tǒng)形成一個(gè)有 機(jī)整體，提高了系統(tǒng)的集成性。基于數(shù)據(jù)倉(cāng)庫(kù)的0 S $ 結(jié)構(gòu)形式如圖2 2 所示。 豳2 Z 礬r 千碰 P 結(jié)構(gòu)形式 數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)著大量數(shù)據(jù)，能提供各縱輔助決策的隨機(jī)查詢、綜合數(shù)據(jù)或 趨勢(shì)分折信息。O L A P 貝J J 側(cè)重于數(shù)據(jù)倉(cāng)庫(kù)中的多維數(shù)據(jù)分析，并將其轉(zhuǎn)換成輔助決 策信息，這與數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)組織正好形成相互結(jié)合、相互補(bǔ)充的關(guān)系。以 數(shù)據(jù)倉(cāng)庫(kù)和O L A P 相結(jié)合建立的輔助決荒系統(tǒng)是決策支持系統(tǒng)的新形式。 2 2 ，2 基于數(shù)據(jù)倉(cāng)庫(kù)的決篆支持系統(tǒng) 圖2 3 基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)體系結(jié)構(gòu) 傳統(tǒng)決策支持系統(tǒng)存在的諸多不足。以及新豹決策支持技術(shù)不顫發(fā)展，促使 人們重新考慮D s s 的體系結(jié)構(gòu)，黼0 L A P 、數(shù)據(jù)挖掘( D a t aM i n i n g ，簡(jiǎn)稱 第2 章決策支持系統(tǒng)的框架 D M ) 的結(jié)合為解決傳統(tǒng)決策支持系統(tǒng)中存在的問(wèn)題提供了可能，使O S S 的發(fā)展躍 上了一個(gè)顳的臺(tái)階。于是出現(xiàn)了以數(shù)據(jù)倉(cāng)庫(kù)為核心，O L A P 與叫工具為手段的I ) S S 解決方案，即基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù)( 肼) + 聯(lián)機(jī)分析處理( O L A P ) + 數(shù)據(jù)挖掘( 喇) + 數(shù)學(xué)建模( 刪) 一基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)( 1 ) S S ) 的可行性方案 由圖2 3 可以看出，D S S 這一基礎(chǔ)構(gòu)架的主要構(gòu)成： 數(shù)據(jù)源( 操作型數(shù)據(jù)庫(kù)) ，是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。 通常包括企業(yè)內(nèi)部信息和外部信息。 數(shù)據(jù)的存儲(chǔ)與管理，是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。數(shù)據(jù)倉(cāng)庫(kù)需要針對(duì)現(xiàn)有各 業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行抽取、清理，并有效集成，并按照主題進(jìn)行組織。數(shù)據(jù)倉(cāng)庫(kù) 按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)( 數(shù)據(jù)集市) 。 O L A P 服務(wù)器，對(duì)分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便 進(jìn)行多角度、多層次的分析，以發(fā)現(xiàn)趨勢(shì)、規(guī)律等。 前端工具，主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工 具、數(shù)學(xué)建模工具以及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開(kāi)發(fā)工具。其中數(shù)據(jù) 分析工具主要針對(duì)O L A P 服務(wù)器，而報(bào)表工具、數(shù)據(jù)挖掘工具、數(shù)學(xué)建模則主要針 對(duì)數(shù)據(jù)倉(cāng)庫(kù)。 圖2 4 基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)建模解決方案 由于本論文是以基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方案作為研究方向，而且數(shù)學(xué) 9 第2 章決第支持系統(tǒng)的框絮 模型問(wèn)題一直是決策支持系統(tǒng)中的一個(gè)核心和難點(diǎn)，因此，與傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù) 不同的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、數(shù)學(xué)建模技術(shù)，共同組成了基于數(shù)據(jù)倉(cāng)庫(kù)和面向決 策決策支持系統(tǒng)的數(shù)學(xué)模型解決方案。 數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和數(shù)學(xué)建模是作為三種獨(dú)立的信息處理技術(shù)出現(xiàn)的。數(shù) 據(jù)倉(cāng)庫(kù)用于數(shù)據(jù)的存儲(chǔ)、組織和數(shù)據(jù)挖掘；數(shù)學(xué)建模則致力于模型的構(gòu)建和知識(shí) 的自動(dòng)發(fā)現(xiàn)。它們可以分別應(yīng)用到信息系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)中，以提高格應(yīng)部分的 處理能力但是由于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和數(shù)學(xué)建模內(nèi)在的聯(lián)系性和互補(bǔ)性，它 們結(jié)合起來(lái)就形成了一種數(shù)學(xué)建模解決方案。 數(shù)據(jù)倉(cāng)庫(kù)( D W ) + 數(shù)據(jù)挖掘( 聊) + 數(shù)學(xué)建模咖D 一基于數(shù)據(jù)倉(cāng)庫(kù)和面向D S S 的數(shù)學(xué)模型的解決方案 圖2 ，5 基于數(shù)據(jù)倉(cāng)庫(kù)和面向決策支持系統(tǒng)的數(shù)學(xué)建模解決方案 在這一解決方案中，面向決策支持系統(tǒng)是數(shù)學(xué)建模方案的行為目標(biāo)，探索和 建立數(shù)學(xué)建模自動(dòng)優(yōu)選系統(tǒng)是這一方案中的核心和主干，而基于包括數(shù)據(jù)整合、 O L A P 和數(shù)據(jù)挖掘在內(nèi)的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)構(gòu)成為整個(gè)數(shù)學(xué)建模解決方案的基礎(chǔ)。顯然 本文沿著在面向決策支持系統(tǒng)框架下的。數(shù)據(jù)庫(kù)j 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)( D W 、O L A P 和 D M ) 一數(shù)學(xué)建模一決策”的研究路線，從而對(duì)基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)學(xué)模型解決方 寨這一課題進(jìn)行理論、設(shè)計(jì)和應(yīng)用三個(gè)層面，層層深入和步步遞進(jìn)地進(jìn)行研究和 分析。 l O 第3 章從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 第3 章從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)是以關(guān)系數(shù)據(jù)庫(kù)、并行處理與分布式處理技術(shù)，以及聯(lián)機(jī)分析處 理等技術(shù)的發(fā)展為基礎(chǔ)，為解決當(dāng)前企業(yè)和組織中雖然擁有大量數(shù)據(jù)但信息貧 乏的現(xiàn)狀而提出的，是一種對(duì)不同系統(tǒng)數(shù)據(jù)實(shí)現(xiàn)集成和共享的綜合性解決方案。 從而對(duì)來(lái)自操作型處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的、面向分 析的環(huán)境，以更好地支持決筇分析，這就形成了數(shù)據(jù)倉(cāng)庫(kù)( D a t aW a r e h o u s i n g ， 簡(jiǎn)稱D W ) 技術(shù)。作為決策支持系統(tǒng)( O e c i s i o nS u p p o r tS y s t e m ，簡(jiǎn)稱D S S ) 的 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)包括：數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，聯(lián)機(jī)分析處理技術(shù)( 0 L P ) 、數(shù)據(jù)挖掘技術(shù) ( D a t aM i n i n g ，簡(jiǎn)稱D M ) 。 數(shù)據(jù)倉(cāng)庫(kù)彌補(bǔ)了原有數(shù)據(jù)庫(kù)的不足，梅原來(lái)以單一數(shù)據(jù)庫(kù)為中心的數(shù)據(jù)環(huán) 境發(fā)展為能夠適應(yīng)不同環(huán)境、不同系統(tǒng)的一種新的體系環(huán)境，從而最終形成綜 合的中央數(shù)據(jù)倉(cāng)庫(kù) 3 I 數(shù)據(jù)倉(cāng)庫(kù)的定義 數(shù)據(jù)倉(cāng)庫(kù)概念刨始入耳，H I n m o n 在數(shù)據(jù)倉(cāng)庫(kù)一書(shū)中對(duì)數(shù)據(jù)倉(cāng)庫(kù)給出的定 義是：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、穩(wěn)定的( 不可更新) 、隨時(shí)間變化( 不 同時(shí)間) 的數(shù)據(jù)集合。并用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。 數(shù)據(jù)倉(cāng)庫(kù)是以計(jì)算機(jī)應(yīng)用為基礎(chǔ)的信息系統(tǒng)，用來(lái)支持在各領(lǐng)域的決策分 析。數(shù)據(jù)倉(cāng)庫(kù)作為一個(gè)集成了許多致?lián)吹闹醒霐?shù)據(jù)庫(kù)系統(tǒng)，從許多不同的分 散的、互不聯(lián)系的聯(lián)機(jī)事務(wù)處理源收集和提取數(shù)據(jù)，并通過(guò)一系列匯總計(jì)算將 數(shù)據(jù)組織為易于分析的形式，從而為企業(yè)提供了一個(gè)信息集成平臺(tái)，為管理人 員和決策者迅速地提取信息提供支持。因此，數(shù)據(jù)倉(cāng)庫(kù)是企業(yè)信息資產(chǎn)的核心， 是管理信息系統(tǒng)的“上層建筑”。 數(shù)據(jù)倉(cāng)庫(kù)和普遍的事務(wù)處理數(shù)據(jù)庫(kù)不同，它是面向主題的，支持商務(wù)決策而 不是事務(wù)處理。它擁有許多優(yōu)化設(shè)計(jì)的層次、總體方陣系列和結(jié)構(gòu)化的查詢功 能，并以總計(jì)綜合系統(tǒng)為構(gòu)架?；趯?duì)數(shù)據(jù)快速和有效的分析，數(shù)據(jù)倉(cāng)庫(kù)可為 決策系統(tǒng)提供強(qiáng)有力的支持。在開(kāi)發(fā)人員和用戶的協(xié)同配合和精心設(shè)計(jì)下，它 能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的一系列轉(zhuǎn)化，包括從數(shù)據(jù)到信息，從信息到知識(shí)，最終到商 業(yè)智能。 數(shù)據(jù)倉(cāng)庫(kù)最根本的特點(diǎn)之一是存放數(shù)據(jù)，而且這些數(shù)據(jù)包含歷史數(shù)據(jù)，并 且來(lái)源于各種數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的建立并不是要取代操作性事務(wù)處理數(shù)據(jù)庫(kù)( 事 第3 章從數(shù)據(jù)庫(kù)科數(shù)據(jù)倉(cāng)庫(kù) 務(wù)處理數(shù)據(jù)庫(kù)在企業(yè)的信息環(huán)境中承擔(dān)的是日常業(yè)務(wù)操作的任務(wù)) ，相反，它依 賴于操作性事務(wù)處理數(shù)據(jù)庫(kù)，并以此為基礎(chǔ)，建立一個(gè)綜合的和完善的信息分 析應(yīng)用系統(tǒng)，用于支持各級(jí)高管理層決策分析。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)庫(kù)技術(shù)的一種 新模式，一般也是用關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)來(lái)管理其中的數(shù)據(jù)。 從數(shù)據(jù)倉(cāng)庫(kù)到操作型數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的根與源。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源來(lái) 自操作型數(shù)據(jù)庫(kù)即聯(lián)機(jī)事務(wù)處理系統(tǒng)。在數(shù)據(jù)提取轉(zhuǎn)換加載處理系 統(tǒng)的控制下，數(shù)據(jù)要經(jīng)歷“艱難”的歷程，才能完成一系列的轉(zhuǎn)換，變成對(duì)終 端用戶有用的信息，形成一個(gè)新的集成系統(tǒng)聯(lián)機(jī)分析系統(tǒng)，并用于決策分 析。 由于數(shù)據(jù)倉(cāng)庫(kù)依賴于來(lái)自操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)，因此操作型數(shù)據(jù)庫(kù)是數(shù)據(jù) 倉(cāng)庫(kù)的根與源，就像一棵大樹(shù)依賴于它的根系存活一樣。沒(méi)有數(shù)據(jù)源，數(shù)據(jù)倉(cāng) 庫(kù)就無(wú)從談起：切斷數(shù)據(jù)源，數(shù)據(jù)倉(cāng)庫(kù)就會(huì)“死掉”。 3 2 數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的原因 事務(wù)處理環(huán)境不適宜決策支持系統(tǒng)應(yīng)用的主要原因可以從以下5 個(gè)方面來(lái) 分析。 3 2 1 數(shù)據(jù)四籠效應(yīng) 許多企業(yè)或組織機(jī)構(gòu)在管理運(yùn)作中，已經(jīng)積累了大量的數(shù)據(jù)，包括業(yè)務(wù)運(yùn) 作、客戶，產(chǎn)品和人員等。但是這些數(shù)據(jù)卻被埋藏在計(jì)算機(jī)系統(tǒng)中難以利用， 尤其是那些對(duì)于管理決策者有著重要意義的數(shù)據(jù)分析，沒(méi)有被加以分析，就不能 發(fā)揮其應(yīng)有的作用和潛力。 如果企業(yè)或組織沒(méi)有能力及時(shí)獲得有價(jià)值的信息，就很難在今天這樣迅速 變化的環(huán)境中保持其競(jìng)爭(zhēng)力。也就是說(shuō)，存在著所謂的數(shù)據(jù)豐富、而信息貧乏 的數(shù)據(jù)囚籠現(xiàn)象。 由于已經(jīng)對(duì)計(jì)算機(jī)設(shè)備、數(shù)據(jù)庫(kù)系統(tǒng)等進(jìn)行了可觀的投資，卻對(duì)已產(chǎn)生的 大量有價(jià)值的數(shù)據(jù)沒(méi)有充分加以利用，這就是一個(gè)巨大的浪費(fèi)。 3 2 2 信息孤島現(xiàn)象 事實(shí)上，舊系統(tǒng)往往是在過(guò)去不同的時(shí)期被不同的開(kāi)發(fā)者開(kāi)發(fā)的，這些系 統(tǒng)通常是根據(jù)某些特定的要求制作的，并且分布于不同的系統(tǒng)平臺(tái)上，同時(shí)信 息又可能被各個(gè)有不同體制的部門(mén)分別維護(hù)管理，如某企業(yè)制造、銷(xiāo)售、供銷(xiāo) 第3 章從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 和財(cái)務(wù)的數(shù)據(jù)，常常分布在傳統(tǒng)的操作型數(shù)據(jù)庫(kù)系統(tǒng)中，要對(duì)整個(gè)企業(yè)或行業(yè) 進(jìn)行綜合分析基本上是無(wú)能為力的 3 2 3 相互矛盾的信息漉 維持一個(gè)集成的并能夠協(xié)調(diào)一致的信息流、資金流和物流是企業(yè)管理的一 個(gè)重要課題。從理想的角度來(lái)說(shuō)，信息流應(yīng)當(dāng)如實(shí)地反映資金流和物流的變化， 但是實(shí)際上往往事與愿違。在傳統(tǒng)的操作型數(shù)據(jù)庫(kù)中，由于分散性和不兼容性， 再加上不同部門(mén)各自有不同的體制，使得這種集成很難實(shí)現(xiàn)，即理論和實(shí)際之間 存在著很大的差距。 3 2 4 數(shù)據(jù)集成的需要 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的出現(xiàn)，使得我們能夠利用那些早已存放在操作型數(shù)據(jù)庫(kù)里 的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)旨在解決當(dāng)前信息系統(tǒng)的兩大問(wèn)題：集成與分析。那些 在事務(wù)處理系統(tǒng)中使用過(guò)的數(shù)據(jù)，經(jīng)過(guò)一系列轉(zhuǎn)換和升華，能夠在數(shù)據(jù)倉(cāng)庫(kù)中 獲得新的用途。( 1 ) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)可以利用數(shù)據(jù)提取轉(zhuǎn)換加載技術(shù)從 許多不同的數(shù)據(jù)源中獲取并收集數(shù)據(jù)，同時(shí)將其組成一個(gè)集成的、具有一致性 的信息存儲(chǔ)系統(tǒng)：( 2 ) 它采用一系列技術(shù)將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的信息、知識(shí)、 商務(wù)智能；( 3 ) 它采用先進(jìn)的聯(lián)杌分析技術(shù)產(chǎn)生并向許多終端用戶快速遞交分 析結(jié)果：( 4 ) 它為經(jīng)營(yíng)與管理決策提供了單一的、集成的視圖；( 5 ) 與互聯(lián)網(wǎng) 技術(shù)相結(jié)合，數(shù)據(jù)倉(cāng)庫(kù)為人們提供了更為廣闊的營(yíng)運(yùn)模式；( 6 ) 對(duì)于歷史信息 與當(dāng)前信息，數(shù)據(jù)倉(cāng)庫(kù)能夠使這些相當(dāng)有價(jià)值的知識(shí)信息保留于系統(tǒng)的中央存 儲(chǔ)系統(tǒng)中，為再次開(kāi)發(fā)系統(tǒng)從而獲取新的知識(shí)信息儲(chǔ)備提供支持。因此，真正 挖掘數(shù)據(jù)的價(jià)值，對(duì)于管理來(lái)說(shuō)是非常重要的。 在商業(yè)運(yùn)營(yíng)中進(jìn)行監(jiān)測(cè)管理，對(duì)今天的企業(yè)或組織的成功甚至生存都是至 關(guān)重要的。作為企業(yè)的經(jīng)營(yíng)者和管理者，需要直接得到有關(guān)企業(yè)的準(zhǔn)確數(shù)據(jù)分 析、趨勢(shì)分析，這些信息包含提高市場(chǎng)占有率、客戶管理和營(yíng)運(yùn)效率方面的關(guān) 鍵和訣竅。通過(guò)數(shù)據(jù)倉(cāng)庫(kù)能夠?qū)?shù)據(jù)演變?yōu)橛猩钸h(yuǎn)意義的決策支持信息。商業(yè) 智能依托于數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，為用戶提供了一個(gè)企業(yè)運(yùn)行框架，能夠?qū)⒅饕钠?業(yè)運(yùn)行指標(biāo)具體化，通過(guò)對(duì)這些指標(biāo)的監(jiān)測(cè)，能對(duì)其當(dāng)前現(xiàn)狀做出評(píng)估，并幫 助企業(yè)做出相應(yīng)的決策。 企業(yè)管理中的數(shù)據(jù)流、資金流、物流必須通過(guò)集成才能實(shí)現(xiàn)協(xié)調(diào)一致。認(rèn) 識(shí)到運(yùn)用各種技術(shù)來(lái)研究數(shù)據(jù)給企業(yè)帶來(lái)的好處和競(jìng)爭(zhēng)優(yōu)勢(shì)，能夠識(shí)別客戶的 發(fā)展趨勢(shì)、發(fā)展方式，并發(fā)現(xiàn)競(jìng)爭(zhēng)者還未認(rèn)識(shí)到的隱含的關(guān)系和商機(jī)，管理者 第3 章從數(shù)據(jù)庫(kù)判缸據(jù)倉(cāng)庫(kù) 就可以運(yùn)用這些信息和商機(jī)來(lái)引導(dǎo)企業(yè)走向成功，從而在競(jìng)爭(zhēng)中占盡先機(jī)。 3 2 5 數(shù)據(jù)綜合的需要 市場(chǎng)經(jīng)濟(jì)競(jìng)爭(zhēng)關(guān)系的加劇和信息系統(tǒng)需求的發(fā)展促使人們要搞信息系統(tǒng)集 成和分析，并實(shí)現(xiàn)對(duì)管理決策的支持。 綜上所述，數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的原因?yàn)? 個(gè)基本因素：事務(wù)處理和分析處理的 性能：數(shù)據(jù)集成的需要；數(shù)據(jù)動(dòng)態(tài)集成的需要；歷史數(shù)據(jù)的利用；數(shù)據(jù)綜合的 需要， 3 3 管理信息系統(tǒng)的。上層建筑” 數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)存儲(chǔ)的種組合形式，由數(shù)據(jù)源獲褥原始數(shù)據(jù)。根據(jù)主 題要求重新組合以形成不同層次的綜合數(shù)據(jù)層，再根據(jù)管理系統(tǒng)的內(nèi)部結(jié)構(gòu)要 求進(jìn)行操作、管理等以達(dá)到支持決策，因此，我們稱之為管理信息系統(tǒng)的“上 層建筑”。本節(jié)將對(duì)數(shù)據(jù)倉(cāng)庫(kù)各種層面的數(shù)據(jù)關(guān)系情況進(jìn)行說(shuō)明 3 3 1 管理層次的概念 管理層次是客觀存在的，它體現(xiàn)了每一個(gè)企業(yè)和機(jī)構(gòu)的特性，決定著企業(yè) 和機(jī)構(gòu)的命運(yùn)，同時(shí)也需要相應(yīng)的信息系統(tǒng)的支持。 數(shù)據(jù)倉(cāng)庫(kù)建立在操作型事務(wù)處理系統(tǒng)之上，反過(guò)來(lái)講，操作型事務(wù)處理系 統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)。也就是說(shuō)這些基礎(chǔ)決定其上層建筑數(shù)據(jù)倉(cāng)庫(kù)；而上 層建筑又影響其基礎(chǔ)操作型事務(wù)處理。 在討論數(shù)據(jù)倉(cāng)庫(kù)之前，首先看一看典型的企業(yè)管理結(jié)構(gòu)：( 1 ) 頂層為企業(yè) 級(jí)決策層；( 2 ) 上層為商務(wù)智能、戰(zhàn)略、策略，為部門(mén)級(jí)；( 3 ) 中層為日常管 理、決定，為經(jīng)理級(jí)；( 4 ) 低層為明細(xì)的管理，通常在上一級(jí)的指導(dǎo)下運(yùn)作； ( 5 ) 基層為日常事務(wù)處理、交易。這里的中層和上層指的是管理層次的高低。 3 3 2 中層和上層管理存在的系統(tǒng)真空 可以很明顯地看出，事務(wù)處理層是所有管理層的基礎(chǔ)，并由各種不同的操 作型處理系統(tǒng)所支撐。 通過(guò)進(jìn)一步觀察，可以看出在中層和上層管理部門(mén)中間存在著一個(gè)系統(tǒng)真 空。顯然這里需要一個(gè)系統(tǒng)能夠提取只常處理的數(shù)據(jù)并將其轉(zhuǎn)換為用于決策分 析的信息。這里更急需一些專門(mén)技術(shù)和系統(tǒng)以用于決策分析。顯然，采用什么 1 4 第3 章從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 系統(tǒng)和技術(shù)能夠支撐上述管理結(jié)構(gòu)并提供有效的解決方案，是我們需要討論的 問(wèn)題。 3 3 3 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)應(yīng)用的基本作用 數(shù)據(jù)倉(cāng)庫(kù)填補(bǔ)了事務(wù)處理系統(tǒng)與決策支持系統(tǒng)分析之聞的真空，從而為中、 上層管理提供支持。操作型數(shù)據(jù)庫(kù)系統(tǒng)是它的上層建筑數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)， 來(lái)自操作型數(shù)據(jù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)倉(cāng)庫(kù)的轉(zhuǎn)換，變成有用的信息并直接被它 的終端用戶管理者獲取。 這種多層次的信息系統(tǒng)與我們所討論的典型的管理層次是相匹配的，而且 同樣適用于所謂的扁平式或簇形管理結(jié)構(gòu)。 l 、支持管理與決策的系統(tǒng)層次 結(jié)構(gòu)層次從底至頂描述如下：( 1 ) 操作型數(shù)據(jù)庫(kù)系統(tǒng)是它的上層建筑 數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)，來(lái)自操作型數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)倉(cāng)庫(kù)的轉(zhuǎn)換，形成有 用的信息并直接被它的終端用戶管理者獲取；( 2 ) 數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)結(jié)構(gòu)一事 實(shí)表和維表；( 3 ) 總計(jì)管理系統(tǒng)一將數(shù)據(jù)按層次結(jié)構(gòu)進(jìn)行總計(jì)以形成聯(lián)機(jī)分 析的基礎(chǔ)；( 4 ) 聯(lián)機(jī)分析系統(tǒng)O L A P 一當(dāng)對(duì)大量數(shù)據(jù)進(jìn)行綜合之后，可提供重 要的視圖，可據(jù)此從各種角度分析商業(yè)運(yùn)作的狀況和趨勢(shì)，聯(lián)機(jī)分析處理與數(shù) 據(jù)倉(cāng)庫(kù)結(jié)合，能夠?qū)Ａ康臄?shù)據(jù)進(jìn)行綜合處理，并為快速方便的決策信息系統(tǒng) ( E I S ) 提供基礎(chǔ)；( 5 ) 商務(wù)智能町采用各種統(tǒng)計(jì)分析工具和數(shù)據(jù)發(fā)掘工具 幫助決策。 2 、支撐企業(yè)決策和資源管理的平臺(tái) 數(shù)據(jù)倉(cāng)庫(kù)在這個(gè)大的平臺(tái)為開(kāi)發(fā)和裝載商務(wù)智能軟件( 如E R P ，企業(yè)資源 規(guī)劃) 提供了基礎(chǔ)，實(shí)際上有很多數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用本身就包括了上述軟件和功能。 3 、系統(tǒng)與應(yīng)用 數(shù)據(jù)倉(cāng)庫(kù)能夠統(tǒng)一信息標(biāo)準(zhǔn)，實(shí)現(xiàn)全面管理。企業(yè)應(yīng)用集成是一個(gè)能將不 同的應(yīng)用系統(tǒng)集成到一起而形成企業(yè)信息系統(tǒng)的脊梁。采用集成方法，通過(guò)針 對(duì)各種不同系統(tǒng)的數(shù)據(jù)獲取和數(shù)據(jù)模型技術(shù)，將數(shù)據(jù)進(jìn)行收集、整合，并對(duì)企 業(yè)的關(guān)鍵指標(biāo)進(jìn)行計(jì)算分析和圖示化。 4 、數(shù)據(jù)倉(cāng)庫(kù)的作用與任務(wù) 數(shù)據(jù)倉(cāng)庫(kù)填補(bǔ)了商務(wù)智能、管理與事務(wù)處理系統(tǒng)間的真空，打破了管理層 存在的障礙。 通過(guò)提供層次型的信息共享，并使信息流更加通暢，數(shù)據(jù)倉(cāng)庫(kù)幫助我們克 服了管理層次中存在的通信障礙，突破了不同