數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

1、一、 數(shù)據(jù)倉庫的特征：(1)面向主題性主題：是一個抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并 進行分析利用的抽象。在邏輯上，它對應于企業(yè)中某一宏觀分析領域所涉及的分析 對象。面向主題的數(shù)據(jù)組織方式可在較高層次上對分析對象的數(shù)據(jù)給出完整、一致的描述,能完整、統(tǒng)一的刻畫各個分析對象所涉及的企業(yè)的各項數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系， 從而適應企業(yè)各個部門的業(yè)務活動特點和企業(yè)數(shù)據(jù)的動態(tài)特征，從根本上實現(xiàn)數(shù)據(jù) 與應用的分離。(2)集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其每一個主題所對應的 源數(shù)據(jù)在原有的數(shù)據(jù)庫中有許多冗余和不一致，且與不同的應用邏輯相關。為了創(chuàng) 建一個有效的

2、主題域，必須將這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵循統(tǒng)一 的編碼規(guī)則。因此，數(shù)據(jù)倉庫在提取數(shù)據(jù)時必須經(jīng)過數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛 盾，并進行數(shù)據(jù)綜合和計算。經(jīng)過數(shù)據(jù)集成后，數(shù)據(jù)倉庫所提供的信息比數(shù)據(jù)庫提 供的信息更概括、更本質。(3)時變性時變性：許多商業(yè)分析要求對發(fā)展趨勢做出預測，對發(fā)展趨勢的分析需要訪問歷史數(shù)據(jù)。因此數(shù)據(jù)倉庫必須不斷捕捉OLTP數(shù)據(jù)庫中變化的數(shù)據(jù)， 生成數(shù)據(jù)庫的快照， 經(jīng)集成后增加到數(shù)據(jù)倉庫中去；另外數(shù)據(jù)倉庫還需要隨時間的變化刪去過期的、對 分析沒有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時間段增加綜合數(shù)據(jù)。(4)非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同

3、時點的數(shù)據(jù)庫快照 的集合，以及基于撰寫快照進行統(tǒng)計、綜合和重組的導出數(shù)據(jù)，而不是聯(lián)機處理的 數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢，一般情況下 并不進行修改操作，即數(shù)據(jù)倉庫中的數(shù)據(jù)是不可實時更新的，僅當超過規(guī)定的存儲 期限，才將其從數(shù)據(jù)倉庫中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉庫(5)集合性數(shù)據(jù)倉庫的集合性意味著數(shù)據(jù)倉庫以某種數(shù)據(jù)集合的形式存儲起來。二、KDD過程中的數(shù)據(jù)準備中的三個子步驟：(1)數(shù)據(jù)集成將多文件或多數(shù)據(jù)庫運行環(huán)境中的數(shù)據(jù)進行合并處理，解決語義模糊性、處理數(shù)據(jù) 中的遺漏和清洗臟數(shù)據(jù)等。(2)數(shù)據(jù)選擇數(shù)據(jù)選取的目的是確定目標數(shù)據(jù)，根據(jù)用戶的需要從原始數(shù)據(jù)庫中

4、選取相關數(shù)據(jù)或樣本。在此過程中，將利用一些數(shù)據(jù)庫操作對數(shù)據(jù)庫進行相關處理。(3)數(shù)據(jù)預處理對步驟2中選出的數(shù)據(jù)進行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù) 據(jù)挖掘無關的冗余數(shù)據(jù)，根據(jù)時間序列和已知的變化情況，利用統(tǒng)計等方法填充丟 失的數(shù)據(jù)。三、KDD過程中的“結果的解釋和評估”步驟說明：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識)進行解釋。通過機器評估剔除冗余或無關 模式，若模式不滿足，再返回到前面某些處理步驟中反復提取。將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。其中也包括對知識一致性的檢查, 以確信本次發(fā)現(xiàn)的知識不會與以前發(fā)現(xiàn)的知識相抵觸四、 數(shù)據(jù)挖掘的任務之一 “關聯(lián)分析”相關內(nèi)容？關聯(lián)規(guī)

5、則反映一個事物與其它事物之間的相互依存性和關聯(lián)性，如果兩個事物或者多個事物之間存在一定的關聯(lián)關系，那么其中一個事物就能夠通過其他事物預測到。人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關聯(lián)關系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）2%和1.5%表明這兩種商品在超市經(jīng)營中的重要程度，稱為支持度。商家關 注高支持度的產(chǎn)品。面包=牛奶60%在購買面包的交易中， 有60%的交易既買了面包又買了牛奶，成60%為規(guī)則而包=牛奶”的信任度。信任度反映了商品間的關聯(lián)程度五、 數(shù)據(jù)挖掘的任務之一 “聚類”相關內(nèi)容？聚類是對物理的或抽象的對象集合分組的過程。聚類生成的組為簇，簇是數(shù)

6、據(jù)對象 的集合。簇內(nèi)部任意兩個對象之間具有較高的相似度，而屬于不同簇的兩個對象間 具有較高的相異度。相異度可以根據(jù)描述對象的屬性值計算，對象間的距離是最常采用的度量指標。在 實際應用中，經(jīng)常將一個簇中的數(shù)據(jù)對象作為一個整體看待。用聚類生成的簇來表 達數(shù)據(jù)集不可避免地會損失一些信息，但卻可以使問題得到必要的簡化。主要的數(shù)據(jù)挖掘聚類方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng) 格的方法、基于模型的方法六、 數(shù)據(jù)挖掘的任務之一 “分類”相關內(nèi)容？分類的目的是提出一個分類函數(shù)或分類模型（即分類器）通過分類器將數(shù)據(jù)對象映 射到某一個給定的類別中。數(shù)據(jù)分類可以分為兩步進行。第一步建立模型，用于描

7、 述給定的數(shù)據(jù)集合。通過分析由屬性描述的數(shù)據(jù)集合來建立反映數(shù)據(jù)集合特性的模 型。第二步是用模型對數(shù)據(jù)對象進行分類。七、 數(shù)據(jù)挖掘中的歸納學習方法中的“遺傳算法”相關內(nèi)容遺傳算法遺傳算法是進化計算的一種，體現(xiàn)生物進化的四個要素：繁殖、變異、競爭和自然選擇遺傳算法的聚類思想：數(shù)據(jù)空間、編碼、個體（染色體）、適應值函數(shù)、交叉、變異、選擇（自然選擇）。重復以上步驟，直到種群不再進化或找到目 標為止。八、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“BACON系統(tǒng)”相關內(nèi)容（1） BACON系統(tǒng)的基本思想BACON系統(tǒng)是運用人工智能技術從試驗數(shù)據(jù)中尋找規(guī)律性比較成功的一個系統(tǒng)，其思想是讓程序反復地考察數(shù)據(jù)并使用精煉算子創(chuàng)造

8、新項，直到創(chuàng)造的這些項中有一個是常數(shù)時為止。該系統(tǒng)運用的是數(shù)據(jù)驅動方法，這種方法使用的規(guī)則空間與假設空間是分開的。這 類學習方法的大致步驟為：步驟1:手集某些訓練例。步驟2:對訓練例進行分析，決定應該使用的精煉算子。步驟3:使用選出的算子修改當前的假設空間。重復執(zhí)行步驟1到步驟3直到取得滿意的假設為止。BACON系統(tǒng)中所采用的主要精煉算子如下：A.發(fā)現(xiàn)常數(shù)B.具體化C.斜率和截距的產(chǎn)生D.積的產(chǎn)生E.商的產(chǎn)生F模n的項的產(chǎn)生(2) BACON系統(tǒng)的功能和應用BACON系統(tǒng)是用產(chǎn)生式語言OPS實現(xiàn)的。這個任務產(chǎn)生式系統(tǒng)的優(yōu)點是它允許人 們寫一套小型的一般規(guī)律發(fā)現(xiàn)程序。這些程序在收集的數(shù)據(jù)上進行搜

9、索，同時，這 些數(shù)據(jù)仍存放在工作存儲器中。如果數(shù)據(jù)中出現(xiàn)所說的一種規(guī)律性，它就會觸發(fā)某 個算子，執(zhí)行適當?shù)膭幼鳎篊asel如果規(guī)律性保持不變，就在有關范圍內(nèi)(時間、物體)進行一般化并 檢驗。Case2:如果在某時間間隔上屬性值一致地增加或減少，則構造一個新屬性， 該屬性是借助隨時間變化的舊屬性而定義的(例如加速度是由速度構造的)，并且進一步研究這個新屬性。Case3:如果一個屬性值隨著另一個上升，則要考慮新屬性為它們的乘積。 最后，構造和發(fā)現(xiàn)一個這樣的高級屬性，它用到程序員在自定義規(guī)律中提到的新屬性，并以它的值為常數(shù)，這是BAXIN系統(tǒng)的變體九、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“FDD系統(tǒng)”相關內(nèi)容FDD系統(tǒng)是一個基于實驗數(shù)據(jù)庫的經(jīng)驗公式發(fā)現(xiàn)系統(tǒng)。FDD系統(tǒng)運用了人工智能中的啟發(fā)式方法和數(shù)據(jù)處理中的曲線擬合技術，通過對所提供原型之間的線性組合和一定程度的復合不斷逼近實驗數(shù)據(jù)，最終得到蘊藏在大 量實驗數(shù)據(jù)中的經(jīng)驗公式。其基本思路是：步驟1:固定變量X2,對X1進行學習，即在現(xiàn)有原型基礎上，依次對所提 配，用最小二乘法求出a,b系數(shù)，若某一原型經(jīng)線性組合后與實驗數(shù)據(jù)的相 對誤差小于一給定或值，則學習成功，否則轉步驟2。步驟