《數(shù)據(jù)庫技術(shù)》PPT課件.ppt

數(shù)據(jù)庫技術(shù),2,本章學(xué)習(xí)要求：,了解：數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)。 掌握：數(shù)據(jù)庫技術(shù)。 掌握：數(shù)據(jù)存儲技術(shù)。 掌握：數(shù)據(jù)備份技術(shù)。 掌握：數(shù)據(jù)安全技術(shù)。 了解：數(shù)據(jù)大集中技術(shù)。,3,6.1 數(shù)據(jù)庫技術(shù),6.1.1 數(shù)據(jù)庫基本概念 數(shù)據(jù)庫( DataBase, DB):可認(rèn)為數(shù)據(jù)是被長期存放在計(jì)算機(jī)內(nèi)、有組織的、可以表現(xiàn)為多種形式的可共享的數(shù)據(jù)集合 。 二層意思 :一是數(shù)據(jù)庫是一個實(shí)體 ; 二是數(shù)據(jù)庫是數(shù)據(jù)管理的新方法和技術(shù)。 數(shù)據(jù)庫技術(shù)：是管理數(shù)據(jù)的技術(shù)和手段, 即使數(shù)據(jù)能按一定格式組織、描述和存儲， 且具有較小的冗余度、較高的數(shù)據(jù)獨(dú)立性和易擴(kuò)展性，并可為多個用戶所共享。 數(shù)據(jù)庫系統(tǒng): 通常是指帶有數(shù)據(jù)庫的計(jì)算機(jī)應(yīng)用系統(tǒng)，因此，數(shù)據(jù)庫系統(tǒng)不僅包括數(shù)據(jù)庫本身，即實(shí)際存儲在計(jì)算機(jī)中的數(shù)據(jù)，還包括相應(yīng)的硬件、軟件和各類人員。,4,數(shù)據(jù)庫系統(tǒng)組成,硬件 ：大內(nèi)存（存放軟件）和大外存（數(shù)據(jù)備份）和高的數(shù)據(jù)傳輸率。 軟件 ：包括DBMS 、操作系統(tǒng)、數(shù)據(jù)庫應(yīng)用軟件（MIS、DSS、OA） 等。 數(shù)據(jù) ：是數(shù)據(jù)庫的基本組成內(nèi)容和操作對象。 人員 ：包括DBA、系統(tǒng)分析員 、應(yīng)用程序員 、用戶 。,5,數(shù)據(jù)庫特點(diǎn),速度快: 與手工操作相比，其查詢迅速，準(zhǔn)確，而且可以省去大量的紙面文件 數(shù)據(jù)結(jié)構(gòu)化且統(tǒng)一管理: 把文件系統(tǒng)中簡單的記錄結(jié)構(gòu)變成記錄與記錄間的聯(lián)系所構(gòu)成的結(jié)構(gòu)化數(shù)據(jù)。 數(shù)據(jù)冗余度小:使用邏輯文件。 具有較高的數(shù)據(jù)獨(dú)立性：應(yīng)用程序與數(shù)據(jù)無信賴性。 數(shù)據(jù)的共享性好 數(shù)據(jù)控制功能： 數(shù)據(jù)安全性保護(hù) 數(shù)據(jù)完整性 并發(fā)控制 數(shù)據(jù)庫恢復(fù),程序A,程序B,程序C,邏輯 文件A,邏輯 文件B,邏輯 文件C,DBMS,DB,6,6.1.2 數(shù)據(jù)庫技術(shù)的發(fā)展分布式數(shù)據(jù)庫,分布式數(shù)據(jù)庫是一組結(jié)構(gòu)化的數(shù)據(jù)集合，它們在邏輯上屬于同一系統(tǒng)而在物理上分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同結(jié)點(diǎn)（site)上 。 分布式數(shù)據(jù)庫中就有全局?jǐn)?shù)據(jù)庫和局部數(shù)據(jù)庫這樣兩個概念 ： 全局?jǐn)?shù)據(jù)庫就是從系統(tǒng)的角度出發(fā)，指邏輯上一組結(jié)構(gòu)化的數(shù)據(jù)集合或邏輯項(xiàng)集 局部數(shù)據(jù)庫是從各個場地的角度出發(fā)，指物理結(jié)點(diǎn)上各個數(shù)據(jù)庫，即子集或物理項(xiàng)集,7,分布式數(shù)據(jù)庫應(yīng)用案例,銀行中的很多業(yè)務(wù)，并非只限于某一支行的數(shù)據(jù)庫。如銀行中的通兌業(yè)務(wù)，即場地1存款的用戶可能到場地2或場地3去取款；銀行中的轉(zhuǎn)帳業(yè)務(wù)，要求從一個支行的帳戶中轉(zhuǎn)出若干金額到另一個支行的帳戶中去。這些應(yīng)用要求就要同時(shí)更新兩個支行（場地）上的數(shù)據(jù)庫。我們把這些應(yīng)用稱為全局應(yīng)用（或分布應(yīng)用）。,8,分布式數(shù)據(jù)庫應(yīng)用案例圖,場地1,場地2,場地3,9,其他數(shù)據(jù)庫,主動數(shù)據(jù)庫 ：主動數(shù)據(jù)庫是相對傳統(tǒng)數(shù)據(jù)庫的被動性而言的 ，所謂主動數(shù)據(jù)庫就是除了完成一切傳統(tǒng)數(shù)據(jù)庫的服務(wù)外，還具有各種主動服務(wù)功能的數(shù)據(jù)庫系統(tǒng)，即DB+AI。 多媒體數(shù)據(jù)庫：多媒體數(shù)據(jù)庫是指能夠存儲查詢和管理相互關(guān)聯(lián)的多媒體數(shù)據(jù)的集合 ，它必須支持大對象的存儲。 模糊數(shù)據(jù)庫系統(tǒng)：用于存儲、操作和管理模糊數(shù)據(jù)。 并行數(shù)據(jù)庫系統(tǒng)：是在并行機(jī)上運(yùn)行的具有并行處理能力的數(shù)據(jù)系統(tǒng)。 知識庫:DB+AI. 空間數(shù)據(jù)庫(Spatial Database System, SDBS):例GIS系統(tǒng). 數(shù)據(jù)倉庫(Data Warehouse, DW):面向主題、集成、相對穩(wěn)定、反映歷史變化、數(shù)據(jù)隨時(shí)間變化。 協(xié)同數(shù)據(jù)庫等。,10,6.1.3 常見數(shù)據(jù)庫產(chǎn)品,DB2 ：IBM公司的產(chǎn)品, 采用多進(jìn)程多線索體系結(jié)構(gòu),可以運(yùn)行于多種操作系統(tǒng)之上 。具有多種特色。是目前具有最好性能和最佳性價(jià)比的關(guān)系型數(shù)據(jù)庫。 Oracle :是常用大型數(shù)據(jù)庫之一,可在不同的OS上運(yùn)行，在Oracle上開發(fā)的應(yīng)用可移植到任何OS。自5版本開始具有分布式數(shù)據(jù)庫處理功能。8i支持超大型數(shù)據(jù)庫，支持面向?qū)ο?，具有因特網(wǎng)上的數(shù)據(jù)庫訪問功能，9i具有堅(jiān)不可摧的安全性。 Oracle比SQL Server 的性能更好，可很好地適應(yīng)數(shù)據(jù)倉庫應(yīng)用。 Informix：大型數(shù)據(jù)庫，1983年首推在Unix上運(yùn)行的關(guān)系型數(shù)據(jù)庫，其Unix平臺占據(jù)全球主要市場。并已發(fā)展成為基于intenet的數(shù)據(jù)庫管理廠商。,11,6.1.3 常見數(shù)據(jù)庫產(chǎn)品,Sybase :是數(shù)據(jù)庫產(chǎn)品的后起之秀, 它把C/S數(shù)據(jù)庫體系結(jié)構(gòu)作為開發(fā)產(chǎn)品的重點(diǎn)目標(biāo), 其高版本支持企業(yè)內(nèi)部各種數(shù)據(jù)庫應(yīng)用需求,如數(shù)據(jù)倉庫、聯(lián)機(jī)事務(wù)處理OLTP、決策支持系統(tǒng)DDS等。 SQL( Structured Query Language )Server: 是基于C/S模型的RDBMS，易學(xué)、易用。是使用廣泛的大眾化數(shù)據(jù)庫產(chǎn)品，用戶可自行安裝和使用。它也是全球第一個支持Web應(yīng)用的數(shù)據(jù)庫。 Ingres,12,6.1.4 銀行數(shù)據(jù)庫特點(diǎn),具有很高的穩(wěn)定性、可靠性和可伸縮性 基于開放式的體系結(jié)構(gòu) 統(tǒng)一的、易操作的數(shù)據(jù)庫管理平臺 具有可靠的數(shù)據(jù)庫安全性控制機(jī)制 數(shù)據(jù)庫應(yīng)支持超大數(shù)據(jù)量的存儲與管理 支持分布式數(shù)據(jù)庫處理能力 具有決策支持能力，支持多維分析、即席查詢（ad-hoc query)和強(qiáng)大的報(bào)表功能 能夠同時(shí)支持Internet和Intranet訪問功能,13,6.2 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘,6.2.1 數(shù)據(jù)倉庫的概念和特點(diǎn) 數(shù)據(jù)倉庫(data warehouse) 概念始于本世紀(jì)80年代中期。隨著人們對大型數(shù)據(jù)系統(tǒng)研究、管理、維護(hù)等方面的深刻識認(rèn)和不斷完善，在總結(jié)、豐富、集中多項(xiàng)企業(yè)信息的經(jīng)驗(yàn)之后，為數(shù)據(jù)倉庫給出了更為精確的定義，即“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合”。 數(shù)據(jù)倉庫無嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也無成熟的基本模式，但具有很強(qiáng)的工程性。,14,數(shù)據(jù)倉庫的三個基本方面,數(shù)據(jù)的抽取: 是數(shù)據(jù)進(jìn)入倉庫的入口,它將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫 。 存儲和管理: 是數(shù)據(jù)倉庫的真正關(guān)鍵。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式 。 數(shù)據(jù)的表現(xiàn): 數(shù)理統(tǒng)計(jì)的算法和功能已經(jīng)普遍集成到聯(lián)機(jī)分析產(chǎn)品之中，同時(shí)又與Internet/Web技術(shù)緊密結(jié)合。,15,數(shù)據(jù)庫與數(shù)據(jù)倉庫的關(guān)系,數(shù)據(jù)倉庫對關(guān)系數(shù)據(jù)庫的聯(lián)機(jī)分析能力提出了更高的要求,數(shù)據(jù)倉庫實(shí)際上是一個“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個數(shù)據(jù)庫系統(tǒng)之上的、存儲了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。 傳統(tǒng)數(shù)據(jù)庫系統(tǒng)是單一的數(shù)據(jù)庫資源，適合操作型事務(wù)處理，分析處理能力弱。重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中. 數(shù)據(jù)倉庫以統(tǒng)計(jì)分析技術(shù)為手段，重點(diǎn)與要求是能準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù)，經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進(jìn)行分析使用。,16,數(shù)據(jù)倉庫的三個工具層,聯(lián)機(jī)分析處理(OLAP):能提供數(shù)據(jù)的多維概念視圖，使最終用戶能多角度、多側(cè)面、多層次地考察數(shù)據(jù)庫中的數(shù)據(jù)，并以多維形式展示給用戶。 決策支持系統(tǒng)(DSS):涵蓋了聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘兩個領(lǐng)域，能夠?yàn)榉治鰶Q策提供服務(wù)。 數(shù)據(jù)挖掘(data mining):數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)倉庫應(yīng)用中比較重要也是相對獨(dú)立的部分。目前，數(shù)據(jù)挖掘技術(shù)正處在發(fā)展當(dāng)中。數(shù)據(jù)挖掘涉及到數(shù)理統(tǒng)計(jì)、模糊理論、神經(jīng)網(wǎng)絡(luò)和人工智能等多種技術(shù)，技術(shù)含量比較高，實(shí)現(xiàn)難度較大。,17,6.2 .2數(shù)據(jù)挖掘,1.數(shù)據(jù)挖掘的概念 數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘是一種從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取隱藏的預(yù)測性信息的新技術(shù)。它能開采出潛在的模式，找出最有價(jià)值的信息，指導(dǎo)商業(yè)行為或輔助科學(xué)研究。 即從”數(shù)據(jù)礦山”中找到蘊(yùn)藏的”知識金塊”.幫助企業(yè)減少不必要的投資的同時(shí)能提高資金回報(bào).,18,數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的關(guān)系,數(shù)據(jù)倉庫為數(shù)據(jù)挖掘所做的，應(yīng)該從數(shù)據(jù)整合和清洗的角度來理解。即，數(shù)據(jù)倉庫將不同操作源的數(shù)據(jù)存放到一個集中的環(huán)境中，并且進(jìn)行適當(dāng)?shù)那逑春娃D(zhuǎn)換。數(shù)據(jù)挖掘所需要的數(shù)據(jù)，能夠直接從數(shù)據(jù)倉庫獲得，但是獲得后還是需要進(jìn)行轉(zhuǎn)換，若沒有數(shù)據(jù)倉庫，就要直接從操作型數(shù)據(jù)源中獲取，且要進(jìn)行ECTL(抽取、清洗、轉(zhuǎn)換、裝載)的操作。 數(shù)據(jù)倉庫不僅是集成數(shù)據(jù)的一種方式,它的OLAP功能也為數(shù)據(jù)挖掘提供極佳的操作平臺。 在數(shù)據(jù)挖掘過程中，若能將數(shù)據(jù)挖掘與數(shù)據(jù)倉庫有效的聯(lián)結(jié)，將增加數(shù)據(jù)挖掘的聯(lián)機(jī)挖掘功能。,19,數(shù)據(jù)挖掘的主要方法,決策樹(Decision Tree):也叫分類樹,是建立在信息論基礎(chǔ)之上，對數(shù)據(jù)進(jìn)行分類的一種方法。決策樹方法精確度較高，結(jié)果易理解，效率較高，較常用。 神經(jīng)網(wǎng)絡(luò)(Neural Network) :它模擬人腦的功能.神經(jīng)網(wǎng)絡(luò)建立在自學(xué)習(xí)的數(shù)學(xué)模型基礎(chǔ)之上。它可對大量復(fù)雜的數(shù)據(jù)進(jìn)行分析，并可完成對人腦或其他計(jì)算機(jī)來說極為復(fù)雜的模式抽取及趨勢分析。 相關(guān)規(guī)則 :相關(guān)規(guī)則是一種簡單卻很實(shí)用的關(guān)聯(lián)分析規(guī)則，它描述了一個事物中某些屬性同時(shí)出現(xiàn)的規(guī)律和模式。 K-nearest鄰居:鄰居就是彼此距離很近的數(shù)據(jù)。 遺傳算法 :遺傳算法是一種基于生物進(jìn)化論和分子遺傳學(xué)的搜索優(yōu)化算法。,20,關(guān)于決策樹,決策樹對比神經(jīng)元網(wǎng)絡(luò)的優(yōu)點(diǎn)在于可以生成一些規(guī)則。 當(dāng)我們進(jìn)行一些決策，同時(shí)需要相應(yīng)的理由的時(shí)候，使用神經(jīng)元網(wǎng)絡(luò)就不行了。 決策樹一般都是自上而下的生成的。 從根到葉子節(jié)點(diǎn)都有一條路徑，這條路徑就是一條“規(guī)則”。 決策樹可以是二叉的，也可以是多叉的。,21,數(shù)據(jù)挖掘的主要步驟,數(shù)據(jù)取樣:從企業(yè)大量數(shù)據(jù)中取出一個與要搜索的問題相關(guān)的樣板數(shù)據(jù)子集。 數(shù)據(jù)探索:是通常所進(jìn)行的對數(shù)據(jù)深入調(diào)查的過程.。 數(shù)據(jù)整理:在前二步的基礎(chǔ)上,對數(shù)據(jù)進(jìn)一步量化 .。 數(shù)據(jù)挖掘 :建立模型，用各種數(shù)據(jù)挖掘方法對數(shù)據(jù)進(jìn)行分析。此步是數(shù)據(jù)挖掘的核心環(huán)節(jié)，運(yùn)用神經(jīng)網(wǎng)絡(luò)、決策樹、數(shù)理統(tǒng)計(jì)、時(shí)間序列分析等方法來建立模型。 評估 :方法1是直接使用原先建立模型樣本和樣本數(shù)據(jù)來進(jìn)行檢驗(yàn)。 方法2是另找一批數(shù)據(jù)并對其進(jìn)行檢驗(yàn)，已知這些數(shù)據(jù)能反映客觀實(shí)踐的規(guī)律性。 方法3在實(shí)際運(yùn)行的環(huán)境中取出新鮮數(shù)據(jù)進(jìn)行檢驗(yàn)。,22,數(shù)據(jù)挖掘的主要步驟,大的數(shù)據(jù) 集合,建模1,建模2,建模3,評價(jià),抽樣,最優(yōu)輸出,23,銀行建立數(shù)據(jù)倉庫的必要性,中國銀行業(yè)的電子化和信息化不是終極目的。信息化本質(zhì)是保證銀行具備核心競爭力的一系列重要工具，而在信息化工具組合中，更為銳利、高效和復(fù)雜的數(shù)據(jù)挖掘工具，還沒有被中國銀行業(yè)所廣泛掌握。導(dǎo)致“數(shù)據(jù)爆炸但知識貧乏”。 銀行產(chǎn)品具有相當(dāng)?shù)耐|(zhì)性，銀行之間的差別，往往在于誰掌握了客戶關(guān)系，以及海量的業(yè)務(wù)和客戶信息背后的獨(dú)特業(yè)務(wù)規(guī)律，誰就可以科學(xué)地制定決策?，F(xiàn)在銀行實(shí)施的大多數(shù)系統(tǒng)所基于的數(shù)據(jù)庫只能實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等較低層次的功能，但卻無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)聯(lián)關(guān)系和業(yè)務(wù)規(guī)律，更難以根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來業(yè)務(wù)的發(fā)展趨勢。 目前看來，在銀行管理客戶生命周期的各個階段都會用到數(shù)據(jù)挖掘技術(shù)。,24,數(shù)據(jù)挖掘技術(shù)在銀行應(yīng)用中的案例,美國Firstar銀行使用Marksman數(shù)據(jù)挖掘工具，根據(jù)客戶的消費(fèi)模式預(yù)測何時(shí)為客戶提供何種產(chǎn)品。Firstar銀行市場調(diào)查和數(shù)據(jù)庫營銷部經(jīng)理發(fā)現(xiàn)：公共數(shù)據(jù)庫中存儲著關(guān)于每位消費(fèi)者的大量信息，關(guān)鍵是要透徹分析消費(fèi)者投入到新產(chǎn)品中的原因，在數(shù)據(jù)庫中找到一種模式，從而能夠?yàn)槊糠N新產(chǎn)品找到最合適的消費(fèi)者。 Mellon銀行使用Intelligent Agent數(shù)據(jù)挖掘軟件提高銷售和定價(jià)金融產(chǎn)品的精確度，如家庭普通貸款。,25,6.3 銀行數(shù)據(jù)存儲技術(shù),6.3.1硬件冗余技術(shù) 磁盤冗余實(shí)際上就是指RAID（磁盤陳列）技術(shù)。 RAID是在CPU性能逐年增強(qiáng)，而輸入輸出設(shè)備速度受限，存儲容量又與日俱增的背景下產(chǎn)生的。RAID是由美國加州大學(xué)伯克利分校的D.A.Patterson教授在1988年提出的。RAID（Redundant Array Inexpensive Disks，RAID）可直譯為“廉價(jià)冗余磁盤陣列”，簡稱為“磁盤陣列”。后來，工業(yè)界人士把RAID中的Inexpensive改成Independent，RAID就成了“獨(dú)立冗余磁盤陣列”，但只是名稱上的變化，實(shí)質(zhì)性內(nèi)容并沒改變。 RAID技術(shù)經(jīng)過不斷的發(fā)展，現(xiàn)在已擁有了從 RAID 0 到 6 七種基本的RAID 級別，但最常用的是RAID 0、RAID 1、RAID0+1、RAID 5等幾種方式 。,26,RAID 0 技術(shù),RAID 0又稱為Stripe或Striping（無差錯控制磁盤陣列），它代表了所有RAID級別中最高的存儲性能。RAID 0提高存儲性能的原理是把連續(xù)的數(shù)據(jù)分散到多個磁盤上存取，這樣，系統(tǒng)有數(shù)據(jù)請求就可以被多個磁盤并行的執(zhí)行，每個磁盤執(zhí)行屬于它自己的那部分?jǐn)?shù)據(jù)請求。這種數(shù)據(jù)上的并行操作可以充分利用總線的帶寬，顯著提高磁盤整體存取性能,27,RAID 0 圖示,右圖顯示的一個具有3個邏輯磁盤(Disk 0、Dsik 1、Disk 2)的數(shù)據(jù)存儲的過程。,RAID0是一個極端追求性能的方案，它至少使用兩個硬盤，數(shù)據(jù)同時(shí)分布在各個 硬盤上，沒有容錯能力。從圖中可見，因一個傳輸過程由多個硬盤分擔(dān)，這相當(dāng) 于增加了傳輸帶寬，所以RAID0的讀寫速度在整個RAID中列居首位，但因任何一 個硬盤損壞都會使整個RAID系統(tǒng)失效，所以其安全性反而比單個硬盤低。 因此，RAID 0一般用于對數(shù)據(jù)安全性要求不高，但對速度要求很高的場合。,28,RAID 1 技術(shù),RAID 1又稱為Mirror或Mirroring（鏡象磁盤陣列），它的宗旨是最大限度的保證用戶數(shù)據(jù)的可用性和可修復(fù)性。 RAID 1的操作方式是把用戶寫入硬盤Disk 0的數(shù)據(jù)百分之百地自動復(fù)制到另外一個硬盤Disk 1上。,29,RAID 1圖示,讀取數(shù)據(jù)時(shí)，系統(tǒng)先從Disk 0的源盤讀取數(shù)據(jù)，如果讀取數(shù)據(jù)成功，則系統(tǒng)不去管備份盤Disk 1上的數(shù)據(jù)；如果讀取源盤數(shù)據(jù)失敗，則系統(tǒng)自動轉(zhuǎn)而讀取備份盤上的數(shù)據(jù)，不會造成用戶工作任務(wù)的中斷，如圖所示。,30,RAID 0+1 技術(shù),正如其名字一樣，RAID 0+1就是RAID 0和RAID 1兩種方案的組合形式，也稱為RAID 10.以四個磁盤組成的RAID 0+1為例，數(shù)據(jù)在存儲時(shí)不僅分文件片形式順序保存在兩個RAID 0中的Disk 0與Disk 2，或Disk 1與Disk 3中，同時(shí)還會用Disk 1與Disk 3 或者Disk 0與Disk 2完全備份保存Disk 0與Disk 2或Disk 1與Disk 3中的數(shù)據(jù) 。 RAID10至少需要4個硬盤，其中兩個作為數(shù)據(jù)盤，另兩個作為數(shù)據(jù)的鏡像盤。這樣，RAID10在理論上同時(shí)保證了RAID0的性能和RAID1的安全性，為之付出的代價(jià)是比RAID0或RAID1多1倍的硬盤數(shù)量，但兼顧了高性能和安全性。,31,RAID 0+1圖示,RAID 0+1是存儲性能和數(shù)據(jù)安全兼顧的方案，它在提供與RAID 1一樣的數(shù)據(jù)安全保障的同時(shí)，也提供了與RAID 0近似的存儲性能 。,32,RAID 2、 RAID 3 、 RAID 4技術(shù),RAID 2：又稱為“糾錯碼磁盤陣列。磁盤驅(qū)動器組中的第一個、第二個、第四個第2n個磁盤驅(qū)動器是專門的校驗(yàn)盤，用于校驗(yàn)和糾錯 ，其余的用于存放數(shù)據(jù)。 RAID 3和RAID 4：又稱“奇校驗(yàn)或偶校驗(yàn)的磁盤陣列“。不論有多少數(shù)據(jù)盤，均使用一個校驗(yàn)盤，采用奇偶校驗(yàn)的方法檢查錯誤，任何一個單獨(dú)的磁盤驅(qū)動器損壞都可以恢復(fù)。,33,RAID4,P1為數(shù)據(jù)塊1、2、3的奇偶值, P2為數(shù)據(jù)塊4、5、6的奇偶值,硬盤3,RAID4是在RAID0的基礎(chǔ)上，對N個存儲數(shù)據(jù)的硬盤再增加一個校驗(yàn)磁盤。 當(dāng)N+1個硬盤中任一個出故障時(shí)，可利用其余的N個硬盤計(jì)算出故障盤中 的正確的數(shù)據(jù)內(nèi)容，但計(jì)算很費(fèi)時(shí)。另外，此方案因受奇偶校驗(yàn)盤的制約， 不支持多個數(shù)據(jù)盤的并行寫操作。,34,RAID 5圖示,RAID 5是一種存儲性能、數(shù)據(jù)安全和存儲成本兼顧的存儲解決方案。 以四個硬盤組成的RAID 5為例，它的數(shù)據(jù)存儲方式如下圖4所示：圖中，P0為D0，D1和D2的奇偶校驗(yàn)信息，P1為D3、D4的奇偶校驗(yàn)信息，其它以此類推.,RAID5的工作原理與RAID 4類似，但不設(shè)置專門的校驗(yàn)盤。圖中， 每個盤輪流作校驗(yàn)盤。對RAID 的改進(jìn)還表現(xiàn)在，在一些情況下，可對 多個磁盤執(zhí)行并行寫操作，因?yàn)樗辉偈軉为?dú)一個奇偶硬盤的約束。 RAID5是目前用得最廣泛的方案。RAID5E相當(dāng)于在RAID5的基礎(chǔ)上增 加了熱備份盤，可允許兩塊硬盤損壞，數(shù)據(jù)可靠性更高。,35,Intel的Matrix RAID,Intel公司最近提出的Matrix RAID,其實(shí)質(zhì)也是一種RAID10方案。 此方案可較好地解決性能和安全性的矛盾。 如圖所示，Matrix RAID可看成是RAID 0和RAID1的結(jié)合體, 它 至少需要兩塊硬盤才能實(shí)現(xiàn)。這兩塊盤被劃分成兩個區(qū)域，如圖 所示。其中，RAID0和RAID1區(qū)域大小的分隔可由用戶按照需要 決定。,n1區(qū)(白色區(qū))組成RAID 0， 是高性能區(qū)，存放OS及應(yīng) 用程序。有效空間100GB。 n2區(qū)(有圓點(diǎn)區(qū))組成RAID 1 是高安全區(qū)，用于存儲 重要數(shù)據(jù)。有效空間為 50GB。,36,銀行存儲系統(tǒng)案例介紹,我國各主要商業(yè)銀行大都采用IBM ES9000系統(tǒng)作為業(yè)務(wù)系統(tǒng)的中心處理機(jī)。該系統(tǒng)采用的冗余磁盤子系統(tǒng)，由磁盤控制器（3990）和采用RAID5技術(shù)的計(jì)算和控制隨機(jī)存取法（RAMAC）磁盤陣列組成 。 磁盤控制器和RAMAC磁盤陳列聯(lián)用，可用如下兩種方式的遠(yuǎn)程拷貝。 （1）擴(kuò)展遠(yuǎn)程拷貝(XRC):采用這種方式時(shí)，用數(shù)據(jù)轉(zhuǎn)移處理機(jī)（Data Mover）通地光纜將兩個異地的ES9000系統(tǒng)磁盤控制器聯(lián)結(jié)起來，在系統(tǒng)控制下進(jìn)行異步遠(yuǎn)程拷貝。在數(shù)據(jù)寫入主設(shè)備時(shí)，應(yīng)用系統(tǒng)在接收到設(shè)備結(jié)束請求時(shí)認(rèn)為寫操作完成，若此時(shí)應(yīng)用系統(tǒng)發(fā)生故障，備份系統(tǒng)的數(shù)據(jù)會丟失。數(shù)據(jù)轉(zhuǎn)移處理機(jī)可安裝于生產(chǎn)機(jī)上，也可安裝于備份機(jī)上，還可獨(dú)立擺放。擴(kuò)展遠(yuǎn)程拷貝可在不同的3990磁盤控制器之間實(shí)現(xiàn)，但需增硬件設(shè)備。,37,銀行存儲系統(tǒng)案例介紹,（2）點(diǎn)對點(diǎn)遠(yuǎn)程拷貝（PPRC）:它通過光纜兩個異地的3990-6磁盤控制器聯(lián)結(jié)起來。這種拷貝方式只能在相同的兩臺3990-6磁盤控制器之間進(jìn)行，因只有3990-6磁盤控制器具備這種功能。采用這種方式時(shí)，來自主機(jī)的數(shù)據(jù)以快寫方式同步寫入主/備RAMAC磁盤陳列。當(dāng)應(yīng)用系統(tǒng)接收到設(shè)備結(jié)束請求時(shí)，暫時(shí)不響應(yīng)，只有等到數(shù)完全寫入兩個系統(tǒng)之后，應(yīng)用系統(tǒng)才執(zhí)行該請求，本次寫操作才算完成。因此，這種拷貝方式的可靠性比擴(kuò)展遠(yuǎn)程拷貝更高。,38,銀行存儲系統(tǒng)案例圖示,圖6.6所示為容錯磁盤子系統(tǒng)應(yīng)用于本地雙機(jī)系統(tǒng)的一種方案，圖6.7所示是應(yīng)用于異地兩個計(jì)算中心的方案。,39,6.4 數(shù)據(jù)備份技術(shù),6.4.1數(shù)據(jù)備份的必要性 降低風(fēng)險(xiǎn) 最大限度地保護(hù)銀行數(shù)據(jù)的實(shí)時(shí)性，完整性和一致性 能夠增強(qiáng)數(shù)據(jù)中心的可用性和靈活性 提高銀行抗變能力，增加銀行客戶對銀行的信心,40,6.4.2數(shù)據(jù)備份技術(shù),1.數(shù)據(jù)備份原則 選擇先進(jìn)的、符合國際標(biāo)準(zhǔn)的數(shù)據(jù)備份和數(shù)據(jù)恢復(fù)軟、硬件平臺 充分利用數(shù)據(jù)壓縮技術(shù)，選擇具有良好保密功能的數(shù)據(jù)壓縮算法 在數(shù)據(jù)存儲、數(shù)據(jù)傳輸和數(shù)據(jù)交換中，必須通過口令、加密算法、數(shù)字簽名、智能卡技術(shù)、認(rèn)證協(xié)議等技術(shù)手段，增強(qiáng)系統(tǒng)的信息安全性 數(shù)據(jù)備份介質(zhì)應(yīng)標(biāo)明備份及保存要素，防止修改存儲介質(zhì)標(biāo)簽中的關(guān)鍵信息，并存放在一個安全環(huán)境中 備份時(shí)應(yīng)保持其相對獨(dú)立、完整，避免使用追加備份，并保護(hù)好至關(guān)重要的運(yùn)行日志,41,2.備份技術(shù)選擇,全備份（ Full Backup)：就是對整個服務(wù)器系統(tǒng)進(jìn)行備份，包括服務(wù)器操作系統(tǒng)和應(yīng)用程序生成的數(shù)據(jù)。 特點(diǎn):備份數(shù)據(jù)最全面、最完整。但數(shù)據(jù)量大，備份時(shí)間長，成本高，適合最初2天用。 增量備份 (Incremental Backup)：增量備份指每次備份的數(shù)據(jù)只是相當(dāng)于上一次備份后增加的和修改過的數(shù)據(jù)。 特點(diǎn):無重復(fù)的備份數(shù)據(jù)，節(jié)省空間和時(shí)間，但恢復(fù)數(shù)據(jù)較麻煩。適合后續(xù)備份。 差分備份 (Differential Backup)：差分備份就是每次備份的數(shù)據(jù)是相對于上一次全備份之后新增加的和修改過的數(shù)據(jù)。 特點(diǎn):無需每天做完全備份，備份時(shí)間短，省空間，恢復(fù)方便，適合進(jìn)行了完全備份的后續(xù)備份。,42,3.備份媒體的選擇,（1）根據(jù)業(yè)務(wù)性質(zhì)來選擇合適的存儲介質(zhì)。 （2）根據(jù)數(shù)據(jù)量及備份日程表選擇設(shè)備容量，并根據(jù)限備份量選擇驅(qū)動器。 從存儲介質(zhì)看，目前主要有磁介質(zhì)和光介質(zhì)。磁介質(zhì)技術(shù)有4mmDAT(Digtal Audio Table)、8mmDAT、QIC(Quarter-Inch Cartrige)、1/2英寸及3590技術(shù)，光介質(zhì)中目前最適合數(shù)據(jù)管理的有讀寫光盤。對于業(yè)務(wù)量較小的，可選擇磁盤，對數(shù)據(jù)量較大的，則可選擇磁帶或光盤 。,43,4.備份軟件的選擇,在銀行應(yīng)用系統(tǒng)中，業(yè)務(wù)程序都提供數(shù)據(jù)備份功能，用戶可根據(jù)系統(tǒng)提示進(jìn)行數(shù)據(jù)備份。在很多操作系統(tǒng)中也提供基本的備份功能，如UNIX的Tar/Cpio、Windows NT的Windows Backup以及NetWare中的Sbackup。為了達(dá)到更好的備份效果，用戶最好使用專業(yè)備份軟件，常見的有Legato公司的NetWorker、Seagate公司的Badkup Exec、CA公司的ARC Serve 。,44,5.對備份數(shù)據(jù)的要求,數(shù)據(jù)是應(yīng)用軟件進(jìn)行運(yùn)算的對象，具有可用性、保密性、完整性、可靠性和抗抵賴性等屬性，其中的任何一個因素被破壞，都有可能造成數(shù)據(jù)破壞。在銀行業(yè)務(wù)中，對于實(shí)時(shí)系統(tǒng)，數(shù)據(jù)備份前應(yīng)注意將該系統(tǒng)關(guān)閉，使數(shù)據(jù)處于靜止?fàn)顟B(tài)：對于非實(shí)時(shí)系統(tǒng)，生產(chǎn)的數(shù)據(jù)應(yīng)等期（如每工作日）做數(shù)據(jù)備份，備份前也應(yīng)該將系統(tǒng)關(guān)閉，防止業(yè)務(wù)用戶在數(shù)據(jù)備份時(shí)聯(lián)機(jī)使用計(jì)算機(jī)。另外，在數(shù)據(jù)備份前，必須對整個網(wǎng)絡(luò)和應(yīng)用系統(tǒng)進(jìn)行計(jì)算機(jī)病毒的清理，防止新病毒的出現(xiàn)和傳播，否則，即使數(shù)據(jù)和系統(tǒng)配置沒有關(guān)系，恢復(fù)后的數(shù)據(jù)也毫無價(jià)值。,45,6.備份方案的設(shè)計(jì),制定總體規(guī)劃 :在網(wǎng)絡(luò)集成商的協(xié)助下，認(rèn)真研究銀行業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲環(huán)境，考慮數(shù)據(jù)備份及安全性措施。 選擇合適的設(shè)備:對十分頻繁的數(shù)據(jù)在容錯功能強(qiáng)且高效的服務(wù)器上，對訪問較少的文件可放置在廉價(jià)、讀寫過程較慢的外存上。 進(jìn)行風(fēng)險(xiǎn)控制:對網(wǎng)絡(luò)中若干重要數(shù)據(jù)存儲點(diǎn)的安全性要進(jìn)行風(fēng)險(xiǎn)評估，順序排出各點(diǎn)數(shù)據(jù)風(fēng)險(xiǎn)的大小。對要害部位要加強(qiáng)安全防范措施，并提出切實(shí)可行的解決方案。 提出實(shí)施方案：網(wǎng)絡(luò)系統(tǒng)中所有重要的存儲資源能進(jìn)行集中管理，當(dāng)要進(jìn)行數(shù)據(jù)備份歸檔時(shí)，要考慮何時(shí)最適合進(jìn)行文件備份以及恢復(fù)備份文件的最大允許時(shí)間，并選擇合適的備份設(shè)備。 嚴(yán)密的恢復(fù)計(jì)劃：明確恢復(fù)機(jī)制的快速運(yùn)轉(zhuǎn)及恢復(fù)時(shí)間的長短是解決業(yè)務(wù)恢復(fù)時(shí)間長短的關(guān)鍵。,46,7.備份媒體的管理,磁盤和磁帶必須按照系統(tǒng)管理員及制造廠商確定的操作規(guī)程安裝。 傳遞過程中的數(shù)據(jù)磁盤、磁帶應(yīng)裝在金屬盒中。 新磁帶在使用前應(yīng)該在機(jī)房經(jīng)過24h溫度適應(yīng)。 磁帶、磁盤應(yīng)放在距鋼筋房柱或類似結(jié)構(gòu)物10cm以上處，以防雷電經(jīng)鋼筋傳播時(shí)產(chǎn)生的磁場損壞媒體上的信息。 存有重要信息的磁帶清除時(shí)，必須進(jìn)行消磁，不得只進(jìn)行磁帶初始化。 所有入庫的盤、帶目錄清單必須有統(tǒng)一格式，如文件所有者、卷系列號、文件名及其描述、作業(yè)或項(xiàng)目編號、建立日期及保存期限等。 長期保存的磁帶應(yīng)定期轉(zhuǎn)儲。 重要的數(shù)據(jù)文件必須多份拷貝、異地存放。 磁帶庫必須有專人負(fù)責(zé)管理，對使用的某種介質(zhì)要掌握其使用壽命,47,6.4.3災(zāi)難備份,災(zāi)難備份的含義 災(zāi)難備份就是指利用技術(shù)、管理手段以及相關(guān)資源確保既定的關(guān)鍵數(shù)據(jù)、關(guān)鍵數(shù)據(jù)處理系統(tǒng)和關(guān)鍵業(yè)務(wù)在災(zāi)難發(fā)生后可以恢復(fù)的過程。一旦災(zāi)難發(fā)生，災(zāi)難備份中心就必須要在確定的時(shí)間內(nèi)接替生產(chǎn)中心的運(yùn)營、恢復(fù)既定范圍內(nèi)的業(yè)務(wù)運(yùn)作、保障企業(yè)業(yè)務(wù)連續(xù) 。,48,數(shù)據(jù)大集中需要災(zāi)難備份技術(shù),伴隨著數(shù)據(jù)大集中的實(shí)現(xiàn)，企業(yè)數(shù)據(jù)中心的技術(shù)風(fēng)險(xiǎn)也相對集中。一旦數(shù)據(jù)中心發(fā)生災(zāi)難，則將導(dǎo)致企業(yè)所有分支機(jī)構(gòu)、營業(yè)網(wǎng)點(diǎn)和全部的業(yè)務(wù)處理停頓，或造成客戶重要數(shù)據(jù)的丟失，其后果不堪設(shè)想。,49,6.5 數(shù)據(jù)庫安全技術(shù),6.5.1 數(shù)據(jù)庫安全的基本概念 數(shù)據(jù)庫的安全性是銀行安全的基本部分。數(shù)據(jù)庫的安全性主要指數(shù)據(jù)庫中數(shù)據(jù)的安全性。防止非法使用數(shù)據(jù)庫中的數(shù)據(jù)，包括如下兩種情況： 防止非法實(shí)體進(jìn)入數(shù)據(jù)庫，以防止數(shù)據(jù)向未授權(quán)實(shí)體泄露，或被未授權(quán)實(shí)體所修改。 防止合法用戶越權(quán)使用數(shù)據(jù)庫中數(shù)據(jù)，或者說，防止合法用戶在獲取信息時(shí)得到權(quán)限以外的信息。,50,6.5.2 DBMS安全控制,DBMS要求嚴(yán)格的用戶身份鑒別 雙重保護(hù):操作系統(tǒng)的用戶鑒別機(jī)制+數(shù)據(jù)庫系統(tǒng)的身份鑒別機(jī)制。 用戶身份鑒別:包括系統(tǒng)處理和物理處理的兩方面。 系統(tǒng)處理：分級設(shè)置安全裝置。 物理處理：數(shù)據(jù)加密。,51,1.用戶標(biāo)志和鑒定,是系統(tǒng)提供的最外層的安全保護(hù)措施 。常用的方法有： 用一個用戶名或用戶標(biāo)志號來標(biāo)明用戶身份，系統(tǒng)鑒別此用戶是否為合法用戶。若是，則可進(jìn)入下一步的核實(shí)；若不是，則不能使用系統(tǒng)。 口令（Password）。為了進(jìn)一步核實(shí)用戶系統(tǒng)常常要求用戶輸入口令，為保密起見，用戶在終端上輸入的口令不顯示在屏幕上。系統(tǒng)核對口令以鑒別用戶身份，以上的方法簡單易行，但用戶名、口令容易被人竊取，因此還可以用更可靠的方法。 系統(tǒng)提供了一個隨機(jī)數(shù)，用戶根據(jù)預(yù)先約定好的某一過程或者函數(shù)進(jìn)行計(jì)算，系統(tǒng)根據(jù)用戶計(jì)算結(jié)果是否正確進(jìn)一步鑒定用戶身份。用戶標(biāo)志和鑒定可以重復(fù)多次。,52,存取控制,在數(shù)據(jù)庫系統(tǒng)中，為了保證用戶只能存取有權(quán)存取的數(shù)據(jù)，系統(tǒng)要求對每個用戶定義存取權(quán)限。存取權(quán)限包括兩個方面的內(nèi)容：一方面是要存取的數(shù)據(jù)對象；另一方面是對此數(shù)據(jù)對象進(jìn)行那些類型的操作。 授權(quán):是對存取權(quán)限的定義。在RDBS中,系統(tǒng)管理員DBA可把建立和修改基本表的權(quán)限授予用戶. 在SQL中有2個語句 GRANT:授權(quán) REVOKE:撤消權(quán)限