第11章分布式數(shù)據(jù)庫

1、第11章 分布式數(shù)據(jù)庫與分布數(shù)據(jù)處理n 什么是分布式數(shù)據(jù)庫？什么是分布式數(shù)據(jù)庫？n SQL Server的分布數(shù)據(jù)管理方法的分布數(shù)據(jù)管理方法北京信息科技大學什么是分布式數(shù)據(jù)庫？v 分布式數(shù)據(jù)庫是一個物理上分布于計算機分布式數(shù)據(jù)庫是一個物理上分布于計算機網(wǎng)絡的不同地點、而邏輯上又屬于同一系網(wǎng)絡的不同地點、而邏輯上又屬于同一系統(tǒng)的數(shù)據(jù)集合。網(wǎng)絡上每個地點的數(shù)據(jù)庫統(tǒng)的數(shù)據(jù)集合。網(wǎng)絡上每個地點的數(shù)據(jù)庫都有自治能力，能夠完成局部應用；同時都有自治能力，能夠完成局部應用；同時每個地點的數(shù)據(jù)庫又屬于整個系統(tǒng)，通過每個地點的數(shù)據(jù)庫又屬于整個系統(tǒng)，通過網(wǎng)絡也可以完成全局應用。網(wǎng)絡也可以完成全局應用。2北京信息科

2、技大學分布式應用的例子n假設某大型企業(yè)的總部設在上海，在北京、廣州、重慶等地設有分公司。n以采購業(yè)務為例，一般采購業(yè)務分公司都可以自主獨立完成，而關鍵部件的重要采購則需要得到總公司的批準。n假設重慶分公司需要采購一批貨物，本地完成申請、審批后，發(fā)現(xiàn)這批貨物屬于關鍵部件的重要采購，需要提交上海總公司審批。n而上?？偣緦徍藭r，又需要了解各分公司的庫存，如果各分公司庫存不夠，就同意采購，否則直接由其他分公司調(diào)配給重慶分公司。3北京信息科技大學基本概念n分布式數(shù)據(jù)庫把整個分布式數(shù)據(jù)庫把整個企業(yè)的所有數(shù)據(jù)管理企業(yè)的所有數(shù)據(jù)管理納入一個統(tǒng)一的數(shù)據(jù)納入一個統(tǒng)一的數(shù)據(jù)庫進行管理，但是很庫進行管理，但是很多數(shù)

3、據(jù)物理地分布存多數(shù)據(jù)物理地分布存儲在各分公司的數(shù)據(jù)儲在各分公司的數(shù)據(jù)庫中。庫中。n分布式數(shù)據(jù)庫就是要分布式數(shù)據(jù)庫就是要解決如何實現(xiàn)數(shù)據(jù)的解決如何實現(xiàn)數(shù)據(jù)的分布存儲和數(shù)據(jù)的高分布存儲和數(shù)據(jù)的高效利用。效利用。4總公司分公司1分公司2局部自治整體統(tǒng)一整體統(tǒng)一北京信息科技大學5n數(shù)據(jù)的物理分布性數(shù)據(jù)的物理分布性n數(shù)據(jù)的邏輯整體性數(shù)據(jù)的邏輯整體性n數(shù)據(jù)的分布透明性數(shù)據(jù)的分布透明性n場地自治和協(xié)調(diào)工作場地自治和協(xié)調(diào)工作n數(shù)據(jù)冗余數(shù)據(jù)冗余分布式數(shù)據(jù)庫的基本特點分散式數(shù)據(jù)庫和分布式數(shù)據(jù)庫？北京信息科技大學分布式數(shù)據(jù)庫的數(shù)據(jù)分布方式分布式數(shù)據(jù)庫的數(shù)據(jù)分布方式n集中式集中式集中式是將所有數(shù)據(jù)安排在一臺服務器上。

4、集中式是將所有數(shù)據(jù)安排在一臺服務器上。n分割式分割式分割式是將全部數(shù)據(jù)分割成若干部分，分別存放在若干場地的分割式是將全部數(shù)據(jù)分割成若干部分，分別存放在若干場地的計算機上，或者說是將一個整體數(shù)據(jù)庫分成若干子集，每個子計算機上，或者說是將一個整體數(shù)據(jù)庫分成若干子集，每個子集放在一個數(shù)據(jù)庫服務器上。集放在一個數(shù)據(jù)庫服務器上。n復制式復制式復制式是將一個數(shù)據(jù)庫復制多個副本，在每個數(shù)據(jù)庫服務器上復制式是將一個數(shù)據(jù)庫復制多個副本，在每個數(shù)據(jù)庫服務器上都有一個完整的數(shù)據(jù)庫副本。都有一個完整的數(shù)據(jù)庫副本。n混合式混合式即分割式與復制式的混合。即分割式與復制式的混合。6北京信息科技大學7分布式數(shù)據(jù)庫的數(shù)據(jù)分布方

5、式分布式數(shù)據(jù)庫的數(shù)據(jù)分布方式n集中式集中式n分割式分割式n復制式n混合式北京信息科技大學數(shù)據(jù)分片n水平分片水平分片通過關系代數(shù)的選擇操作，按一定的條件將全局關系通過關系代數(shù)的選擇操作，按一定的條件將全局關系劃分成若干個子集，每個子集可以看作是一個數(shù)據(jù)分劃分成若干個子集，每個子集可以看作是一個數(shù)據(jù)分片。片。n垂直分片垂直分片通過關系代數(shù)的投影操作將關系按屬性劃分成若干個通過關系代數(shù)的投影操作將關系按屬性劃分成若干個子集，同樣，每個子集也可以看作是一個數(shù)據(jù)分片。子集，同樣，每個子集也可以看作是一個數(shù)據(jù)分片。n混合型分片混合型分片先按水平分片、再按垂直分片，或先按垂直分片、再先按水平分片、再按垂直分

6、片，或先按垂直分片、再按水平分片，依此種方法可以將一個全局關系劃分成按水平分片，依此種方法可以將一個全局關系劃分成若干子集，或從一個全局關系劃分出若干子集。若干子集，或從一個全局關系劃分出若干子集。8北京信息科技大學11.2 SQL Server的分布數(shù)據(jù)管理概述n復制技術(shù)復制技術(shù)n出版、訂閱和發(fā)行出版、訂閱和發(fā)行n緊湊一致和松散一致緊湊一致和松散一致n兩階段提交兩階段提交9北京信息科技大學SQL Server提供的分布數(shù)據(jù)管理策略復制式分布策略復制式分布策略集中式集中式分割式分割式復制式復制式混合式混合式n存儲代價的降低和網(wǎng)速的不斷提高，人們想以最快的速度得到任何一地的數(shù)據(jù)，用復制式分布策略

7、來支持分布數(shù)據(jù)管理是目前最普遍的方法。 北京信息科技大學復制技術(shù)n復制是要在不同的數(shù)據(jù)庫服務器中存儲多個相同的數(shù)是要在不同的數(shù)據(jù)庫服務器中存儲多個相同的數(shù)據(jù)副本，這些副本要保持同步和一致。據(jù)副本，這些副本要保持同步和一致。11復制技術(shù)帶來的主要問題？復制技術(shù)帶來的主要問題？更新傳播更新傳播n基于事務的復制l在復制的開始傳送一次副本，使相關數(shù)據(jù)庫服務器在復制的開始傳送一次副本，使相關數(shù)據(jù)庫服務器上的數(shù)據(jù)同步；上的數(shù)據(jù)同步；l然后通過傳送和執(zhí)行事務使分布的數(shù)據(jù)保持一致。然后通過傳送和執(zhí)行事務使分布的數(shù)據(jù)保持一致。北京信息科技大學副本12復制的過程 復制開始前：同步復制開始前：同步副本副本更新更新事

8、務傳播更新更新復制開始：復制事務復制開始：復制事務所有數(shù)據(jù)完仍然完全一致所有數(shù)據(jù)完仍然完全一致所有數(shù)據(jù)庫完全一致北京信息科技大學復制哪些內(nèi)容？n只復制需要復制的內(nèi)容，其他站點永遠不只復制需要復制的內(nèi)容，其他站點永遠不需要的數(shù)據(jù)不用復制。需要的數(shù)據(jù)不用復制。n用數(shù)據(jù)分片的方式產(chǎn)生要復制的內(nèi)容。用數(shù)據(jù)分片的方式產(chǎn)生要復制的內(nèi)容。北京信息科技大學術(shù)語出版、訂閱和發(fā)行nSQL Server通過數(shù)據(jù)通過數(shù)據(jù)出版出版產(chǎn)生數(shù)據(jù)的副本，通產(chǎn)生數(shù)據(jù)的副本，通過數(shù)據(jù)過數(shù)據(jù)發(fā)行發(fā)行傳送數(shù)據(jù)的副本，通過傳送數(shù)據(jù)的副本，通過訂閱訂閱獲得數(shù)據(jù)獲得數(shù)據(jù)的副本。的副本。14出版訂閱發(fā)行出版數(shù)據(jù)訂閱數(shù)據(jù)發(fā)行數(shù)據(jù)出版數(shù)據(jù)庫訂閱數(shù)

9、據(jù)庫發(fā)行數(shù)據(jù)庫出版服務器訂閱服務器發(fā)行服務器北京信息科技大學15出版服務器發(fā)行服務器訂閱服務器出版數(shù)據(jù)庫出版物發(fā)行數(shù)據(jù)庫訂閱數(shù)據(jù)庫存放被復制數(shù)據(jù)的源存放被復制數(shù)據(jù)的源服務器。服務器。出版服務器、出版數(shù)出版服務器、出版數(shù)據(jù)庫、出版物、項目。據(jù)庫、出版物、項目。與出版服務器相對應，與出版服務器相對應，是存放復制數(shù)據(jù)的目是存放復制數(shù)據(jù)的目標服務器。標服務器。扮演的是扮演的是“存儲和轉(zhuǎn)存儲和轉(zhuǎn)發(fā)發(fā)”的角色，在發(fā)行的角色，在發(fā)行服務器上有發(fā)行數(shù)據(jù)服務器上有發(fā)行數(shù)據(jù)庫，它存儲來自出版庫，它存儲來自出版服務器的出版數(shù)據(jù)，服務器的出版數(shù)據(jù)，并將這些數(shù)據(jù)轉(zhuǎn)發(fā)到并將這些數(shù)據(jù)轉(zhuǎn)發(fā)到訂閱服務器。訂閱服務器。北京信息科

10、技大學SQL Server的復制的靈活性n從訂閱的角度，可以有選擇地訂閱出版物或出版物中從訂閱的角度，可以有選擇地訂閱出版物或出版物中的項目。的項目。l訂閱出版物是指訂閱服務器可以訂閱由出版服務器提供的訂閱出版物是指訂閱服務器可以訂閱由出版服務器提供的所有或部分出版物（也可以不訂閱）；所有或部分出版物（也可以不訂閱）；l訂閱出版物中的項目是指訂閱服務器可以訂閱一個出版物訂閱出版物中的項目是指訂閱服務器可以訂閱一個出版物的所有或部分項目。的所有或部分項目。n從出版的角度，可以選擇垂直分片出版、水平分片出從出版的角度，可以選擇垂直分片出版、水平分片出版或混合分片出版。從訂閱的角度，可以選擇垂直分版

11、或混合分片出版。從訂閱的角度，可以選擇垂直分片訂閱、水平分片訂閱或混合分片訂閱。片訂閱、水平分片訂閱或混合分片訂閱。北京信息科技大學緊湊一致和松散一致n分布數(shù)據(jù)的一致性可以分為實時一致和延時一致分布數(shù)據(jù)的一致性可以分為實時一致和延時一致兩種，即復制有兩種模式：兩種，即復制有兩種模式：l緊湊一致（緊湊一致（tight consistency）l松散一致（松散一致（loose consistency北京信息科技大學兩階段提交n所謂兩階段提交就是在多個數(shù)據(jù)庫上連續(xù)地所謂兩階段提交就是在多個數(shù)據(jù)庫上連續(xù)地修改同一數(shù)據(jù)庫的副本，如果在修改同一數(shù)據(jù)庫的副本，如果在一個服務器一個服務器上事務提交上事務提交失

12、敗失敗了，則已經(jīng)提交事務的也必了，則已經(jīng)提交事務的也必須須撤消撤消事務（第一階段）；只有事務（第一階段）；只有所有的數(shù)據(jù)所有的數(shù)據(jù)庫庫的（第一階段）事務提交都的（第一階段）事務提交都成功成功了，才最了，才最后后確認確認事務成功（第二階段）。事務成功（第二階段）。北京信息科技大學11.3 SQL Server的復制實現(xiàn)技術(shù)nSQL復制類型復制類型l快照復制快照復制l事務復制事務復制l合并復制合并復制nOracle的復制機制的復制機制北京信息科技大學快照復制是事務復制和合并復制的基礎n快照復制：將某一時刻的副本傳送到訂閱快照復制：將某一時刻的副本傳送到訂閱服務器。服務器。n事務復制：通過快照復制完

13、成初始同步，事務復制：通過快照復制完成初始同步，然后啟動基于事務的復制然后啟動基于事務的復制緊湊一致。緊湊一致。n合并復制：通過快照復制完成初始同步，合并復制：通過快照復制完成初始同步，然后各副本獨立工作，事后協(xié)調(diào)事務沖突然后各副本獨立工作，事后協(xié)調(diào)事務沖突松散一致。松散一致。北京信息科技大學21復制是通過各種代理實現(xiàn)的n快照代理快照代理n發(fā)行代理發(fā)行代理n日志讀取代理日志讀取代理n合并代理合并代理n北京信息科技大學22快照復制基本概念n快照復制可以簡單的理解為將某一時刻的數(shù)據(jù)的快照復制可以簡單的理解為將某一時刻的數(shù)據(jù)的副本傳送到訂閱服務器上。副本傳送到訂閱服務器上。n快照復制是特定時刻的拷貝

14、，它不監(jiān)視對數(shù)據(jù)的快照復制是特定時刻的拷貝，它不監(jiān)視對數(shù)據(jù)的更新。更新。 北京信息科技大學23快照復制涉及的代理程序n快照代理程序快照代理程序l根據(jù)出版數(shù)據(jù)庫創(chuàng)建模式和數(shù)據(jù)文件根據(jù)出版數(shù)據(jù)庫創(chuàng)建模式和數(shù)據(jù)文件l并將它們存儲在快照文件夾中并將它們存儲在快照文件夾中n發(fā)行代理程序發(fā)行代理程序l將保存在發(fā)行數(shù)據(jù)庫中的快照將保存在發(fā)行數(shù)據(jù)庫中的快照傳遞傳遞到訂閱服務器。到訂閱服務器。北京信息科技大學第第14章章 分布式數(shù)據(jù)庫與分布數(shù)據(jù)管理分布式數(shù)據(jù)庫與分布數(shù)據(jù)管理24快照復制執(zhí)行步驟快照代理快照代理的工作的工作發(fā)行代理發(fā)行代理的工作的工作建立發(fā)行服務器到出版服務器的連接設置共享鎖建立出版服務器到發(fā)行服

15、務器的連接將復制項目寫入快照文件夾連接發(fā)行數(shù)據(jù)庫讀相關信息將結(jié)果送到訂閱數(shù)據(jù)庫北京信息科技大學25快照復制的操作n配置出版服務器配置出版服務器n創(chuàng)建復制數(shù)據(jù)庫創(chuàng)建復制數(shù)據(jù)庫n配置發(fā)行服務器配置發(fā)行服務器n配置訂閱服務器配置訂閱服務器北京信息科技大學26快照復制適用情況n主要是靜態(tài)數(shù)據(jù)，數(shù)據(jù)很少更改。主要是靜態(tài)數(shù)據(jù)，數(shù)據(jù)很少更改。n在短期內(nèi)出現(xiàn)大量更改，基于事務復制代在短期內(nèi)出現(xiàn)大量更改，基于事務復制代價更高。價更高。n在一段時間內(nèi)允許具有相對于發(fā)布服務器在一段時間內(nèi)允許具有相對于發(fā)布服務器已過時的數(shù)據(jù)副本。已過時的數(shù)據(jù)副本。n復制少量數(shù)據(jù)。復制少量數(shù)據(jù)。北京信息科技大學27事務復制 基本概念n

16、首先使用快照復制完成初始同步。首先使用快照復制完成初始同步。n然后捕獲已出版數(shù)據(jù)中發(fā)生的修改，即監(jiān)視然后捕獲已出版數(shù)據(jù)中發(fā)生的修改，即監(jiān)視INSERT、UPDATE和和DELETE語句或其它語句或其它數(shù)據(jù)修改，并將這些修改存儲到發(fā)行數(shù)據(jù)庫中，數(shù)據(jù)修改，并將這些修改存儲到發(fā)行數(shù)據(jù)庫中，然后再將這些修改傳播到訂閱服務器上。然后再將這些修改傳播到訂閱服務器上。北京信息科技大學28事務復制涉及代理程序n快照代理程序快照代理程序n發(fā)行代理程序發(fā)行代理程序n日志讀取器代理程序日志讀取器代理程序 日志讀取器代理程序監(jiān)視源數(shù)據(jù)庫的事務日志，該日志讀取器代理程序監(jiān)視源數(shù)據(jù)庫的事務日志，該事務日志記載了對出版表的

17、修改，當一個事務發(fā)生事務日志記載了對出版表的修改，當一個事務發(fā)生在出版的表上時，就被在出版的表上時，就被“刻上刻上”復制標志，并最終復制標志，并最終被送到訂閱服務器，訂閱服務器根據(jù)這些事務日志被送到訂閱服務器，訂閱服務器根據(jù)這些事務日志來更新訂閱的表。來更新訂閱的表。北京信息科技大學 快照代理程序準備快照文件，其中包含了已出版表和數(shù)據(jù)庫對象的模式和數(shù)據(jù)，然后將這些文件存儲在快照文件夾中，并在發(fā)行服務器上的發(fā)行數(shù)據(jù)庫中記錄同步作業(yè)。 29事務復制執(zhí)行步驟 發(fā)行代理程序?qū)⒈４嬖诎l(fā)行代理程序?qū)⒈４嬖诎l(fā)行數(shù)據(jù)庫表中的事務和初發(fā)行數(shù)據(jù)庫表中的事務和初始快照作業(yè)移動到訂閱服務始快照作業(yè)移動到訂閱服務器上。

18、器上。 日志讀取器代理程序監(jiān)視已為日志讀取器代理程序監(jiān)視已為事務復制配置的每個數(shù)據(jù)庫的事務事務復制配置的每個數(shù)據(jù)庫的事務日志，并將已設復制標記的事務從日志，并將已設復制標記的事務從事務日志復制到發(fā)行數(shù)據(jù)庫中。事務日志復制到發(fā)行數(shù)據(jù)庫中。北京信息科技大學30事務復制適用情況n希望更新及時傳播到訂閱服務器上。希望更新及時傳播到訂閱服務器上。n異構(gòu)數(shù)據(jù)庫之間的復制。異構(gòu)數(shù)據(jù)庫之間的復制。北京信息科技大學31合并復制 基本概念n首先使用快照復制完成初始同步。首先使用快照復制完成初始同步。n同步后許多不同的站點可以自主工作，然后在同步后許多不同的站點可以自主工作，然后在稍稍晚晚的適當時候再將更新合并成一

19、個統(tǒng)一的結(jié)果。的適當時候再將更新合并成一個統(tǒng)一的結(jié)果。 n稍晚稍晚的合并更新可能會出現(xiàn)的合并更新可能會出現(xiàn)沖突沖突。北京信息科技大學合并復制的方式n首先在訂閱服務器上應用首先在訂閱服務器上應用初始快照初始快照，然后，然后SQL Server在在出版服務器上和訂閱服務出版服務器上和訂閱服務器上跟蹤器上跟蹤已出版數(shù)據(jù)的更改。數(shù)據(jù)或是連已出版數(shù)據(jù)的更改。數(shù)據(jù)或是連續(xù)地、或是按調(diào)度時間或是按需在服務器續(xù)地、或是按調(diào)度時間或是按需在服務器之間同步。之間同步。 合并復制的關鍵是協(xié)調(diào)沖突合并復制的關鍵是協(xié)調(diào)沖突北京信息科技大學33合并復制涉及的代理n快照代理程序快照代理程序l準備快照文件準備快照文件l將快照

20、文件存儲在快照文件夾中將快照文件存儲在快照文件夾中l(wèi)在出版數(shù)據(jù)庫中插入同步作業(yè)在出版數(shù)據(jù)庫中插入同步作業(yè)n合并復制代理程序合并復制代理程序l將保存在出版數(shù)據(jù)庫表中的初始快照作業(yè)應用到訂閱服務器將保存在出版數(shù)據(jù)庫表中的初始快照作業(yè)應用到訂閱服務器上。上。l合并那些創(chuàng)建初始快照之后在出版服務器或訂閱服務器上發(fā)合并那些創(chuàng)建初始快照之后在出版服務器或訂閱服務器上發(fā)生的增量數(shù)據(jù)更改生的增量數(shù)據(jù)更改l根據(jù)配置的規(guī)則或者使用創(chuàng)建的自定義沖突解決程序協(xié)調(diào)沖根據(jù)配置的規(guī)則或者使用創(chuàng)建的自定義沖突解決程序協(xié)調(diào)沖突。突。北京信息科技大學34合并復制的執(zhí)行步驟北京信息科技大學35合并復制適用的情況n多個訂閱服務器需要在不同時刻更新數(shù)據(jù)并將這多個訂閱服務器需要在不同時刻更新數(shù)據(jù)并將這些更改傳播到些更改傳播到出版服務器出版服務器和其它和其它訂閱服務器訂閱服務器。 n訂閱服務器需要接收數(shù)據(jù)，訂閱服務器需要接收數(shù)據(jù)，脫機更改脫機更改數(shù)據(jù)，然后數(shù)據(jù)，然后將更改同步到出版服務器和其它訂閱服務器。將更改同步到出版服務器