分布式數(shù)據(jù)庫HBase 課件 單元1 數(shù)據(jù)庫概述

單元1數(shù)據(jù)庫概述11.2分布式存儲系統(tǒng)目錄1.1數(shù)據(jù)庫系統(tǒng)21.3分布式數(shù)據(jù)庫

1.4分布式數(shù)據(jù)庫與關系型數(shù)據(jù)庫差別341.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)數(shù)據(jù)庫技術是研究數(shù)據(jù)庫的結構、存儲、設計、管理和使用的一門科學。數(shù)據(jù)庫系統(tǒng)（DatabaseSystem，DBS）是采用數(shù)據(jù)庫技術的計算機系統(tǒng)，它是由計算機硬件、軟件和數(shù)據(jù)資源組成的系統(tǒng)，能實現(xiàn)有組織地、動態(tài)地存儲大量關聯(lián)數(shù)據(jù)，并方便多用戶訪問。數(shù)據(jù)庫系統(tǒng)由用戶、數(shù)據(jù)庫應用程序、數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，DBMS）和數(shù)據(jù)庫（Database，DB）組成1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)數(shù)據(jù)庫是長期存儲在計算機內(nèi)的、有組織的、統(tǒng)一管理的、可以表現(xiàn)為多種形式的、可共享的數(shù)據(jù)集合。這里“共享”是指數(shù)據(jù)庫中的數(shù)據(jù)，可為多個不同的用戶、使用多種不同的語言、出于不同的目的而同時存取，甚至同一數(shù)據(jù)也可以同時存?。弧凹稀笔侵改程囟☉铆h(huán)境中的各種應用的數(shù)據(jù)及其之間的聯(lián)系全部集中按照一定的結構形式進行存儲。由此可知，數(shù)據(jù)庫中的數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和存儲，具有較小的冗余度、較高的數(shù)據(jù)獨立性和易擴展性，并可被各種用戶共享。數(shù)據(jù)庫根據(jù)不同的邏輯模型可分成3種：層次型數(shù)據(jù)庫、網(wǎng)狀型數(shù)據(jù)庫和關系型數(shù)據(jù)庫。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)（1）層次型數(shù)據(jù)庫早期的數(shù)據(jù)庫多采用層次型數(shù)據(jù)模型，稱為層次型數(shù)據(jù)庫，如圖1-2所示，它用樹形（層次）結構表示實體類型及實體間的聯(lián)系。在樹形結構中，數(shù)據(jù)按自然的層次關系組織起來，以反映數(shù)據(jù)之間的隸屬關系，樹中的節(jié)點是記錄類型，每個非根節(jié)點都只有一個父節(jié)點，而父節(jié)點可同時擁有多個子節(jié)點，父節(jié)點和子節(jié)點的聯(lián)系是1∶N的聯(lián)系。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)（2）網(wǎng)狀型數(shù)據(jù)庫。采用網(wǎng)狀型數(shù)據(jù)模型的數(shù)據(jù)庫，稱為網(wǎng)狀型數(shù)據(jù)庫。網(wǎng)狀型數(shù)據(jù)庫通過網(wǎng)絡結構表示數(shù)據(jù)間聯(lián)系，如圖1-3所示。圖中的節(jié)點代表數(shù)據(jù)記錄，連線描述不同節(jié)點數(shù)據(jù)間的聯(lián)系。這種數(shù)據(jù)模型的基本特征：一是節(jié)點數(shù)據(jù)之間沒有明確的從屬關系，一個節(jié)點可與其他多個節(jié)點建立聯(lián)系，即節(jié)點之間的聯(lián)系是任意的；二是任何兩個節(jié)點之間都能發(fā)生聯(lián)系，可表示多對多的關系。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)（3）關系型數(shù)據(jù)庫。關系模型是通過滿足一定條件的二維表格來表示實體集合以及數(shù)據(jù)間聯(lián)系的一種模型。關系型數(shù)據(jù)模型具有堅實的數(shù)學基礎與理論基礎，使用靈活方便，適應面廣，因此發(fā)展十分迅速。目前流行的一些數(shù)據(jù)庫系統(tǒng)，如Oracle、Sybase、Ingress、MySQL等都屬于關系型數(shù)據(jù)庫。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)關系型數(shù)據(jù)庫關系型數(shù)據(jù)庫，是建立在關系型數(shù)據(jù)模型基礎上的數(shù)據(jù)庫，借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)?，F(xiàn)實世界中的各種實體以及實體之間的各種聯(lián)系均可用關系模型來表示，市場上占很大份額的Oracle、MySQL、DB2等都是面向關系模型的DBMS。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)（3）關系型數(shù)據(jù)庫。關系模型是通過滿足一定條件的二維表格來表示實體集合以及數(shù)據(jù)間聯(lián)系的一種模型。關系型數(shù)據(jù)模型具有堅實的數(shù)學基礎與理論基礎，使用靈活方便，適應面廣，因此發(fā)展十分迅速。目前流行的一些數(shù)據(jù)庫系統(tǒng)，如Oracle、Sybase、Ingress、MySQL等都屬于關系型數(shù)據(jù)庫。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)關系型數(shù)據(jù)庫基本概念在關系型數(shù)據(jù)庫中，實體以及實體間的聯(lián)系均由單一的結構類型來表示，這種邏輯結構是一張二維表。關系型數(shù)據(jù)庫以行和列的形式存儲數(shù)據(jù)，這一系列的行和列被稱為表，一組表組成了數(shù)據(jù)庫。1.1數(shù)據(jù)庫系統(tǒng)系統(tǒng)常見關系型數(shù)據(jù)庫MySQL數(shù)據(jù)庫瑞典MySQLAB公司研發(fā)，流行的關系型數(shù)據(jù)庫管理系統(tǒng)之一，使用SQL語言，開放源碼，適用于中小型企業(yè)網(wǎng)站開發(fā)。SQLServer微軟出品，高性能數(shù)據(jù)庫系統(tǒng)，支持分布式計算，與WindowsNT緊密結合，提供企業(yè)級信息管理解決方案。Oracle數(shù)據(jù)庫甲骨文公司產(chǎn)品，高效率、可靠性好，適應高吞吐量，處于數(shù)據(jù)庫領域領先地位，最新版本為OracleDatabase20c，引入多承租方架構，支持數(shù)據(jù)庫云。數(shù)據(jù)庫對比MySQL：開源、成本低；SQLServer：與Windows集成度高；Oracle：高吞吐量、云支持，各有優(yōu)勢，適用于不同場景。1.分布式存儲系統(tǒng)的概念分布式存儲系統(tǒng)是指將數(shù)據(jù)分散存儲在多個節(jié)點上，通過網(wǎng)絡連接實現(xiàn)數(shù)據(jù)的共享和訪問的一種存儲方式。它可以提高數(shù)據(jù)的可靠性和可擴展性，同時也可以提高數(shù)據(jù)的訪問速度和并發(fā)性。分布式存儲系統(tǒng)在應對海量數(shù)據(jù)的儲存和訪問上有著不可替代的作用。與傳統(tǒng)的集中式存儲系統(tǒng)相比，分布式存儲系統(tǒng)具有高可靠性、高可擴展性、高吞吐量等優(yōu)勢，可以應對大規(guī)模數(shù)據(jù)的儲存和訪問需求。1.2分布式存儲系統(tǒng)2.分布式存儲系統(tǒng)的組成部分分布式存儲系統(tǒng)由多臺計算機構成，其中包括服務節(jié)點和存儲節(jié)點。服務節(jié)點負責管理整個系統(tǒng)的運行，包括文件的儲存、索引和訪問等。存儲節(jié)點則負責實際儲存文件，并根據(jù)服務節(jié)點的指示，完成文件的傳輸和訪問。為了實現(xiàn)分布式存儲系統(tǒng)的高可靠性和高可擴展性，分布式存儲系統(tǒng)通常具有多份備份機制，即將同一份文件儲存在多臺計算機上，以增加數(shù)據(jù)的可靠性。1.2分布式存儲系統(tǒng)分布式存儲系統(tǒng)的實現(xiàn)方式1.2分布式存儲系統(tǒng)

分布式存儲系統(tǒng)的實現(xiàn)方式通常包括兩種：共享存儲和分布式存儲。共享存儲方式是指將所有的存儲節(jié)點共享同一份數(shù)據(jù)，通過硬件和軟件技術實現(xiàn)多節(jié)點共享文件的訪問。分布式存儲方式是指將整個分布式存儲系統(tǒng)分割成多個部分，并將不同的數(shù)據(jù)儲存在不同的節(jié)點上，通過網(wǎng)絡連接，將各個節(jié)點之間的數(shù)據(jù)進行交互，實現(xiàn)文件的儲存和訪問。分布式存儲系統(tǒng)的實現(xiàn)1.2分布式存儲系統(tǒng)分布式存儲系統(tǒng)包括分布式文件系統(tǒng)、分布式鍵值系統(tǒng)、分布式表格系統(tǒng)、分布式數(shù)據(jù)庫等不同類型。其中，分布式文件系統(tǒng)主要用于大規(guī)模文件的存儲和管理，分布式鍵值系統(tǒng)主要用于鍵值對的存儲和查詢，分布式表格系統(tǒng)主要用于結構化數(shù)據(jù)的存儲和查詢，分布式數(shù)據(jù)庫則是將傳統(tǒng)的關系型數(shù)據(jù)庫分布式化實現(xiàn)的一種存儲方式。在分布式存儲系統(tǒng)中，一致性是一個非常重要的問題，因為多個副本之間的數(shù)據(jù)一致性是整個分布式存儲系統(tǒng)的理論核心。1.2分布式存儲系統(tǒng)1.分布式文件系統(tǒng)的實現(xiàn)

分布式文件系統(tǒng)是分布式存儲系統(tǒng)的核心。通過將文件分割成多份，并將這些文件儲存在不同的節(jié)點上，實現(xiàn)文件的高可靠性和高可擴展性。分布式文件系統(tǒng)的實現(xiàn)通常采用分塊存儲和儲存元數(shù)據(jù)的方式。分塊存儲是指將文件分成多個塊，然后存儲到不同的節(jié)點上。這樣做的優(yōu)點是可以并行地傳輸和處理塊，同時也方便進行數(shù)據(jù)的備份。儲存元數(shù)據(jù)是指將文件的元數(shù)據(jù)，如文件名、類型、大小、創(chuàng)建時間、修改時間等信息儲存在特殊的節(jié)點上，以實現(xiàn)文件的訪問和索引。目前，應用廣泛的分布式文件系統(tǒng)主要包括GFS（Google文件系統(tǒng)）和HDFS（Hadoop分布式文件系統(tǒng)），HDFS是GFS的開源實現(xiàn)。1.2分布式存儲系統(tǒng)2.分布式數(shù)據(jù)庫的實現(xiàn)

分布式數(shù)據(jù)庫是應對大數(shù)據(jù)儲存和訪問需求的一種有效方式。它可以將數(shù)據(jù)庫分割成不同的子數(shù)據(jù)庫，分別儲存在不同的節(jié)點上，并通過網(wǎng)絡連接實現(xiàn)數(shù)據(jù)的查詢和更新。分布式數(shù)據(jù)庫的實現(xiàn)通常采用水平切分和垂直切分兩種方式。水平切分是指將數(shù)據(jù)庫表中的數(shù)據(jù)按照某種規(guī)則進行分割，分割后的每個子表都儲存在不同節(jié)點上，實現(xiàn)數(shù)據(jù)的橫向分布，提高數(shù)據(jù)庫的讀寫性能。垂直切分則是按功能將數(shù)據(jù)庫表分成不同的子表，每個子表包含不同的字段。這樣可以將數(shù)據(jù)分散到不同的節(jié)點上，并提高查詢效率。分布式數(shù)據(jù)庫概述1.3分布式數(shù)據(jù)庫大數(shù)據(jù)需要通過分布式的集群方式來解決存儲和訪問的問題。以下將從分布式的角度來介紹數(shù)據(jù)庫的數(shù)據(jù)管理。分布式系統(tǒng)的核心理念是讓多臺服務器協(xié)同工作，完成單臺服務器無法處理的任務，尤其是高并發(fā)或者大數(shù)據(jù)量的任務。分布式數(shù)據(jù)庫是數(shù)據(jù)庫技術與網(wǎng)絡技術相結合的產(chǎn)物，它通過網(wǎng)絡技術將物理上分開的數(shù)據(jù)庫連接在一起，進行邏輯層面上的集中管理。在分布式數(shù)據(jù)庫系統(tǒng)中，一個應用程序可以對數(shù)據(jù)庫進行透明操作，數(shù)據(jù)庫中的數(shù)據(jù)分別存儲在不同的局部數(shù)據(jù)庫中，由不同機器上不同的DBMS進行管理。分布式數(shù)據(jù)庫數(shù)據(jù)管理1.3分布式數(shù)據(jù)庫1.分布的透明管理2.復制數(shù)據(jù)的透明管理3.事務的可靠性分布式數(shù)據(jù)庫分類列族數(shù)據(jù)庫適用于分布式數(shù)據(jù)存儲與管理，以列族式存儲，將同一列數(shù)據(jù)存儲在一起，實現(xiàn)高擴展性和快速查找，但功能局限，不支持事務強一致性。文檔數(shù)據(jù)庫面向Web應用，存儲半結構化數(shù)據(jù)，如JSON文檔，數(shù)據(jù)結構靈活，可根據(jù)文檔內(nèi)容創(chuàng)建索引，但缺乏統(tǒng)一查詢語法。鍵值數(shù)據(jù)庫用于內(nèi)容緩存和頻繁讀寫場景，采用鍵值對存儲，擴展性好，性能高，但數(shù)據(jù)無結構化，查詢受限于鍵。1.3分布式數(shù)據(jù)庫圖形數(shù)據(jù)庫圖形數(shù)據(jù)庫來源于圖論中的拓撲學，以節(jié)點、邊及節(jié)點之間的關系來存儲復雜網(wǎng)絡中的數(shù)據(jù)HBase是一種基于Hadoop的分布式NoSQL數(shù)據(jù)庫，它不支持完整的事務性，僅支持基于RowKey的索引，在性能上不如memcached和Redis，但是在海量數(shù)據(jù)、持久化存儲方面比內(nèi)存類型的NoSQL優(yōu)秀。因HBase基于Hadoop實現(xiàn)，可以和HDFS、MapReduce、Spark等非常好地結合。HBase不僅可以方便地進行存儲，還可以更加方便地對數(shù)據(jù)進行處理和運算，這些都是關系型數(shù)據(jù)庫所無法比擬的。1.3分布式數(shù)據(jù)庫存儲方式分布式數(shù)據(jù)庫將數(shù)據(jù)分散存儲在多臺獨立的計算機上，而關系型數(shù)據(jù)庫將數(shù)據(jù)集中存儲在一臺計算機上。擴展方式基于NoSQL的分布式數(shù)據(jù)庫通常比較容易實現(xiàn)擴展，因為它們采用了水平分片的方式來存儲數(shù)據(jù)。當系統(tǒng)需要處理更多的數(shù)據(jù)時，關系型數(shù)據(jù)庫可能需要重新設計數(shù)據(jù)庫結構，這會帶來一定的復雜性

數(shù)據(jù)操作方式關系型數(shù)據(jù)庫采用結構化查詢語言(即SQL)對數(shù)據(jù)庫進行查詢分布式數(shù)據(jù)庫使用的是非結構化查詢語言，1.4分布式數(shù)據(jù)庫與關系型數(shù)據(jù)庫的差別規(guī)范化在關系型數(shù)據(jù)庫中，一個數(shù)據(jù)實體一般首先要分割成多個部分，然后再對分割的部分進行規(guī)范化，規(guī)范化以后再分別存入多張關系型數(shù)據(jù)表中，分布式數(shù)據(jù)庫則沒有這方面的問題，它不需要