大數(shù)據(jù)技術(shù)原理與應用-林子雨版-課后習題復習資料VIP

第一章

1.試述信息技術(shù)發(fā)展史上的3次信息化浪潮與具體內(nèi)容。

信息化浪潮發(fā)生時間標記解決問題代表公司

第一次浪潮1980年前后個人計算信息處理、、、蘋果、

機微軟、聯(lián)想、

戴爾、惠普等

其次次浪潮1995年前后互聯(lián)網(wǎng)信息傳輸雅虎、谷歌、

阿里巴巴、百

度、騰訊等

第三次浪潮2010年前后物理網(wǎng)、信息爆炸將涌現(xiàn)出一批

云計算和新的市場標桿

大數(shù)據(jù)企業(yè)

2.試述數(shù)據(jù)產(chǎn)生方式經(jīng)驗的幾個階段

答：運營式系統(tǒng)階段，用戶原創(chuàng)內(nèi)容階段，感知式系統(tǒng)階段。

3.試述大數(shù)據(jù)的4個基本特征

答：數(shù)據(jù)量大、數(shù)據(jù)類型繁多、處理速度快和價值密度低。

4.試述大數(shù)據(jù)時代的“數(shù)據(jù)爆炸”的特性

答：大數(shù)據(jù)時代的“數(shù)據(jù)爆炸”的特性是，人類社會產(chǎn)生的數(shù)據(jù)一樣都以每年50%的速

度增長，也就是說，每兩年增加一倍。

5.數(shù)據(jù)探討經(jīng)驗了哪4個階段？

答：人類自古以來在科學探討上先后歷經(jīng)了試驗、理論、計算、和數(shù)據(jù)四種范式。

6.試述大數(shù)據(jù)對思維方式的重要影響

答：大數(shù)據(jù)時代對思維方式的重要影響是三種思維的轉(zhuǎn)變：全樣而非抽樣，效率而非精

確，相關(guān)而非因果。

7.大數(shù)據(jù)決策與傳統(tǒng)的基于數(shù)據(jù)倉庫的決策有什么區(qū)分

答：數(shù)據(jù)倉庫具備批量和周期性的數(shù)據(jù)加載以與數(shù)據(jù)變更的實時探測、傳播和加載實力,

能結(jié)合歷史數(shù)據(jù)和實時數(shù)據(jù)實現(xiàn)查詢分析和自動規(guī)則觸發(fā)，從而供應對戰(zhàn)略決策和戰(zhàn)術(shù)

決策。

大數(shù)據(jù)決策可以面對類型繁多的、非結(jié)構(gòu)化的海量數(shù)據(jù)進行決策分析。

8.舉例說明大數(shù)據(jù)的基本應用

答：

領(lǐng)域大數(shù)據(jù)的應用

金融行業(yè)大數(shù)據(jù)在高頻交易、社區(qū)心情分析和信貸風險分析三大

金融創(chuàng)新領(lǐng)域發(fā)揮重要作用。

汽車行業(yè)利用大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的五人駕駛汽車，在不遠的將

來將走進我們的日常生活

互聯(lián)網(wǎng)行業(yè)借助于大數(shù)據(jù)技術(shù)，可以分析客戶行為，進行商品舉薦

和有針對性廣告投放

個人生活大數(shù)據(jù)還可以應用于個人生活，利用與每個人相關(guān)聯(lián)的

“個人大數(shù)據(jù)”，分析個人生活行為習慣，為其供應更

加周全的特性化服務(wù)。

9.舉例說明大數(shù)據(jù)的關(guān)鍵技術(shù)

答：批處理計算，流計算，圖計算，查詢分析計算

10.大數(shù)據(jù)產(chǎn)業(yè)包含哪些關(guān)鍵技術(shù)。

答：基礎(chǔ)設(shè)施層、數(shù)據(jù)源層、數(shù)據(jù)管理層、數(shù)據(jù)分析層、數(shù)據(jù)平臺層、數(shù)據(jù)應用層。

11.定義并說明以下術(shù)語：云計算、物聯(lián)網(wǎng)

答：云計算：云計算就是實現(xiàn)了通過網(wǎng)絡(luò)供應可伸縮的、廉價的分布式計算機實力，

用戶只須要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種資源。

物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延長，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信

技術(shù)把傳感器、限制器、機器、人類和物等通過新的方式連在一起，形成人與物、物與

物相連，實現(xiàn)信息化和遠程管理限制。

12.具體闡述大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)三者之間的區(qū)分與聯(lián)系。

大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的區(qū)分大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的聯(lián)系

大數(shù)據(jù)側(cè)重于海量數(shù)據(jù)的存儲、處從整體來看，大數(shù)據(jù)、云計算和物

理與分析，海量數(shù)據(jù)中發(fā)覺價值，聯(lián)網(wǎng)這三者是相輔相成的。大數(shù)據(jù)

服務(wù)于生產(chǎn)和生活；云計算本質(zhì)上根植于云計算，大數(shù)據(jù)分析的很多

皆在整合和優(yōu)化各種資源并通過網(wǎng)技術(shù)都來自于云計算，云計算的分

絡(luò)已服務(wù)的方法，廉價地供應應用布式存儲和管理系統(tǒng)供應了海量數(shù)

戶；物聯(lián)網(wǎng)的發(fā)展目標是實現(xiàn)嗚嗚據(jù)的存儲和管理實力，沒有這些云

向量，應用創(chuàng)新是物聯(lián)網(wǎng)的核心計算技術(shù)作為支撐，大數(shù)據(jù)分析就

無從談起。物聯(lián)網(wǎng)的傳感器源源不

斷的產(chǎn)生大量數(shù)據(jù)，構(gòu)成了大數(shù)據(jù)

的重要數(shù)據(jù)來源，物聯(lián)網(wǎng)須要借助

于云計算和大數(shù)據(jù)技術(shù)，實現(xiàn)物聯(lián)

網(wǎng)大數(shù)據(jù)的存儲、分析和處理。

其次章

1.試述和谷歌的、等技術(shù)之間的關(guān)系

答：的核心是分布式文件系統(tǒng)和，是谷歌文件系統(tǒng)的開源實現(xiàn)，是針對谷歌的開源實現(xiàn)。

2.試述具有哪些特性。

答：高牢靠性，高效性，高可擴展性，高容錯性，成本低，運行在平臺，支持多種編程

語言

3.試述在各個領(lǐng)域的應用狀況。

答：2007年，雅虎在總部建立了M45——一個包含了4000個處理器和1.5容量的集群

系統(tǒng)；

主要將平臺用于日志處理，舉薦系統(tǒng)和數(shù)據(jù)倉庫等方面；

百度主要運用于日志的存儲和統(tǒng)計、網(wǎng)頁數(shù)據(jù)的分析和挖掘、商業(yè)分析、在線數(shù)據(jù)反饋、

網(wǎng)頁聚類等。

4.試述的項目結(jié)構(gòu)以與每個部分的具體功能。

是為其他子項目供應支持的常用工具，主要包括文件系統(tǒng)、和中行化庫

是為的子項目，用于數(shù)據(jù)序列化的系統(tǒng)，供應了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二

進制數(shù)據(jù)格式、存儲持續(xù)性數(shù)據(jù)的文件集、遠程調(diào)用的功能和簡潔的動態(tài)語言集勝利能。

是項目的兩個核心之一，它是針對谷歌文件系統(tǒng)的開源實現(xiàn)。

是一個提高牢靠性、高性能、可伸縮、實時讀寫、分布式的列式數(shù)據(jù)庫，一般采納作為

其底層數(shù)據(jù)存儲。

是針對谷歌的開源實現(xiàn)，用于大規(guī)模數(shù)據(jù)集的并行運算。

是針對谷歌的一個開源實現(xiàn)，是高效和牢靠的協(xié)同工作系統(tǒng)，供應分布式鎖之類的基本

服務(wù)，用于構(gòu)建分布式應用，減輕分布式應用程序所擔當?shù)膮f(xié)調(diào)任務(wù)。

是一個基于的數(shù)據(jù)倉庫工具，可以用于對文件中的數(shù)據(jù)集進行數(shù)據(jù)整理、特別查詢和分

布存儲。

是一種數(shù)據(jù)流語言和運行環(huán)境，適合于運用和平臺上查詢大型半結(jié)構(gòu)化數(shù)據(jù)集。

可以改進數(shù)據(jù)的互操作性，主要用來在H大哦哦哦協(xié)作關(guān)系數(shù)據(jù)庫之間交換數(shù)據(jù)。

是一個開源的、用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，可以將各種類型的數(shù)據(jù)收集

成適合處理的文件，并保存在中供進行各種操作。

第三章

1.試述分布式文件系統(tǒng)設(shè)計的需求。

設(shè)計需求含義的實現(xiàn)狀況

透亮性具備訪問透亮性、位置只能供應肯定程度的訪

透亮性、性能、和伸縮問透亮性，完全支持位

透亮性置透亮性、性能和伸縮

透亮性

并發(fā)限制客戶端對于文件的讀寫機制特別簡潔，任何時

不應當影響其他客戶端候都只允許有一個程序

對同一個文件的讀寫寫入某個文件

文件復制一個文件可以擁有不同采納了多副本機制

位置的多個副本

硬件和操作系統(tǒng)的異構(gòu)可以在不同的操作系統(tǒng)采納語言開發(fā)，具有很

性和計算機上實現(xiàn)同樣的好的跨平臺實力

客戶端和服務(wù)端程序

可伸縮性支持節(jié)點的動態(tài)加入或建立在大規(guī)模廉價機器

退出上的分布式文件系統(tǒng)集

群，具有很好的伸縮性

容錯保證文件服務(wù)在客戶端具有多副本機制和故障

或者服務(wù)端出現(xiàn)問題的自動檢測、復原機制

時候能正常運用

平安保證系統(tǒng)的平安性平安性較弱

2.分布式文件系統(tǒng)是如何實現(xiàn)較高水平擴展的？

分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計算機集群中的多個節(jié)點構(gòu)成的，這些節(jié)點分為兩類,

一類叫“主節(jié)點，，（）或者也被稱為“名稱結(jié)點”（），另一類叫“從節(jié)點”（：）或者也

被稱為“數(shù)據(jù)節(jié)點”（）

3.試述中的塊和一般文件系統(tǒng)中的塊的區(qū)分。

答：在傳統(tǒng)的文件系統(tǒng)中，為了提高磁盤讀寫效率，一般以數(shù)據(jù)塊為單位，惡如不是以

字節(jié)為單位。

中的塊，默認一個塊大小為64,而中的文件會被拆分成多個塊，每個塊作為獨立的

單元進行存儲。在塊的大小的設(shè)計上明顯要大于一般文件系統(tǒng)。

4.試述中的名稱節(jié)點和數(shù)據(jù)節(jié)點的具體功能。

答：名稱節(jié)點負責管理分布式文件系統(tǒng)系統(tǒng)的命名空間，記錄分布式文件系統(tǒng)中的每個

文件中各個塊所在的數(shù)據(jù)節(jié)點的位置信息；

數(shù)據(jù)節(jié)點是分布式文件系統(tǒng)的工作節(jié)點，負責數(shù)據(jù)的存儲和讀取，會依據(jù)客戶端或

者是名稱節(jié)點的調(diào)度來進行數(shù)據(jù)的存儲和檢索，并向名稱節(jié)點定期發(fā)送自己所存儲的塊

的列表。

<>顯示?指定的文件的具體信息

<>將?指定的文件的內(nèi)容輸出到標準輸出

<>創(chuàng)建?指定的文件夾

□口<><>復制?指定的文件到本地文件系統(tǒng)?指定的文件或文件夾。選項復制校

驗失敗的文件。運用選項莫制文件以與信息。

<><>從本地文件系統(tǒng)中復制。指定的單個或多個源文件到<>指定的目標文件系統(tǒng)中.

也支持從標準輸入()中讀取輸入寫入目標文件系統(tǒng)。

<>刪除?指定的文件夾與其的全部文件

第四章

1.試述在體系架構(gòu)中與其他組成部分的相互關(guān)系。

答：利用來處理中的海量數(shù)據(jù)，實現(xiàn)高性能計算；利用作為協(xié)同服務(wù)，實現(xiàn)穩(wěn)定服務(wù)

和失敗復原；運用作為高牢靠的底層存儲，利用廉價集群供應海量數(shù)據(jù)存儲實力；為的

底層數(shù)據(jù)導入功能，和為供應了高層語言支持，是的開源實現(xiàn)。

2.請闡述和的底層技術(shù)的對應關(guān)系

答：

項目

文件存儲系統(tǒng)

海量數(shù)據(jù)處理

協(xié)同服務(wù)管理

3.請闡述和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)分

答.

區(qū)分傳統(tǒng)關(guān)系數(shù)據(jù)庫

數(shù)據(jù)類型關(guān)系模型數(shù)據(jù)模型

數(shù)據(jù)操作插入、刪除、更新、查插入、查詢、刪除、清

詢、多表連接空，無法實現(xiàn)表與表之

間關(guān)聯(lián)

存儲模式基于行模式存儲，元組基于列存儲，每個列族

或行會被連續(xù)地存儲在都由幾個文件保存，不

磁盤也中同列族的文件是分別的

數(shù)據(jù)索引針對不同列構(gòu)建困難的只有一個行鍵索引

多個索引

數(shù)據(jù)維護用最新的當前值去替換更新操作不會刪除數(shù)據(jù)

記錄中原來的舊值舊的版本，而是生成一

個新的版本

可伸縮性很難實現(xiàn)橫向擴展，縱輕易地通過在集群中增

向擴展的空間也比較有加或者削減硬件數(shù)量來

限實現(xiàn)性能的伸縮

4.有哪些類型的訪問接口？

答：供應了，，，，，等訪問接口。

5.請以實例說明數(shù)據(jù)模型。

列族

答：列限定符

//

201505001

201505002

201505003

，詈1

單元格

行鍵單元格有兩個時間戳1和2

每個時間戳對應一個數(shù)據(jù)版本

6.分別說明中行鍵、列鍵和時間戳的概念

⑴行鍵是唯一的，在一個表里只出現(xiàn)一次，否則就是在更新同一行，行鍵可以是隨意

的字節(jié)數(shù)組。

⑵列族須耍在創(chuàng)建表的時候就定義好，數(shù)量也不宜過多。列族名必需由可打印字符組

成，創(chuàng)建表的時候不須要定義好列。

⑶時間戳，默認由系統(tǒng)指定，用戶也可以顯示設(shè)置。運用不同的時間戳來區(qū)分不同的

版本。

7.請舉個實例來闡述的概念視圖和物理視圖的不同

數(shù)據(jù)概念視圖

行鍵時間戳列族列族

avT5

T3”，，

a，：T3

T2

T1"???.”

數(shù)據(jù)物理視圖

行鍵時間戳列族

“外T5

T4”，，

行鍵時間戳列族

T3

T2

T1

在的概念視圖中，一個表可以視為一個稀疏、多維的映射關(guān)系。

在物理視圖中，一個表會依據(jù)屬于同一列族的數(shù)據(jù)保存在一起

8.試述各功能組建與其作用

(1)庫函數(shù)：鏈接到每個客戶端；

(2)一個主服務(wù)器：主服務(wù)器主要負責表和的管理工作；

(3)很多個服務(wù)器：服務(wù)器是中最核心的模塊，負責維護安排給自己的，并響應用戶

的讀寫懇求

9.請闡述的數(shù)據(jù)分區(qū)機制。

答：采納分區(qū)存儲，一個大的表會被分拆很多個，這些會被分發(fā)到不同的服務(wù)器上實

現(xiàn)分布式存儲。

10.中的分區(qū)是如何定位的。

通過構(gòu)建的映射表的每個條目包含兩項內(nèi)容，一個是標識符，另一個是服務(wù)器標識，

這個條目就標識和服務(wù)器之間的對應關(guān)系，從而就可以知道某個被保存在哪個服務(wù)器中。

11.試述的三層結(jié)構(gòu)中各層次的名稱和作用O

層次名稱作用

第一層文件記錄了表的位置信息

其次層表記錄了.表的位置信息

表只能有一個。通過表，就可以訪問,表中的數(shù)據(jù)

第三層.表記錄了用戶數(shù)據(jù)表的位置信息，.表可以有多個，保存了

中全部用戶數(shù)據(jù)表的位置信息

12.請闡述的三層結(jié)構(gòu)下，客戶端是如何訪問到數(shù)據(jù)的。

答：首先訪問，獲得表的位置信息，然后訪問表，獲得.表的信息，接著訪問.表，找到

所需的具體位于哪個服務(wù)器，最終才會到該服務(wù)器讀取數(shù)據(jù)。

13.試述系統(tǒng)基本架構(gòu)以與每個組成部分的作用。

(1)客戶端

客戶端包含訪問的接口，同時在緩存中維護著已經(jīng)訪問過的位置信息，用來加快后

續(xù)數(shù)據(jù)訪問過程

(2)服務(wù)器

可以幫助選舉出一個作為集群的總管，并保證在任何時刻總有唯一一個在運行，這

就避開了的“單點失效”問即

(3)

主服務(wù)器主要負責表和的管理工作：管理用戶對表的增加、刪除、修改、查詢等操

作；實現(xiàn)不同服務(wù)器之間的負載均衡；在分裂或合并后，負責重新調(diào)整的分布；對發(fā)生

故障失效的服務(wù)器上的進行遷移

(4)服務(wù)器

服務(wù)器是中最核心的模塊，負責維護安排給自己的，并響應用戶的讀寫懇求

14.請闡述服務(wù)器向文件系統(tǒng)中讀寫數(shù)據(jù)的基本原理

服務(wù)器內(nèi)部管理一系列對象和一個文件，其中，是磁盤上面的記錄文件，它響錄著全部

的更新操作。每個對象乂是由多個組成的，每個對象了表中的一個列族的存儲。每個乂

包含了和若干個，其中，是在內(nèi)存中的緩存。

15.試述的工作原理

每個對應了表中的一個列族的存儲。每個包括一個緩存和若干個文件。是排序的內(nèi)存緩

沖區(qū)，當用戶寫入數(shù)據(jù)時，系統(tǒng)首先把數(shù)據(jù)放入緩存，當緩存滿時，就會刷新到磁盤中

的一個文件中，當單個文件大小超過肯定閾值時，就會觸發(fā)文件分裂操作。

16.試述的工作原理

答：系統(tǒng)為每個服務(wù)器配置了一個文件，它是一種預寫式日志（），用戶更新數(shù)

據(jù)必需首先寫入日志后，才能寫入緩存，并且，直到緩存內(nèi)容對應的日志已經(jīng)寫入磁盤,

該緩存內(nèi)容才能被刷寫到磁盤。

17.在中，每個服務(wù)器維護一個，而不是為每個都單獨維護一個。請說明這種做法的優(yōu)

缺點。

優(yōu)點：多個對象的更新操作所發(fā)生的日志修改，只須要不斷把日志記錄追加到單

個日志文件中，不須要同時打開、寫入到多個日志文件中。

缺點：假如一個服務(wù)器發(fā)生故障，為了復原其上次的對象，須要將服務(wù)器上的對象,

須要將服務(wù)器上的依據(jù)其所屬的對象進行拆分，然后分發(fā)到其他服務(wù)器上執(zhí)行復原操作。

18.當一臺服務(wù)器意外終止時，如何發(fā)覺這種意外終止狀況？為了夏原這臺發(fā)生意外的

服務(wù)器卜的應當做出哪些處理（包括如何運用進行復原）？

會實時監(jiān)測每個服務(wù)器的狀態(tài)，當某個服務(wù)器發(fā)生故障時，會通知。

首先會處理該故障服務(wù)器上面遺留的文件，這個遺留的文件中包含了來自多個對象

的日志記錄。

系統(tǒng)會依據(jù)每條日志記錄所屬的對象對數(shù)據(jù)進行拆分，分別放到相應對象的書目下,

然后，再將失效的重新安排到可用的服務(wù)器中，并把與該對象相關(guān)的日志記錄也發(fā)送給

相應的服務(wù)器。

服務(wù)器領(lǐng)取到安排給自己的對象以與與之相關(guān)的日志記錄以后，會重新做一遍日志

記錄中的各種操作，把日志記錄中的數(shù)據(jù)寫入到緩存中，然后，刷新到磁盤的文件中，

完成數(shù)據(jù)復原。

第五章

1.如何精確理解的含義？

是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)設(shè)計方式，是對非關(guān)系型數(shù)據(jù)庫的一類統(tǒng)稱,

它采納的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非

關(guān)系模型。

2.試述關(guān)系數(shù)據(jù)庫在哪些方面無法滿族2.0應用的需求。

關(guān)系數(shù)據(jù)庫已經(jīng)無法滿意2.0的需求。主要表現(xiàn)在以下幾個方面:

（1）無法滿意海量數(shù)據(jù)的管理需求

（2）無法滿意數(shù)據(jù)高并發(fā)的需求

（3）無法滿意高可擴展性和高可用性的需求

3.請比較數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的優(yōu)缺點。

比較標準備注

數(shù)據(jù)庫原理完全支持部分支持有關(guān)系代數(shù)理論

作為基礎(chǔ)

沒有統(tǒng)一的理論

基礎(chǔ)

數(shù)據(jù)規(guī)模大超大很難實現(xiàn)橫向擴

展，縱向擴展的

空間也比較有

限，性能會隨著

數(shù)據(jù)規(guī)模的增大

而降低

可以很簡潔通過

添加更多設(shè)備來

支持更大規(guī)模的

數(shù)據(jù)

數(shù)據(jù)庫模式固定敏捷須要定義數(shù)據(jù)庫

模式，嚴格遵守

數(shù)據(jù)定義和相關(guān)

約束條件

不存在數(shù)據(jù)庫模

式，可以自由敏

捷定義并存儲各

種不同類型的數(shù)

據(jù)

查詢效率快可以實現(xiàn)高效的借助于索引機制

簡潔查詢，但是可以實現(xiàn)快速查

不具備高度結(jié)構(gòu)詢（包括記錄查

化查詢等特性，詢和范圍查詢）

困難查詢的性能

很多數(shù)據(jù)庫沒有

不盡人意

面對困難查詢的

索引，雖然可以

運用來加速查

詢，但是，在困

難查詢方面的性

能仍舊不如

一樣性強一樣性弱一樣性嚴格遵守事務(wù)模

型，可以保證事

務(wù)強一樣性

很多數(shù)據(jù)庫放松

了對事務(wù)四性的

要求，而是遵守

模型，只能保證

最終一樣性

數(shù)據(jù)完整性簡潔實現(xiàn)很難實現(xiàn)任何一個都可以

很簡潔實現(xiàn)數(shù)據(jù)

完整性，比如通

過主鍵或者非空

約束來實現(xiàn)實體

完整性，通過主

鍵、外鍵來實現(xiàn)

參照完整性，通

過約束或者觸發(fā)

器來實現(xiàn)用戶自

定義完整性

但是，在數(shù)據(jù)庫

卻無法實現(xiàn)

擴展性一般好很難實現(xiàn)橫向擴

展，縱向擴展的

空間也比較有限

在設(shè)計之初就充

分考慮了橫向擴

展的需求，可以

很簡潔通過添加

廉價設(shè)備實現(xiàn)擴

展

可用性好很好在任何時候都以

保證數(shù)據(jù)一樣性

為優(yōu)先目標，其

次才是優(yōu)化系統(tǒng)

性能，隨著數(shù)據(jù)

規(guī)模的增大，為

了保證嚴格的一

樣性，只能供應

相對較弱的可用

性

大多數(shù)都能供應

較高的可用性

標準化是否已經(jīng)標準化()

還沒有行業(yè)標

準，不同的數(shù)據(jù)

庫都有自己的查

詢語言，很難規(guī)

范應用程序接口

認為：缺乏統(tǒng)一

查詢語言，將會

拖慢發(fā)展

技術(shù)支持高低經(jīng)過幾十年的發(fā)

展，已經(jīng)特別成

熟，等大型廠商

都可以供應很好

的技術(shù)支持

在技術(shù)支持方面

仍舊處于起步階

段，還不成熟，

缺乏有力的技術(shù)

支持

可維護性困難困難須要特地的數(shù)據(jù)

庫管理員()維護

數(shù)據(jù)庫雖然沒有

困難，也難以維

護

5.試述數(shù)據(jù)庫的四大類型

答：鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫

6.試述鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫的適用場合和優(yōu)缺點。

數(shù)據(jù)庫適用場合優(yōu)點缺點

鍵值數(shù)據(jù)庫通過鍵而是通過擴展性好，敏捷無法存儲結(jié)構(gòu)化

值來查的業(yè)務(wù)性好，大量寫操信息，條件查詢

作時性能高效率較低

列族數(shù)據(jù)庫不須要事務(wù)支持查找速度快，可功能較少，大都

的情形擴展性強，簡潔不支持強事務(wù)一

進行分布式擴樣性

展，困難性低

文檔數(shù)據(jù)庫只在相同的文檔性能好（高并

上添加事務(wù)發(fā)），敏捷性

缺乏統(tǒng)一的查詢

高，困難性低，

語法

數(shù)據(jù)結(jié)構(gòu)敏捷

供應嵌入式文檔

功能，將常常查

詢的數(shù)據(jù)存儲在

同一個文檔中

既可以依據(jù)鍵來

構(gòu)建索引，也可

以依據(jù)內(nèi)容構(gòu)建

索引

圖形數(shù)據(jù)庫具有高度相互關(guān)敏捷性高，支持困難性高，只能

聯(lián)關(guān)系的數(shù)據(jù)困難的圖形算支持肯定的數(shù)據(jù)

法，可用于構(gòu)建規(guī)模

困難的關(guān)系圖譜

7.試述理論的具體含義。

答：所謂的指的是：

C()：一樣性，是指任何一個讀操作總是能夠讀到之前完成的寫操作的結(jié)果，也就是

在分布式環(huán)境中，多點的數(shù)據(jù)是一樣的，或者說，全部節(jié)點在同一時間具有相同的數(shù)據(jù)

A:()：可用性，是指快速獲得數(shù)據(jù)，可以在確定的時間內(nèi)返回操作結(jié)果，保證每個懇

求不管勝利或者失敗都有響應；

P()：分區(qū)容忍性，是指當出現(xiàn)網(wǎng)絡(luò)分區(qū)的狀況時(即系統(tǒng)中的一部分節(jié)點無法和

其他節(jié)點進行通信)，分別的系統(tǒng)也能夠正常運行，也就是說，系統(tǒng)中隨意信息的丟失

或失敗不會影響系統(tǒng)的接著運作。

8.請舉例說明不同產(chǎn)品在設(shè)計時是如何運用理論的。

CP

選擇CP,放棄A

Neo4J,Bigtable,MongoDB,Hbase,Hypertable,Redis

9.試述數(shù)據(jù)庫的四性的含義

1.原子性（）

指事務(wù)必需是原子工作單元，對于其數(shù)據(jù)修改，要么全都執(zhí)行，要么全都不執(zhí)行。

2.一樣性（）

指事務(wù)在完成時，必需使全部的數(shù)據(jù)都保持一樣狀態(tài)。

4.隔離性（）

指并發(fā)事務(wù)所做的修改必需與其他并發(fā)事務(wù)所做的修改隔離。

5.長久性。

指事務(wù)完成之后，它對于系統(tǒng)的影響是永久性的，該修改即使出現(xiàn)致命的系統(tǒng)故障

也將始終保持。

10.試述的具體含義

的基本含義是基本可用（）、軟狀態(tài)（）和最終一樣性（）

11.請說明軟狀態(tài)、無狀態(tài)、硬狀態(tài)的具體含義。

“軟狀態(tài)（）”是與“硬狀態(tài)（）”相對應的一種提法。數(shù)據(jù)庫保存的數(shù)據(jù)是“硬

狀態(tài)”時，可以保證數(shù)據(jù)一樣性，即保證數(shù)據(jù)始終是正確的?！败洜顟B(tài)”是指狀態(tài)可以

有一段時間不同步，具有肯定的滯后性。

12.什么是最終一樣性？

最終一樣性依據(jù)更新數(shù)據(jù)后各進程訪問到數(shù)據(jù)的時間和方式的不同，又可以區(qū)分為:

（1）會話一樣性：它把訪問存儲系統(tǒng)的進程放到會話（）的上下文中，只要會話

還存在，系統(tǒng)就保證“讀己之所寫”一樣性。假如由于某些失敗情形令會話終止，就要

建立新的會話，而且系統(tǒng)保證不會持續(xù)到新的會話；

(2)單調(diào)寫一樣性：系統(tǒng)保證來自同一個進程的寫操作依次執(zhí)行。系統(tǒng)必需保證

這種程度的一樣性，否則就特別難以編程了

(3)單調(diào)讀一樣性：假如進程己經(jīng)看到過數(shù)據(jù)對象的某個值，那么任何后續(xù)訪問

都不會返回在那個值之前的值

(4)因果一樣性：假如進程A通知進程B它已更新了一個數(shù)據(jù)項，那么進程B的

后續(xù)訪問將獲得A寫入的最新值。而與進程A無因果關(guān)系的進程C的訪問，仍舊遵守一

般的最終一樣性規(guī)則

(5)“讀己之所寫”一樣性：可以視為因果一樣性的一個特例。當進程A自己執(zhí)

行一個更新操作之后，它自己總是可以訪問到更新過的值，絕不會看到舊值

13.試述不一樣性窗口的含義。

全部后續(xù)的訪問都可以讀取到操作寫入的最新值。從操作完成到后續(xù)訪問可以最終讀取

到寫入的最新值，這之間的時間間隔稱為“不一樣性窗口”。

14最終一樣性依據(jù)更新數(shù)據(jù)后各進程訪問到數(shù)據(jù)的時間和方式的不同，又可以分為哪

些不同類型的一樣性？

會話一樣性、單調(diào)寫一樣性、單調(diào)寫一樣性、因果一樣性和“讀己之所寫”一樣性。

14.什么是數(shù)據(jù)庫？

是對各種新的可擴展、高性能數(shù)據(jù)庫的簡稱，這類數(shù)據(jù)庫不僅具有對海量數(shù)據(jù)的存

儲管理實力，還保持了傳統(tǒng)數(shù)據(jù)庫支持和特性。

弟八草

1.試述云數(shù)據(jù)庫的概念。

答：云數(shù)據(jù)庫是部署和虛擬化在云計算環(huán)境中的數(shù)據(jù)庫。云數(shù)據(jù)庫是在云計算的大背景

下發(fā)展起來的一種新興的共享基礎(chǔ)架構(gòu)的方法，它極大地增加了數(shù)據(jù)庫的存儲實力，消

退了人員、硬件、軟件的重復配置，讓軟、硬件升級變得更加簡潔，同時，也虛擬化了

很多后端功能。云數(shù)據(jù)庫具有高可擴展性、高可用性、采納多租形式和支持資源有效分

發(fā)等特點。

2.與傳統(tǒng)的軟件運用方式相比，云計算這種模式具有哪些明顯的優(yōu)勢？

表傳筑的軟件使用方式和云計策方式的比較

項目傳統(tǒng)方式云尸算方式

自己投資建設(shè)機廟.搭建硬件平臺.購買軟

次得軟件的方式直接購買云計算廠商的軟件服務(wù)

件在本地安裝

軟件運行在云計算廠商服務(wù)舞上,用戶在

使用方式本地安裝.本地使用任何行網(wǎng)絡(luò)接人的地方都可以通過⑼絡(luò)便

用軟件服務(wù)

需要一次性支付較大的旬期投入成本.包括零成本投人就可以。.即獲得所需的IT資

付費方式建設(shè)機啟、配置硬件，購買各種軟件（操作源.只需要為所使用的資源付費.多用多

系統(tǒng)、殺毒、業(yè)務(wù)軟件等）付.少用少付,極打廉價

維護成本需要自已花錢刪請々業(yè)技術(shù)人員維護零成本.所有維護匚作由云計算廠商負衣

需要耗費較長時間建設(shè)丸房,購買和安裝調(diào)

次和IT資源的速度隨時可用,購買服務(wù)后立即可用

狀設(shè)備系統(tǒng)

云計算廠商建設(shè)好云計算服務(wù)平竹后,同

共享方式臼己建設(shè).白給自足

時為眾名用戶提供限務(wù)

出現(xiàn)病毒、系統(tǒng)朋潰等問題時,需要自己聘

出現(xiàn)任何系統(tǒng)問題時.公計算廠商都會可

請IT人員維護.很多普通企業(yè)的n?人員技

堆修速度借其V業(yè)化團隊給出及時響應,確保云服

術(shù)能力有限,碰到一些問題認整需要尋找外

務(wù)的正常.使用

援.通常不能上即解決

利刖率較高.林天都球以為大殳用戶提供

利用率較低,投入大城資金建設(shè)的IT系統(tǒng).

服務(wù)；當存在閑置資源時.云計算管理系

資源利用率往往只供企業(yè)自己使用,當企業(yè)不需要那么

統(tǒng)會自動關(guān)閉和退出多余優(yōu)源；當需要增

多n■資源時,就會產(chǎn)生資源浪或

抑資源時.又會自動后動和慵人相關(guān)資源

企業(yè)無論搬遷到哪里.都可以通過河絡(luò)乘

當企業(yè)搬家時.原來的UUii設(shè)施就要作廢.新零成本立即狹徨石計算服務(wù).因為.資

用戶撤遷時的成本

需要在新地方重新投入較大成本建設(shè)機房源在玄端,不在用戶端.用戶撮遷不會影

響到IT資源的分布

企業(yè)自已建設(shè)的IT基就設(shè)施的眼分能力通

常是有上限的.當企業(yè)業(yè)務(wù)址突然增加時.云計算廠商可以為企業(yè)提供近乎無限的IT

現(xiàn)行的IT基礎(chǔ)設(shè)地無法立即滿足需求,就資源（存儲和計算等資源，用戶姐用多少

賁Si可拓展性

需要花費時間和金錢購買和安裝新設(shè)備；當都可以立即獲得.當用戶不使用時.只需

業(yè)務(wù)高峰過去時.多余的設(shè)備就會閑置,造退訂多余資源.不存在任何貨源閑置問題

成資源浪費

3.云數(shù)據(jù)庫有哪些特性?

答：1）動態(tài)可擴展2）高可用性3）較低的運用代價

4）易用性5）高性能6）免維護7）平安

4.試述云數(shù)據(jù)庫的影響。

答：在大數(shù)據(jù)時代，每個企業(yè)幾乎每天都在不斷產(chǎn)生大量的數(shù)據(jù)。企業(yè)類型不同，對

于存儲的需求也千差萬別，而云數(shù)據(jù)庫可以很好地滿意不同企業(yè)的特性化存儲需求。

首先，云數(shù)據(jù)庫可以滿意大企業(yè)的海量數(shù)據(jù)存儲需求。云數(shù)據(jù)庫在當前數(shù)據(jù)爆炸

的大數(shù)據(jù)時代具有廣袤的應用前景。傳統(tǒng)的關(guān)系數(shù)據(jù)庫難以水平擴展，相本無法存儲如

此海量的數(shù)據(jù)。因此，具有高可擴展性的云數(shù)據(jù)庫就成為企業(yè)海量數(shù)據(jù)存儲管理的很好

選擇。

其次，云數(shù)據(jù)庫可以滿意中小企業(yè)的低成本數(shù)據(jù)存儲需求。中小企業(yè)在基礎(chǔ)設(shè)

施方面的投人比較有限，特別渴望從第三方便利、快捷、廉價地獲得數(shù)據(jù)庫服務(wù)。云數(shù)

據(jù)庫采納多租戶方式同時為多個用戶供應服務(wù)，降低了單個用戶的運用成本，而且用戶

運用云數(shù)據(jù)庫服務(wù)通常按需付費，不會奢侈資源造成額外支出，因此，云數(shù)據(jù)庫運用成

本很低，對于中小企業(yè)而言可以大大降低企業(yè)的信息化門檻，讓企業(yè)在付出較低成本的

同時，獲得優(yōu)質(zhì)的專業(yè)級數(shù)據(jù)庫服務(wù),從而有效提升企業(yè)信息化水平。

另外，云數(shù)據(jù)庫可以滿意企業(yè)動態(tài)變更的數(shù)據(jù)存儲需求。企業(yè)在不同時期須要存

儲的數(shù)據(jù)量是不斷變更的，有時增加，有時削減。在小規(guī)模應用的狀況下，系統(tǒng)負載的

變更可以由系統(tǒng)空閑的多余資源來處理,但是，在大規(guī)模應用的狀況下，傳統(tǒng)的關(guān)系數(shù)

據(jù)庫由于其伸縮性較差，不僅無法滿意應用需求，而且會給企?業(yè)帶來昂揚的存儲成本和

管理開銷。而云數(shù)據(jù)庫的良好伸縮性，可以讓企業(yè)在需求增加時馬上獲得數(shù)據(jù)庫實力的

提升,在需求削減時馬上釋放多余的數(shù)據(jù)庫實力，較好地滿意企業(yè)的動態(tài)數(shù)據(jù)存儲需求。

5.舉例說明云數(shù)據(jù)庫廠商與其代表性產(chǎn)品。

答：云數(shù)據(jù)庫供應商主要分為三類。

1）傳統(tǒng)的數(shù)據(jù)庫廠商，如、、2和等。

2）涉足數(shù)據(jù)庫市場的云供應商，如、！、阿里、百度、騰訊等。

3）新興廠商，如和等。

表6?3云數(shù)據(jù)庫產(chǎn)品

企業(yè)產(chǎn)品

AmazonDynamo.SimplcDB,RDS

GoogleGoogleCloudSQL

MicrosoftMicrosoftSQLAzure

OracleOracleCloud

Yahoo!PNUTS

VcrlicaAnalyticDatabasev3.0fbrtheCloud

EnerpriseDBPostgresPlusintheCloud

阿里阿里云RDS

百度百度云數(shù)據(jù)庫

NiR騰訊云數(shù)據(jù)庫

7.試述系統(tǒng)的功能。

答：

系統(tǒng)是構(gòu)建在一個大的集群之上的，通過多個組件的協(xié)同作業(yè)，整個系統(tǒng)實現(xiàn)了

對用戶透亮的容災、讀寫分別、分庫分表、資源管理、資源調(diào)度、資源隔離和數(shù)據(jù)平

安功能。

1.容災

云數(shù)據(jù)庫必需向用戶供應始終可川的數(shù)據(jù)庫連接，當實例發(fā)生故障時，系統(tǒng)必需自

動執(zhí)行故障復原，全部故障處理過程對于用戶而言是透亮的，用戶不會感知到后臺發(fā)生

的一切。

為了實現(xiàn)容災，系統(tǒng)會為每個用戶創(chuàng)建兩個實例，一個是主庫，一個是從庫，而且,

這兩個實例之間相互把對方設(shè)置為備份機，隨意一個實例上面發(fā)生的更新都會復制到

對方。同時，服務(wù)器可以保證只向主庫寫人數(shù)據(jù)。

2.讀寫分別

由于每個用戶都有兩個實例，即主庫和從庫，因此，可以充分利用主從庫實現(xiàn)用戶

讀寫操作的分別，實現(xiàn)負載均衡。系統(tǒng)實現(xiàn)了對于用戶透亮的讀寫分別功能，當整個功

能被開啟時，負責向用戶供應訪問數(shù)據(jù)庫服務(wù)的服務(wù)器，就會對用戶發(fā)起的語句進

行解析，假如屬于寫操作,就干脆發(fā)送到主庫，假如是讀操作，就會被均衡地發(fā)送到主

庫和從庫上執(zhí)行。

3.分庫分表

支持對用戶透亮的分庫分表（）。但是，用戶在創(chuàng)建賬號的時候須要指定類型為多

實例，并且設(shè)置實例的個數(shù)，系統(tǒng)會依據(jù)用戶設(shè)置來創(chuàng)建多組實例。除此以外，用戶還

須要自己設(shè)定分庫分表規(guī)則，如須要確定分區(qū)字段，也就是依據(jù)哪個字段進行分庫分表,

還要確定分區(qū)字段里的值如何映射到不同的實例上。

4.資源管理

系統(tǒng)采納資源池機制來管理數(shù)據(jù)庫服務(wù)器，的、內(nèi)存、磁盤等“算資源，全部的II

算資源都放在資源池內(nèi)進行統(tǒng)一安排，資源池是為實例安排資源的基本單位。整個集

群中的全部服務(wù)器會依據(jù)其機型、所在機房等因素被劃分為多個資源池，每臺服務(wù)器會

被加人到相應的資源池。在資源池劃分的基礎(chǔ)上，還在每臺服務(wù)器內(nèi)部采納將資源進一

步地細化，從而可以限制每個進程組運用資源的上限，同時保證進程組之間相互隔離。

5.資源調(diào)度

系統(tǒng)中有3種規(guī)格的用戶，分別是數(shù)據(jù)量和流量比較小的用戶、中等規(guī)模用戶以與

須要分庫分表的用戶。多個小規(guī)模用戶可以共享同一個實例。對于中等規(guī)模的用戶，每

個用戶獨占個實例。用戶可以依據(jù)自己的需求來調(diào)整內(nèi)存空間和磁盤空間，假如用戶

須要更多的資源，就可以遷移到資源有空閑或者具有更高配置的服務(wù)器上對于分庫分表

的用戶，會占有多個獨立的實例，這些實例既可以共存在同一臺物理機上，也可以每

個實例獨占一臺物理機。

通過實例的遷移來實現(xiàn)資源調(diào)度。借助于阿里集團中間件團隊開發(fā)的愚公系

統(tǒng)，可以實現(xiàn)在不停機的狀況下動態(tài)擴容、縮容和遷移。

6.資源隔離

當多個用戶共享同一個實例或者多個實例共存在同一個物理機上時，為了愛護

用戶應用和數(shù)據(jù)的平安，必需實現(xiàn)資源隔離，否則，某個用戶過多消耗系統(tǒng)資源會嚴峻

影響到其他用戶的操作性能。

7.數(shù)據(jù)平安

數(shù)據(jù)平安是讓用戶放心運用云數(shù)據(jù)庫產(chǎn)品的關(guān)鍵，尤其是企業(yè)用戶，數(shù)據(jù)庫中存

放了很多業(yè)務(wù)數(shù)據(jù)，有些屬于商業(yè)機密，一旦泄露，會給企業(yè)造成損失。系統(tǒng)設(shè)計了

多種機制來保證數(shù)據(jù)平安。

1）數(shù)據(jù)庫連接。

2）數(shù)據(jù)訪問白名單。

3）記錄用戶操作日志。

4）攔截。

13.系統(tǒng)是如何保障數(shù)據(jù)平安的？

答：

1）數(shù)據(jù)庫連接。（）是為網(wǎng)絡(luò)通信供應平安與數(shù)據(jù)完整性的一種平安協(xié)議，

它在傳輸層對網(wǎng)絡(luò)連接進行加密。服務(wù)器實現(xiàn)了完整的客戶端服務(wù)器協(xié)議，可以

與客戶端之間建立數(shù)據(jù)庫連接。

2）數(shù)據(jù)訪問白名單?？梢园言试S訪問云數(shù)據(jù)庫的地址放入“白名單”，只有白名

單內(nèi)的地址才能訪問，其他地址的訪問都會被拒絕，從而進一步保證賬戶平安。

3）記錄用戶操作日志。用戶的全部操作記錄都會被記錄到日志分析服務(wù)器，通過

檢查用戶操作記錄，可以發(fā)覺隱藏的平安漏洞。

4）攔截。服務(wù)器可以依據(jù)要求攔截多種類型的語句，比如全表掃描語句〃*”。

15.簡述中實例與數(shù)據(jù)庫的概念。

答：實例或簡稱“實例”，是用戶購買服務(wù)的基本單位。在實例中可以創(chuàng)建多個數(shù)

據(jù)庫，可以運用常見的數(shù)據(jù)庫客戶端連接、管理與運用數(shù)據(jù)庫?？梢酝ㄟ^管理限制臺

或來創(chuàng)建、修改和刪除數(shù)據(jù)庫。各實例之間相互獨立、資源隔離，相互之間不存在、

內(nèi)存、等搶占問題。但是，同一實例中的不同數(shù)據(jù)庫之間是資源共享的。每個實例擁有

其自己的特性，如數(shù)據(jù)庫類型、版本等，系統(tǒng)有相應的參數(shù)來限制實例行為。用戶所購

買實例的性能，取決于購買實例時所選擇的配置，可供用戶選擇的硬件配置項為內(nèi)存和

磁盤容量。

數(shù)據(jù)庫或簡稱“數(shù)據(jù)庫”，是用戶在一個實例下創(chuàng)建的邏輯單元，一個實例可以

創(chuàng)建多個數(shù)據(jù)庫，在實例內(nèi)數(shù)據(jù)庫命名唯一，全部數(shù)據(jù)庫都會共享該實例下的資源，如、

內(nèi)存、磁盤容量等。不支持運用標準的語句或客戶端工具創(chuàng)建數(shù)據(jù)庫，必需運用或

管理限制臺進行操作。

16.列舉連接數(shù)據(jù)庫的4種方法。

答：方法1:運用客戶端訪問。運用客戶端，在連接框中輸入數(shù)據(jù)實例鏈接

地址、端口（默認3306）、數(shù)據(jù)庫用戶名和數(shù)據(jù)庫密碼后，單擊“確定”按鈕即可。

方法2:運用數(shù)據(jù)庫管理T具。是一套專為設(shè)計的強大的數(shù)據(jù)庫管理與開

發(fā)工具，可以在連接輸人框中輸人數(shù)據(jù)實例地址、端口（默認3306）、數(shù)據(jù)庫用戶名

和數(shù)據(jù)庫密碼后，單擊“確定”按鈕即可。

方法3:運用吩咐登錄。用戶安裝客戶端后，可進人吩咐行方式連接數(shù)據(jù)庫。

吩時格式如下。

3306

其中，指定的是用戶名，指定的是主機名，指定的是端口，指定的是密碼。

方法4:運用阿里云限制臺訪問。阿里云限制臺的頁面如圖6-7所示，連

接地址以與端口不須要再輸人，只需在“用戶名”中輸人數(shù)據(jù)庫的賬號，在“密碼”欄

中輸人數(shù)據(jù)庫賬號的密碼，便可以登錄進行數(shù)據(jù)操作了。

第七章

1.試述和的關(guān)系。

答：谷歌公司最先提出了分布式并行編程模型，是它的開源實現(xiàn)。谷歌的運行在

分布式文件系統(tǒng)上，與谷歌類似，運行在分布式文件系統(tǒng)上。相對而言，要比谷

歌的運用門檻低很多，程序員即使沒有任何分布式程序開發(fā)閱歷，也可以很輕松地開

發(fā)出分布式程序并部署到計算機集群中。

2是處理大數(shù)據(jù)的有力工具，但不是每個任務(wù)都可以運用來進行處理。試述適合用

來處理的任務(wù)或者數(shù)據(jù)集需滿意怎樣的要求。

答：適合用來處埋的數(shù)據(jù)集，須要滿意一個前提條件：待處埋的數(shù)據(jù)集可以分解成

很多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行地進行處理。

3.模型采納（）（）結(jié)構(gòu)，試描述和的功能。

答：框架采納了架構(gòu)，包括一個和若干個。上運行上運行用戶提交的

每個計算作業(yè)，會被劃分成若干個任務(wù)。負責作業(yè)和任務(wù)的調(diào)度，監(jiān)控它們的執(zhí)行，

并重新調(diào)度已經(jīng)失敗的任務(wù)。負責執(zhí)行由指派的任務(wù)。

6.試述的工作流程（