第9章-物聯(lián)網(wǎng)數(shù)據(jù)和信號(hào)處理技術(shù)

1、第第 9 章章 物聯(lián)網(wǎng)數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)和信號(hào)處理技術(shù)信號(hào)處理技術(shù) 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)可擴(kuò)展標(biāo)記語(yǔ)言可擴(kuò)展標(biāo)記語(yǔ)言 高性能計(jì)算高性能計(jì)算 海量數(shù)據(jù)數(shù)據(jù)庫(kù)技術(shù) Click to add title in here 123本章主要涉及：本章主要涉及：4語(yǔ)義網(wǎng)語(yǔ)義網(wǎng) 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)智能決策算法智能決策算法 人工智能技術(shù)人工智能技術(shù) 人機(jī)交互技術(shù)人機(jī)交互技術(shù) Click to add title in here 567本章主要涉及：本章主要涉及：4語(yǔ)義網(wǎng)語(yǔ)義網(wǎng) 9.1 可擴(kuò)展標(biāo)記語(yǔ)言可擴(kuò)展標(biāo)記語(yǔ)言vXML（Extensible Markup Language）即可）即可擴(kuò)展標(biāo)記語(yǔ)言，它與擴(kuò)展標(biāo)記語(yǔ)言，它

2、與HTML一樣，都是一樣，都是SGML(Standard Generalized Markup Language, 標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言)。vXml是是Internet環(huán)境中跨平臺(tái)的，依賴(lài)于內(nèi)容的環(huán)境中跨平臺(tái)的，依賴(lài)于內(nèi)容的技術(shù)，是當(dāng)前處理結(jié)構(gòu)化文檔信息的有力工具。技術(shù)，是當(dāng)前處理結(jié)構(gòu)化文檔信息的有力工具。9.1.1 可擴(kuò)展標(biāo)記語(yǔ)言（可擴(kuò)展標(biāo)記語(yǔ)言（XML）簡(jiǎn)）簡(jiǎn)介介v擴(kuò)展標(biāo)記語(yǔ)言擴(kuò)展標(biāo)記語(yǔ)言XML是一種簡(jiǎn)單的數(shù)據(jù)存儲(chǔ)語(yǔ)是一種簡(jiǎn)單的數(shù)據(jù)存儲(chǔ)語(yǔ)言，使用一系列簡(jiǎn)單的標(biāo)記描述數(shù)據(jù)，而這些言，使用一系列簡(jiǎn)單的標(biāo)記描述數(shù)據(jù)，而這些標(biāo)記可以用方便的方式建立，標(biāo)記可以用方便的方式建立，v雖然雖然

3、XML占用的空間比二進(jìn)制數(shù)據(jù)要占用更占用的空間比二進(jìn)制數(shù)據(jù)要占用更多的空間，但多的空間，但XML極其簡(jiǎn)單易于掌握和使用。極其簡(jiǎn)單易于掌握和使用。9.1.1 可擴(kuò)展標(biāo)記語(yǔ)言（可擴(kuò)展標(biāo)記語(yǔ)言（XML）簡(jiǎn)）簡(jiǎn)介介1. XML語(yǔ)法語(yǔ)法v在在XML中，采用了如下的語(yǔ)法：中，采用了如下的語(yǔ)法： （1） 任何的起始標(biāo)簽都必須有一個(gè)結(jié)束標(biāo)簽。任何的起始標(biāo)簽都必須有一個(gè)結(jié)束標(biāo)簽。 （2） 可以采用另一種簡(jiǎn)化語(yǔ)法，可以在一個(gè)標(biāo)簽中可以采用另一種簡(jiǎn)化語(yǔ)法，可以在一個(gè)標(biāo)簽中同時(shí)表示起始和結(jié)束標(biāo)簽。同時(shí)表示起始和結(jié)束標(biāo)簽。 這種語(yǔ)法是在大于符號(hào)之前緊跟一個(gè)斜線（這種語(yǔ)法是在大于符號(hào)之前緊跟一個(gè)斜線（/），），例如例如。

4、XML解析器會(huì)將其翻譯成解析器會(huì)將其翻譯成。9.1.1 可擴(kuò)展標(biāo)記語(yǔ)言（可擴(kuò)展標(biāo)記語(yǔ)言（XML）簡(jiǎn)介）簡(jiǎn)介（3） 標(biāo)簽必須按合適的順序進(jìn)行嵌套，標(biāo)簽必須按合適的順序進(jìn)行嵌套，v所以結(jié)束標(biāo)簽必須按鏡像順序匹配起始標(biāo)簽，所以結(jié)束標(biāo)簽必須按鏡像順序匹配起始標(biāo)簽，這好比是將起始和結(jié)束標(biāo)簽看作是數(shù)學(xué)中的左這好比是將起始和結(jié)束標(biāo)簽看作是數(shù)學(xué)中的左右括號(hào)：在沒(méi)有關(guān)閉所有的內(nèi)部括號(hào)之前，是右括號(hào)：在沒(méi)有關(guān)閉所有的內(nèi)部括號(hào)之前，是不能關(guān)閉外面的括號(hào)的。不能關(guān)閉外面的括號(hào)的。 （4） 所有的特性都必須有值。所有的特性都必須有值。 （5） 所有的特性都必須在值的周?chē)由想p引號(hào)。所有的特性都必須在值的周?chē)由想p引號(hào)。

5、9.1.1 可擴(kuò)展標(biāo)記語(yǔ)言（可擴(kuò)展標(biāo)記語(yǔ)言（XML）簡(jiǎn)）簡(jiǎn)介介2. XML實(shí)例實(shí)例v v v v An Introduction to XML v Chunbin v 2010 v 98.0 v v v The Performance of DataBase v John v 1996 v 56.0 v v 9.1.1 可擴(kuò)展標(biāo)記語(yǔ)言（可擴(kuò)展標(biāo)記語(yǔ)言（XML）簡(jiǎn)）簡(jiǎn)介介v上面的上面的XML文檔對(duì)應(yīng)的樹(shù)形結(jié)構(gòu)如下：文檔對(duì)應(yīng)的樹(shù)形結(jié)構(gòu)如下： XML文檔對(duì)應(yīng)的樹(shù)形結(jié)構(gòu)文檔對(duì)應(yīng)的樹(shù)形結(jié)構(gòu) 9.1.2 可擴(kuò)展標(biāo)記語(yǔ)言特性可擴(kuò)展標(biāo)記語(yǔ)言特性vXML與與Access,Oracle和和SQL Server等等

6、數(shù)據(jù)庫(kù)不同，數(shù)據(jù)庫(kù)提供了更強(qiáng)有力的數(shù)據(jù)存數(shù)據(jù)庫(kù)不同，數(shù)據(jù)庫(kù)提供了更強(qiáng)有力的數(shù)據(jù)存儲(chǔ)和分析能力，例如：數(shù)據(jù)索引、排序、查找、儲(chǔ)和分析能力，例如：數(shù)據(jù)索引、排序、查找、相關(guān)一致性等，相關(guān)一致性等，XML僅僅是展示數(shù)據(jù)。僅僅是展示數(shù)據(jù)。v事實(shí)上事實(shí)上XML與其他數(shù)據(jù)表現(xiàn)形式最大的不同與其他數(shù)據(jù)表現(xiàn)形式最大的不同是：它極其簡(jiǎn)單。是：它極其簡(jiǎn)單。vXML與與HTML的設(shè)計(jì)區(qū)別是：的設(shè)計(jì)區(qū)別是：XML是用來(lái)存是用來(lái)存儲(chǔ)數(shù)據(jù)的，重在數(shù)據(jù)本身。而儲(chǔ)數(shù)據(jù)的，重在數(shù)據(jù)本身。而HTML是用來(lái)是用來(lái)定義數(shù)據(jù)的，重在數(shù)據(jù)的顯示模式。定義數(shù)據(jù)的，重在數(shù)據(jù)的顯示模式。 9.1.2 可擴(kuò)展標(biāo)記語(yǔ)言特性可擴(kuò)展標(biāo)記語(yǔ)言特性vXM

7、L的簡(jiǎn)單使其易于在任何應(yīng)用程序中讀寫(xiě)數(shù)據(jù)，的簡(jiǎn)單使其易于在任何應(yīng)用程序中讀寫(xiě)數(shù)據(jù)，這使這使XML很快成為數(shù)據(jù)交換的唯一公共語(yǔ)言，意很快成為數(shù)據(jù)交換的唯一公共語(yǔ)言，意味著程序可以更容易的與味著程序可以更容易的與Windows、Mac OS, Linux以及其他平臺(tái)下產(chǎn)生的信息結(jié)合，以及其他平臺(tái)下產(chǎn)生的信息結(jié)合，v然后可以很容易加載然后可以很容易加載XML數(shù)據(jù)到程序中并分析他，數(shù)據(jù)到程序中并分析他，并以并以XML格式輸出結(jié)果。格式輸出結(jié)果。 9.1.3 可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu)可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu) v每個(gè)每個(gè)XML文檔都由文檔都由XML序言開(kāi)始，在前面的代碼中的序言開(kāi)始，在前面的代碼中的第一行便是

8、第一行便是XML序言，序言，。v這一行代碼會(huì)告訴解析器和瀏覽器，這個(gè)文件應(yīng)該按照這一行代碼會(huì)告訴解析器和瀏覽器，這個(gè)文件應(yīng)該按照前面討論過(guò)的前面討論過(guò)的XML規(guī)則進(jìn)行解析。規(guī)則進(jìn)行解析。v第二行代碼，第二行代碼，則是文檔元素，則是文檔元素（document element），它是文件中最外面的標(biāo)），它是文件中最外面的標(biāo)簽（我們認(rèn)為元素（簽（我們認(rèn)為元素（element）是起始標(biāo)簽和結(jié)束標(biāo)）是起始標(biāo)簽和結(jié)束標(biāo)簽之間的內(nèi)容）。簽之間的內(nèi)容）。9.1.3 可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu)可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu) v 所有其他的標(biāo)簽必須包含在這個(gè)標(biāo)簽之內(nèi)所有其他的標(biāo)簽必須包含在這個(gè)標(biāo)簽之內(nèi)來(lái)組成一個(gè)有效的來(lái)組成一

9、個(gè)有效的XML文件。文件。XML文件的第文件的第二行并不一定要包含文檔元素；如果有注釋或二行并不一定要包含文檔元素；如果有注釋或者其他內(nèi)容，文檔元素可以遲些出現(xiàn)。者其他內(nèi)容，文檔元素可以遲些出現(xiàn)。 v范例文件中的第三行代碼是注釋?zhuān)銜?huì)發(fā)范例文件中的第三行代碼是注釋?zhuān)銜?huì)發(fā)現(xiàn)它與現(xiàn)它與HTML中使用的注釋風(fēng)格是一樣的。這中使用的注釋風(fēng)格是一樣的。這是是XML從從SGML中繼承的語(yǔ)法元素之一。中繼承的語(yǔ)法元素之一。 9.1.3 可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu)可擴(kuò)展標(biāo)記語(yǔ)言文檔結(jié)構(gòu) XML 文檔結(jié)構(gòu)文檔結(jié)構(gòu) 9.1.4 XML的優(yōu)勢(shì)的優(yōu)勢(shì)vXML 的優(yōu)勢(shì)有以下六個(gè)方面：的優(yōu)勢(shì)有以下六個(gè)方面： v XML可以

10、從可以從HTML中分離數(shù)據(jù)中分離數(shù)據(jù) v XML用于交換數(shù)據(jù)用于交換數(shù)據(jù) v XML可以用于共享數(shù)據(jù)可以用于共享數(shù)據(jù) v XML可以用于存儲(chǔ)數(shù)據(jù)可以用于存儲(chǔ)數(shù)據(jù) v XML可以充分利用數(shù)據(jù)可以充分利用數(shù)據(jù) v XML可以用于創(chuàng)建新的語(yǔ)言可以用于創(chuàng)建新的語(yǔ)言 9.2 高性能計(jì)算高性能計(jì)算v高性能計(jì)算高性能計(jì)算(High Performance Computing)是計(jì)算機(jī)科學(xué)的一個(gè)分支，主是計(jì)算機(jī)科學(xué)的一個(gè)分支，主要是指從體系結(jié)構(gòu)、并行算法和軟件開(kāi)發(fā)等方要是指從體系結(jié)構(gòu)、并行算法和軟件開(kāi)發(fā)等方面研究開(kāi)發(fā)高性能計(jì)算機(jī)的技術(shù)。面研究開(kāi)發(fā)高性能計(jì)算機(jī)的技術(shù)。v高性能計(jì)算高性能計(jì)算(HPC) 指通常使用

11、很多處理器指通常使用很多處理器（作為單個(gè)機(jī)器的一部分）或者某一集群中組（作為單個(gè)機(jī)器的一部分）或者某一集群中組織的幾臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)算資源操作）的織的幾臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)算資源操作）的計(jì)算系統(tǒng)和環(huán)境。計(jì)算系統(tǒng)和環(huán)境。 9.2.1 高性能計(jì)算概述高性能計(jì)算概述 v有許多類(lèi)型的有許多類(lèi)型的HPC 系統(tǒng)，其范圍從標(biāo)準(zhǔn)計(jì)算機(jī)系統(tǒng)，其范圍從標(biāo)準(zhǔn)計(jì)算機(jī)的大型集群，到高度專(zhuān)用的硬件。的大型集群，到高度專(zhuān)用的硬件。v大多數(shù)基于集群的大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互系統(tǒng)使用高性能網(wǎng)絡(luò)互連，比如那些來(lái)自連，比如那些來(lái)自 InfiniBand 或或 Myrinet 的網(wǎng)絡(luò)互連。的網(wǎng)絡(luò)互連。v基本的網(wǎng)

12、絡(luò)拓?fù)浜徒M織可以使用一個(gè)簡(jiǎn)單的總基本的網(wǎng)絡(luò)拓?fù)浜徒M織可以使用一個(gè)簡(jiǎn)單的總線拓?fù)?，在性能很高的環(huán)境中，網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)線拓?fù)?，在性能很高的環(huán)境中，網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)在主機(jī)之間提供較短的潛伏期，所以可改善總在主機(jī)之間提供較短的潛伏期，所以可改善總體網(wǎng)絡(luò)性能和傳輸速率。體網(wǎng)絡(luò)性能和傳輸速率。9.2.1 高性能計(jì)算概述高性能計(jì)算概述 v下圖顯示了一網(wǎng)狀下圖顯示了一網(wǎng)狀 HPC 系統(tǒng)。在網(wǎng)狀網(wǎng)絡(luò)拓系統(tǒng)。在網(wǎng)狀網(wǎng)絡(luò)拓?fù)渲?，該結(jié)構(gòu)支持通過(guò)縮短網(wǎng)絡(luò)節(jié)點(diǎn)之間的物撲中，該結(jié)構(gòu)支持通過(guò)縮短網(wǎng)絡(luò)節(jié)點(diǎn)之間的物理和邏輯距離來(lái)加快跨主機(jī)的通信。理和邏輯距離來(lái)加快跨主機(jī)的通信。 .HPC 網(wǎng)狀網(wǎng)絡(luò)拓?fù)渚W(wǎng)狀網(wǎng)絡(luò)拓?fù)?9.2.1 高性能計(jì)

13、算概述高性能計(jì)算概述 vHPC 環(huán)境中的任務(wù)執(zhí)行，有兩個(gè)模型：?jiǎn)沃噶瞽h(huán)境中的任務(wù)執(zhí)行，有兩個(gè)模型：?jiǎn)沃噶?多多數(shù)據(jù)數(shù)據(jù) (SIMD) 和多指令和多指令/多數(shù)據(jù)多數(shù)據(jù) (MIMD)。vSIMD在跨多個(gè)處理器的同時(shí)執(zhí)行相同的計(jì)算指令在跨多個(gè)處理器的同時(shí)執(zhí)行相同的計(jì)算指令和操作，但對(duì)于不同數(shù)據(jù)范圍，它允許系統(tǒng)同時(shí)使和操作，但對(duì)于不同數(shù)據(jù)范圍，它允許系統(tǒng)同時(shí)使用許多變量計(jì)算相同的表達(dá)式。用許多變量計(jì)算相同的表達(dá)式。vMIMD允許允許HPC 系統(tǒng)在同一時(shí)間使用不同的變量系統(tǒng)在同一時(shí)間使用不同的變量執(zhí)行不同的計(jì)算，使整個(gè)系統(tǒng)看起來(lái)并不只是一個(gè)執(zhí)行不同的計(jì)算，使整個(gè)系統(tǒng)看起來(lái)并不只是一個(gè)沒(méi)有任何特點(diǎn)的計(jì)算資

14、源，可以同時(shí)執(zhí)行許多計(jì)算。沒(méi)有任何特點(diǎn)的計(jì)算資源，可以同時(shí)執(zhí)行許多計(jì)算。 9.2.1 高性能計(jì)算概述高性能計(jì)算概述 v不管是使用不管是使用 SIMD 還是還是 MIMD，典型，典型 HPC 的的基本原理仍然是相同的：整個(gè)基本原理仍然是相同的：整個(gè)HPC 單元的操作和單元的操作和行為像是單個(gè)計(jì)算資源，它將實(shí)際請(qǐng)求的加載展行為像是單個(gè)計(jì)算資源，它將實(shí)際請(qǐng)求的加載展開(kāi)到各個(gè)節(jié)點(diǎn)。開(kāi)到各個(gè)節(jié)點(diǎn)。vHPC 解決方案也是專(zhuān)用的單元，被專(zhuān)門(mén)設(shè)計(jì)和部解決方案也是專(zhuān)用的單元，被專(zhuān)門(mén)設(shè)計(jì)和部署為能夠充當(dāng)（并且只充當(dāng)）大型計(jì)算資源。署為能夠充當(dāng)（并且只充當(dāng)）大型計(jì)算資源。 9.2.2 高性能計(jì)算機(jī)的應(yīng)用高性能計(jì)算機(jī)

15、的應(yīng)用v高性能計(jì)算機(jī)是價(jià)格在高性能計(jì)算機(jī)是價(jià)格在10萬(wàn)元以上的服務(wù)器。萬(wàn)元以上的服務(wù)器。v高性能計(jì)算機(jī)也有高、中、低檔之分，中高檔高性能計(jì)算機(jī)也有高、中、低檔之分，中高檔系統(tǒng)可分為兩種系統(tǒng)可分為兩種:v一種叫超級(jí)計(jì)算機(jī)，主要是用于科學(xué)工程計(jì)算一種叫超級(jí)計(jì)算機(jī)，主要是用于科學(xué)工程計(jì)算及專(zhuān)門(mén)的設(shè)計(jì)，如及專(zhuān)門(mén)的設(shè)計(jì)，如Cray T3E；v另一種叫超級(jí)服務(wù)器，可以用來(lái)支持計(jì)算、事另一種叫超級(jí)服務(wù)器，可以用來(lái)支持計(jì)算、事務(wù)處理、數(shù)據(jù)庫(kù)應(yīng)用、網(wǎng)絡(luò)應(yīng)用與服務(wù)，如務(wù)處理、數(shù)據(jù)庫(kù)應(yīng)用、網(wǎng)絡(luò)應(yīng)用與服務(wù)，如IBM的的SP和國(guó)產(chǎn)的曙光和國(guó)產(chǎn)的曙光2000。 9.2.2 高性能計(jì)算機(jī)的應(yīng)用高性能計(jì)算機(jī)的應(yīng)用v高性能計(jì)算

16、機(jī)在國(guó)內(nèi)的研究與應(yīng)用已取得了一些高性能計(jì)算機(jī)在國(guó)內(nèi)的研究與應(yīng)用已取得了一些成功，包括成功，包括:v航空航天工業(yè)中的數(shù)字風(fēng)洞，可以減少實(shí)驗(yàn)次數(shù)，航空航天工業(yè)中的數(shù)字風(fēng)洞，可以減少實(shí)驗(yàn)次數(shù)，縮短研制周期，節(jié)約研制費(fèi)用；縮短研制周期，節(jié)約研制費(fèi)用；v利用高性能計(jì)算機(jī)做氣象預(yù)報(bào)和氣候模擬利用高性能計(jì)算機(jī)做氣象預(yù)報(bào)和氣候模擬;v在生物工程、生物信息學(xué)、船舶設(shè)計(jì)、汽車(chē)設(shè)計(jì)在生物工程、生物信息學(xué)、船舶設(shè)計(jì)、汽車(chē)設(shè)計(jì)和碰撞模擬和碰撞模擬;v三峽工程施工管理和質(zhì)量控制等領(lǐng)域都有高性能三峽工程施工管理和質(zhì)量控制等領(lǐng)域都有高性能計(jì)算機(jī)成功應(yīng)用的實(shí)例。計(jì)算機(jī)成功應(yīng)用的實(shí)例。9.2.3 高性能計(jì)算分類(lèi)高性能計(jì)算分類(lèi)1.

17、 高吞吐計(jì)算高吞吐計(jì)算(High-throughput Computing)v有一類(lèi)高性能計(jì)算，可以把它分成若干可以并行有一類(lèi)高性能計(jì)算，可以把它分成若干可以并行的子任務(wù)，而且各個(gè)子任務(wù)彼此間沒(méi)有什么關(guān)聯(lián)。的子任務(wù)，而且各個(gè)子任務(wù)彼此間沒(méi)有什么關(guān)聯(lián)。因?yàn)檫@種類(lèi)型應(yīng)用的一個(gè)共同特征是在海量數(shù)據(jù)因?yàn)檫@種類(lèi)型應(yīng)用的一個(gè)共同特征是在海量數(shù)據(jù)上搜索某些特定模式，所以把這類(lèi)計(jì)算稱(chēng)為高吞上搜索某些特定模式，所以把這類(lèi)計(jì)算稱(chēng)為高吞吐計(jì)算。吐計(jì)算。v所謂的所謂的Internet計(jì)算都屬于這一類(lèi)。按照計(jì)算都屬于這一類(lèi)。按照Flynn的分類(lèi)，高吞吐計(jì)算屬于的分類(lèi)，高吞吐計(jì)算屬于SIMD（Single Instruc

18、tion/Multiple Data,單單指令流指令流-多數(shù)據(jù)流）的范疇。多數(shù)據(jù)流）的范疇。9.2.3 高性能計(jì)算分類(lèi)高性能計(jì)算分類(lèi)2. 分布計(jì)算分布計(jì)算(Distributed Computing)v另一類(lèi)計(jì)算剛好和高吞吐計(jì)算相反，它們雖然可另一類(lèi)計(jì)算剛好和高吞吐計(jì)算相反，它們雖然可以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換。很緊密，需要大量的數(shù)據(jù)交換。v按照按照Flynn的分類(lèi)，分布式的高性能計(jì)算屬于的分類(lèi)，分布式的高性能計(jì)算屬于MIMD（Multiple Instruction/Multiple Data，多指令流，多指

19、令流-多數(shù)據(jù)流）的范疇。多數(shù)據(jù)流）的范疇。9.2.4 分布式計(jì)算分布式計(jì)算v所謂分布式計(jì)算就是在兩個(gè)或多個(gè)軟件互相共享所謂分布式計(jì)算就是在兩個(gè)或多個(gè)軟件互相共享信息，這些軟件既可以在同一臺(tái)計(jì)算機(jī)上運(yùn)行，信息，這些軟件既可以在同一臺(tái)計(jì)算機(jī)上運(yùn)行，也可以在通過(guò)網(wǎng)絡(luò)連接起來(lái)的多臺(tái)計(jì)算機(jī)上運(yùn)行。也可以在通過(guò)網(wǎng)絡(luò)連接起來(lái)的多臺(tái)計(jì)算機(jī)上運(yùn)行。v分布式計(jì)算是利用互聯(lián)網(wǎng)上的計(jì)算機(jī)的分布式計(jì)算是利用互聯(lián)網(wǎng)上的計(jì)算機(jī)的 CPU 的的閑置處理能力來(lái)解決大型計(jì)算問(wèn)題的一種計(jì)算科閑置處理能力來(lái)解決大型計(jì)算問(wèn)題的一種計(jì)算科學(xué)。學(xué)。v分布式計(jì)算是近年提出的一種新的計(jì)算方式。分布式計(jì)算是近年提出的一種新的計(jì)算方式。9.2.4

20、 分布式計(jì)算分布式計(jì)算v分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)。分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)。v它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分解決的問(wèn)題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終結(jié)果。果綜合起來(lái)得到最終結(jié)果。9.2.4 分布式計(jì)算分布式計(jì)算v最近的分布式計(jì)算項(xiàng)目已經(jīng)被用于使用世界各地成最近的分布式計(jì)算項(xiàng)目已經(jīng)被用于使用世界各地成千上萬(wàn)志愿者的計(jì)算機(jī)的閑置計(jì)算能力，千上萬(wàn)志愿者的計(jì)算機(jī)的閑置計(jì)算能力，v通過(guò)因特網(wǎng)，您可以分析

21、來(lái)自外太空的電訊號(hào)，尋通過(guò)因特網(wǎng)，您可以分析來(lái)自外太空的電訊號(hào)，尋找隱蔽的黑洞，并探索可能存在的外星智慧生命；找隱蔽的黑洞，并探索可能存在的外星智慧生命；v您可以尋找超過(guò)您可以尋找超過(guò)1000萬(wàn)位數(shù)字的梅森質(zhì)數(shù)；萬(wàn)位數(shù)字的梅森質(zhì)數(shù)；v您也可以尋找并發(fā)現(xiàn)對(duì)抗艾滋病毒更為有效的藥物。您也可以尋找并發(fā)現(xiàn)對(duì)抗艾滋病毒更為有效的藥物。v用以完成需要驚人的計(jì)算量的龐大項(xiàng)目。用以完成需要驚人的計(jì)算量的龐大項(xiàng)目。9.2.5 網(wǎng)格計(jì)算網(wǎng)格計(jì)算 v網(wǎng)格計(jì)算系統(tǒng)的關(guān)鍵元素是網(wǎng)格中的各個(gè)節(jié)點(diǎn)，網(wǎng)格計(jì)算系統(tǒng)的關(guān)鍵元素是網(wǎng)格中的各個(gè)節(jié)點(diǎn)，它們不是專(zhuān)門(mén)的專(zhuān)用組件。它們不是專(zhuān)門(mén)的專(zhuān)用組件。v在網(wǎng)格中，各種系統(tǒng)常?；跇?biāo)準(zhǔn)機(jī)器

22、或操作系在網(wǎng)格中，各種系統(tǒng)常?；跇?biāo)準(zhǔn)機(jī)器或操作系統(tǒng)。位于這種標(biāo)準(zhǔn)環(huán)境頂部的是應(yīng)用軟件，它們統(tǒng)。位于這種標(biāo)準(zhǔn)環(huán)境頂部的是應(yīng)用軟件，它們支持網(wǎng)格功能。支持網(wǎng)格功能。v網(wǎng)格可能由一系列同樣的專(zhuān)用硬件、多種具有相網(wǎng)格可能由一系列同樣的專(zhuān)用硬件、多種具有相同基礎(chǔ)架構(gòu)的機(jī)器或者由多個(gè)平臺(tái)和環(huán)境組成的同基礎(chǔ)架構(gòu)的機(jī)器或者由多個(gè)平臺(tái)和環(huán)境組成的完全異構(gòu)的環(huán)境組成。完全異構(gòu)的環(huán)境組成。v專(zhuān)用計(jì)算資源在網(wǎng)格中并不是必需的。許多網(wǎng)格專(zhuān)用計(jì)算資源在網(wǎng)格中并不是必需的。許多網(wǎng)格是通過(guò)重用現(xiàn)有基礎(chǔ)設(shè)施組件產(chǎn)生新的統(tǒng)一計(jì)算是通過(guò)重用現(xiàn)有基礎(chǔ)設(shè)施組件產(chǎn)生新的統(tǒng)一計(jì)算資源來(lái)創(chuàng)建的。資源來(lái)創(chuàng)建的。 9.2.5 網(wǎng)格計(jì)算網(wǎng)格計(jì)算

23、 網(wǎng)格與傳統(tǒng)網(wǎng)格與傳統(tǒng)HPC解決方案之間的主要不同是：解決方案之間的主要不同是：vHPC解決方案設(shè)計(jì)用于提供特定資源解決方案，解決方案設(shè)計(jì)用于提供特定資源解決方案，比如強(qiáng)大的計(jì)算能力以及在內(nèi)存中保存大量數(shù)據(jù)比如強(qiáng)大的計(jì)算能力以及在內(nèi)存中保存大量數(shù)據(jù)以便處理它們的能力。以便處理它們的能力。v另一方面，網(wǎng)格是一種分布式計(jì)算資源，這意味另一方面，網(wǎng)格是一種分布式計(jì)算資源，這意味著網(wǎng)格可以根據(jù)需要共享任何組件，包括內(nèi)存、著網(wǎng)格可以根據(jù)需要共享任何組件，包括內(nèi)存、CPU電源，甚至是磁盤(pán)空間。電源，甚至是磁盤(pán)空間。 9.2.5 網(wǎng)格計(jì)算網(wǎng)格計(jì)算 具體的網(wǎng)格計(jì)算的應(yīng)用框架結(jié)構(gòu)具體的網(wǎng)格計(jì)算的應(yīng)用框架結(jié)構(gòu) 9

24、.2.6 網(wǎng)格類(lèi)型網(wǎng)格類(lèi)型（1） 高吞吐量網(wǎng)格高吞吐量網(wǎng)格v在這種網(wǎng)格中，發(fā)給每個(gè)網(wǎng)格節(jié)點(diǎn)的各個(gè)任務(wù)單在這種網(wǎng)格中，發(fā)給每個(gè)網(wǎng)格節(jié)點(diǎn)的各個(gè)任務(wù)單元通常都非常小，每個(gè)單元的請(qǐng)求和預(yù)期執(zhí)行時(shí)元通常都非常小，每個(gè)單元的請(qǐng)求和預(yù)期執(zhí)行時(shí)間都很小。間都很小。v這些網(wǎng)格通常會(huì)在計(jì)算系統(tǒng)中使用，其中請(qǐng)求的這些網(wǎng)格通常會(huì)在計(jì)算系統(tǒng)中使用，其中請(qǐng)求的數(shù)量反應(yīng)數(shù)量反應(yīng) 了給定函數(shù)或計(jì)算的不同輸入值的范了給定函數(shù)或計(jì)算的不同輸入值的范圍。圍。v例如，在單個(gè)作業(yè)中可能有例如，在單個(gè)作業(yè)中可能有 10,000 甚至甚至 100,000 個(gè)請(qǐng)求。個(gè)請(qǐng)求。9.2.6 網(wǎng)格類(lèi)型網(wǎng)格類(lèi)型（2）高計(jì)算量（高計(jì)算量（High-co

25、mputational）網(wǎng)）網(wǎng)格格 v 在計(jì)算網(wǎng)格中，每個(gè)節(jié)點(diǎn)都負(fù)責(zé)為函數(shù)或表在計(jì)算網(wǎng)格中，每個(gè)節(jié)點(diǎn)都負(fù)責(zé)為函數(shù)或表達(dá)式提供達(dá)式提供 CPU 處理能力。處理能力。v每個(gè)工作單元的持續(xù)時(shí)間可能會(huì)很長(zhǎng)（與高吞每個(gè)工作單元的持續(xù)時(shí)間可能會(huì)很長(zhǎng)（與高吞吐量網(wǎng)格中較短的執(zhí)行時(shí)間相比）。吐量網(wǎng)格中較短的執(zhí)行時(shí)間相比）。 9.2.6 網(wǎng)格類(lèi)型網(wǎng)格類(lèi)型（3）高內(nèi)存量（）高內(nèi)存量（High-memory grid）的網(wǎng)）的網(wǎng)格格v 在處理大量數(shù)據(jù)時(shí)使用這種類(lèi)型的網(wǎng)格，例如在處理大量數(shù)據(jù)時(shí)使用這種類(lèi)型的網(wǎng)格，例如計(jì)算機(jī)動(dòng)畫(huà)繪圖、計(jì)算流體動(dòng)力學(xué)（計(jì)算機(jī)動(dòng)畫(huà)繪圖、計(jì)算流體動(dòng)力學(xué)（CFD）分）分析或制造和監(jiān)視系統(tǒng)中處理

26、大量數(shù)據(jù)所使用的析或制造和監(jiān)視系統(tǒng)中處理大量數(shù)據(jù)所使用的網(wǎng)格。網(wǎng)格。 （4）存儲(chǔ)網(wǎng)格）存儲(chǔ)網(wǎng)格 v存儲(chǔ)網(wǎng)格在需要將大量信息存儲(chǔ)在大量計(jì)算機(jī)存儲(chǔ)網(wǎng)格在需要將大量信息存儲(chǔ)在大量計(jì)算機(jī)上時(shí)使用，所以數(shù)據(jù)的大小以及從網(wǎng)格存儲(chǔ)上時(shí)使用，所以數(shù)據(jù)的大小以及從網(wǎng)格存儲(chǔ)/檢索信息這樣的負(fù)載被分布到網(wǎng)格中。檢索信息這樣的負(fù)載被分布到網(wǎng)格中。 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)v高性能集群主要用于處理復(fù)雜的計(jì)算問(wèn)題，應(yīng)用在高性能集群主要用于處理復(fù)雜的計(jì)算問(wèn)題，應(yīng)用在需要大規(guī)?？茖W(xué)計(jì)算的環(huán)境中，如天氣預(yù)報(bào)、石油需要大規(guī)模科學(xué)計(jì)算的環(huán)境中，如天氣預(yù)報(bào)、石油勘探與油藏模擬、分子模擬、基因

27、測(cè)序等?？碧脚c油藏模擬、分子模擬、基因測(cè)序等。v高性能集群上運(yùn)行的應(yīng)用程序一般使用并行算法，高性能集群上運(yùn)行的應(yīng)用程序一般使用并行算法，把一個(gè)大的普通問(wèn)題根據(jù)一定的規(guī)則分為許多小的把一個(gè)大的普通問(wèn)題根據(jù)一定的規(guī)則分為許多小的子問(wèn)題，在集群內(nèi)的不同節(jié)點(diǎn)上進(jìn)行計(jì)算，而這些子問(wèn)題，在集群內(nèi)的不同節(jié)點(diǎn)上進(jìn)行計(jì)算，而這些小問(wèn)題的處理結(jié)果，經(jīng)過(guò)處理可合并為原問(wèn)題的最小問(wèn)題的處理結(jié)果，經(jīng)過(guò)處理可合并為原問(wèn)題的最終結(jié)果。終結(jié)果。v由于這些小問(wèn)題的計(jì)算一般是可以并行完成的，從由于這些小問(wèn)題的計(jì)算一般是可以并行完成的，從而可以縮短問(wèn)題的處理時(shí)間。而可以縮短問(wèn)題的處理時(shí)間。9.2.7 高性能計(jì)算集群高性能計(jì)算集群(

28、HPC CLUSTER)1. 高性能計(jì)算集群系統(tǒng)模型高性能計(jì)算集群系統(tǒng)模型v（1）Beowulf集群集群v簡(jiǎn)單的說(shuō)，簡(jiǎn)單的說(shuō)，Beowulf是一種能夠?qū)⒍嗯_(tái)計(jì)算機(jī)用是一種能夠?qū)⒍嗯_(tái)計(jì)算機(jī)用于并行計(jì)算的體系結(jié)構(gòu)。通常于并行計(jì)算的體系結(jié)構(gòu)。通常Beowulf系統(tǒng)由通系統(tǒng)由通過(guò)以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個(gè)計(jì)算節(jié)點(diǎn)和管理過(guò)以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個(gè)計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)構(gòu)成。節(jié)點(diǎn)構(gòu)成。v管理節(jié)點(diǎn)控制整個(gè)集群系統(tǒng)，同時(shí)為計(jì)算節(jié)點(diǎn)提管理節(jié)點(diǎn)控制整個(gè)集群系統(tǒng)，同時(shí)為計(jì)算節(jié)點(diǎn)提供文件服務(wù)和對(duì)外的網(wǎng)絡(luò)連接。它使用的是常見(jiàn)供文件服務(wù)和對(duì)外的網(wǎng)絡(luò)連接。它使用的是常見(jiàn)的硬件設(shè)備，象普通的硬件設(shè)備，象普通PC、以太網(wǎng)卡和集線

29、器。、以太網(wǎng)卡和集線器。vBeowulf集群的軟件也是隨處可見(jiàn)的，象集群的軟件也是隨處可見(jiàn)的，象Linux、PVM和和MPI。 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)（2）COW集群集群v象象Beowulf一樣，一樣，COW（Cluster Of Workstation）也是由最常見(jiàn)的硬件設(shè)備和軟件）也是由最常見(jiàn)的硬件設(shè)備和軟件系統(tǒng)搭建而成。通常也是由一個(gè)控制節(jié)點(diǎn)和多個(gè)計(jì)系統(tǒng)搭建而成。通常也是由一個(gè)控制節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成。算節(jié)點(diǎn)構(gòu)成。v因?yàn)橐驗(yàn)镃OW中的計(jì)算節(jié)點(diǎn)主要的目的是桌面應(yīng)用，所中的計(jì)算節(jié)點(diǎn)主要的目的是桌面應(yīng)用，所以它們都具有顯示器、鍵盤(pán)和鼠標(biāo)等外設(shè)。而以

30、它們都具有顯示器、鍵盤(pán)和鼠標(biāo)等外設(shè)。而B(niǎo)eowulf的計(jì)算節(jié)點(diǎn)通常沒(méi)有這些外設(shè)，對(duì)這些計(jì)的計(jì)算節(jié)點(diǎn)通常沒(méi)有這些外設(shè)，對(duì)這些計(jì)算節(jié)點(diǎn)的訪問(wèn)通常是在管理節(jié)點(diǎn)上通過(guò)網(wǎng)絡(luò)或串口算節(jié)點(diǎn)的訪問(wèn)通常是在管理節(jié)點(diǎn)上通過(guò)網(wǎng)絡(luò)或串口線實(shí)現(xiàn)的。線實(shí)現(xiàn)的。 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)（3）COW和和Beowulf的區(qū)別：的區(qū)別：vCOW中的計(jì)算節(jié)點(diǎn)主要都是閑置的計(jì)算資源，如中的計(jì)算節(jié)點(diǎn)主要都是閑置的計(jì)算資源，如辦公室中普通的辦公室中普通的PC，采用普通的局域網(wǎng)進(jìn)行連接。，采用普通的局域網(wǎng)進(jìn)行連接。因?yàn)檫@些計(jì)算節(jié)點(diǎn)白天會(huì)作為工作站使用，所以因?yàn)檫@些計(jì)算節(jié)點(diǎn)白天會(huì)作為工作站使用，所

31、以主要的集群計(jì)算發(fā)生在晚上和周末等空閑時(shí)間。主要的集群計(jì)算發(fā)生在晚上和周末等空閑時(shí)間。v而而B(niǎo)eowulf中的計(jì)算節(jié)點(diǎn)都是專(zhuān)職于并行計(jì)算，中的計(jì)算節(jié)點(diǎn)都是專(zhuān)職于并行計(jì)算，并且進(jìn)行了性能優(yōu)化。并且進(jìn)行了性能優(yōu)化。Beowulf采用高速網(wǎng)采用高速網(wǎng)（InfiniBand, SCI, Myrinet）上的消息傳遞）上的消息傳遞（PVM或或MPI）進(jìn)行進(jìn)程間通信（）進(jìn)行進(jìn)程間通信（IPC）。）。 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)2高性能計(jì)算集群配置高性能計(jì)算集群配置 在搭建高性能計(jì)算集群（在搭建高性能計(jì)算集群（HPC CLUSTER）之前，我們首先要根據(jù)具體的應(yīng)）之前

32、，我們首先要根據(jù)具體的應(yīng)用需求，在用需求，在:v(1) 節(jié)點(diǎn)的部署節(jié)點(diǎn)的部署v(2) 高速互連網(wǎng)絡(luò)的選擇、高速互連網(wǎng)絡(luò)的選擇、v(3)集群管理和通訊軟件集群管理和通訊軟件 這三個(gè)方面作出配置。這三個(gè)方面作出配置。9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)（1）節(jié)點(diǎn)的部署）節(jié)點(diǎn)的部署v根據(jù)功能，把集群中的節(jié)點(diǎn)劃分為根據(jù)功能，把集群中的節(jié)點(diǎn)劃分為6種類(lèi)型：種類(lèi)型： v 用戶(hù)節(jié)點(diǎn)用戶(hù)節(jié)點(diǎn)(User Node)； v 控制節(jié)點(diǎn)控制節(jié)點(diǎn)(Control Node)；v 管理節(jié)點(diǎn)管理節(jié)點(diǎn)(Management Node)； v 存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)(Storage Node)； v 安

33、裝節(jié)點(diǎn)安裝節(jié)點(diǎn)(Installation Node)； v計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)(Compute Node).9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)（2）高速互連網(wǎng)絡(luò)的選擇）高速互連網(wǎng)絡(luò)的選擇v網(wǎng)絡(luò)是集群最關(guān)鍵的部分網(wǎng)絡(luò)是集群最關(guān)鍵的部分.它的容量和性能直接影它的容量和性能直接影響了整個(gè)系統(tǒng)對(duì)高性能計(jì)算響了整個(gè)系統(tǒng)對(duì)高性能計(jì)算(HPC)的適用性。的適用性。v根據(jù)調(diào)查根據(jù)調(diào)查,大多數(shù)高性能科學(xué)計(jì)算任務(wù)都是通信密大多數(shù)高性能科學(xué)計(jì)算任務(wù)都是通信密集型的集型的,因此如何盡可能的縮短節(jié)點(diǎn)間的通信延遲因此如何盡可能的縮短節(jié)點(diǎn)間的通信延遲和提高吞吐量是一個(gè)核心問(wèn)題。和提高吞吐量是一個(gè)

34、核心問(wèn)題。9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER) Myrinet互連技術(shù)互連技術(shù)vMyrinet 提供網(wǎng)卡和交換機(jī)，其單向互連速度提供網(wǎng)卡和交換機(jī)，其單向互連速度最高可達(dá)到最高可達(dá)到 1.28 Gbps。v網(wǎng)卡有兩種形式，銅線型和光纖型。網(wǎng)卡有兩種形式，銅線型和光纖型。 v銅線型銅線型 LAN 可以在可以在10英尺距離內(nèi)以全速進(jìn)行英尺距離內(nèi)以全速進(jìn)行通信。通信。v光纖型光纖型 Myrinet 可以在可以在6.25英里長(zhǎng)的單模光英里長(zhǎng)的單模光纖或者纖或者340英尺長(zhǎng)的多模光纖上全速運(yùn)行。英尺長(zhǎng)的多模光纖上全速運(yùn)行。9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CL

35、USTER) InfiniBand互連技術(shù)互連技術(shù)vInfiniBand 是一種用于實(shí)現(xiàn)基于通道的交換式是一種用于實(shí)現(xiàn)基于通道的交換式技術(shù)的通用技術(shù)的通用I/O規(guī)范。由于規(guī)范。由于IB的理論帶寬極高的理論帶寬極高30Gbit/S, 因此備受業(yè)內(nèi)關(guān)注。因此備受業(yè)內(nèi)關(guān)注。InfiniBand 的解決方案包括一個(gè)連接多個(gè)獨(dú)立的解決方案包括一個(gè)連接多個(gè)獨(dú)立處理器和處理器和I/O平臺(tái)的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的平臺(tái)的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的通信和管理結(jié)構(gòu)同時(shí)支持通信和管理結(jié)構(gòu)同時(shí)支持I/O和處理器與處理器和處理器與處理器之間的通信。之間的通信。vInfiniBand 系統(tǒng)可以是只有少量系統(tǒng)可以是只有少量I

36、/O設(shè)備的單設(shè)備的單處理器服務(wù)器，也可以是大型的并行超級(jí)計(jì)算機(jī)。處理器服務(wù)器，也可以是大型的并行超級(jí)計(jì)算機(jī)。 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)InfiniBand 規(guī)范定義了規(guī)范定義了3個(gè)基本組件：個(gè)基本組件：v一個(gè)主機(jī)信道適配器（一個(gè)主機(jī)信道適配器（HCA）；一個(gè)目標(biāo)信）；一個(gè)目標(biāo)信道適配器（道適配器（TCA）；一個(gè)網(wǎng)絡(luò)交換機(jī)。）；一個(gè)網(wǎng)絡(luò)交換機(jī)。InfiniBand體系架構(gòu)模型體系架構(gòu)模型 9.2.7 高性能計(jì)算集群高性能計(jì)算集群(HPC CLUSTER)（3）集群管理和通訊軟件）集群管理和通訊軟件v 國(guó)內(nèi)和國(guó)際上有多種集群管理和通訊軟件，國(guó)內(nèi)和國(guó)際上有多

37、種集群管理和通訊軟件，一些是由一些是由 HPC 集成商自己編寫(xiě)的專(zhuān)用軟件，捆集成商自己編寫(xiě)的專(zhuān)用軟件，捆綁硬件銷(xiāo)售的，也有專(zhuān)業(yè)的軟件公司提供的通用綁硬件銷(xiāo)售的，也有專(zhuān)業(yè)的軟件公司提供的通用軟件包。軟件包。v全球知名的全球知名的HPC軟件公司軟件公司挪威挪威 Scali公司。公司。Scali 軟件的最大特點(diǎn)是支持多種高速互連網(wǎng)絡(luò)：軟件的最大特點(diǎn)是支持多種高速互連網(wǎng)絡(luò)：從千兆以太網(wǎng)，從千兆以太網(wǎng)，SCI,Myrinet,到到 InfiniBand 都可以支持。都可以支持。9.3 海量數(shù)據(jù)數(shù)據(jù)庫(kù)技術(shù)海量數(shù)據(jù)數(shù)據(jù)庫(kù)技術(shù)v在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用中，選擇一個(gè)適合自己項(xiàng)目在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用中，選擇一個(gè)適合自己項(xiàng)

38、目的數(shù)據(jù)平臺(tái)對(duì)整個(gè)項(xiàng)目成敗而言尤為重要，其原的數(shù)據(jù)平臺(tái)對(duì)整個(gè)項(xiàng)目成敗而言尤為重要，其原則有二：則有二：v第一，根據(jù)數(shù)據(jù)類(lèi)別和實(shí)際應(yīng)用選擇正確的數(shù)據(jù)第一，根據(jù)數(shù)據(jù)類(lèi)別和實(shí)際應(yīng)用選擇正確的數(shù)據(jù)庫(kù)類(lèi)型。業(yè)務(wù)數(shù)據(jù)、管理數(shù)據(jù)要使用關(guān)系型數(shù)據(jù)庫(kù)類(lèi)型。業(yè)務(wù)數(shù)據(jù)、管理數(shù)據(jù)要使用關(guān)系型數(shù)據(jù)庫(kù)，海量數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)要使用實(shí)時(shí)數(shù)據(jù)庫(kù)；庫(kù)，海量數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)要使用實(shí)時(shí)數(shù)據(jù)庫(kù)；v第二，必須具有前瞻性。目前物聯(lián)網(wǎng)項(xiàng)目大多是第二，必須具有前瞻性。目前物聯(lián)網(wǎng)項(xiàng)目大多是試點(diǎn)項(xiàng)目，如果在初步設(shè)計(jì)的時(shí)候沒(méi)有考慮這一試點(diǎn)項(xiàng)目，如果在初步設(shè)計(jì)的時(shí)候沒(méi)有考慮這一點(diǎn)的話，試點(diǎn)也就失去了試點(diǎn)本身的意義了。點(diǎn)的話，試點(diǎn)也就失去了試點(diǎn)本身的意義了

39、。9.3.1傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面臨更大的挑傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面臨更大的挑戰(zhàn)戰(zhàn) v 傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)具有數(shù)據(jù)結(jié)構(gòu)化、最低傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)具有數(shù)據(jù)結(jié)構(gòu)化、最低冗余度、較高的程序與數(shù)據(jù)獨(dú)立性、易于擴(kuò)充、冗余度、較高的程序與數(shù)據(jù)獨(dú)立性、易于擴(kuò)充、易于編制應(yīng)用程序等優(yōu)點(diǎn)，目前較大的信息系統(tǒng)易于編制應(yīng)用程序等優(yōu)點(diǎn)，目前較大的信息系統(tǒng)都是建立在結(jié)構(gòu)化數(shù)據(jù)庫(kù)設(shè)計(jì)之上的。都是建立在結(jié)構(gòu)化數(shù)據(jù)庫(kù)設(shè)計(jì)之上的。 v然而，隨著越來(lái)越多企業(yè)海量數(shù)據(jù)的產(chǎn)生，然而，隨著越來(lái)越多企業(yè)海量數(shù)據(jù)的產(chǎn)生，使得非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用日趨擴(kuò)大，以及對(duì)海量使得非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用日趨擴(kuò)大，以及對(duì)海量數(shù)據(jù)快速訪問(wèn)、有效的備份恢復(fù)機(jī)制、實(shí)時(shí)數(shù)據(jù)

40、數(shù)據(jù)快速訪問(wèn)、有效的備份恢復(fù)機(jī)制、實(shí)時(shí)數(shù)據(jù)分析等等的需求分析等等的需求 9.3.1傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面臨更大的挑傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面臨更大的挑戰(zhàn)戰(zhàn) 傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)對(duì)海量數(shù)據(jù)處理上傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)對(duì)海量數(shù)據(jù)處理上仍有許多不足。主要表現(xiàn)在：仍有許多不足。主要表現(xiàn)在：v 缺乏對(duì)海量數(shù)據(jù)的快速訪問(wèn)能力缺乏對(duì)海量數(shù)據(jù)的快速訪問(wèn)能力 v 缺乏海量數(shù)據(jù)訪問(wèn)靈活性缺乏海量數(shù)據(jù)訪問(wèn)靈活性 v 對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理能力薄弱對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理能力薄弱 v 海量數(shù)據(jù)導(dǎo)致存儲(chǔ)成本、維護(hù)管理成本不海量數(shù)據(jù)導(dǎo)致存儲(chǔ)成本、維護(hù)管理成本不斷增加斷增加 v 海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)機(jī)制海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)

41、機(jī)制 9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) v數(shù)據(jù)庫(kù)是存儲(chǔ)在計(jì)算機(jī)系統(tǒng)內(nèi)的有結(jié)構(gòu)的數(shù)據(jù)的數(shù)據(jù)庫(kù)是存儲(chǔ)在計(jì)算機(jī)系統(tǒng)內(nèi)的有結(jié)構(gòu)的數(shù)據(jù)的集合。數(shù)據(jù)庫(kù)是由很多數(shù)據(jù)庫(kù)文件以及若干輔助集合。數(shù)據(jù)庫(kù)是由很多數(shù)據(jù)庫(kù)文件以及若干輔助操作文件組成的。操作文件組成的。v基本的數(shù)據(jù)庫(kù)模型有三種：網(wǎng)狀數(shù)據(jù)庫(kù)模型、層基本的數(shù)據(jù)庫(kù)模型有三種：網(wǎng)狀數(shù)據(jù)庫(kù)模型、層次數(shù)據(jù)庫(kù)模型和關(guān)系型數(shù)據(jù)庫(kù)模型。次數(shù)據(jù)庫(kù)模型和關(guān)系型數(shù)據(jù)庫(kù)模型。 v新一代的數(shù)據(jù)技術(shù)應(yīng)該是在成熟、穩(wěn)定的基礎(chǔ)數(shù)新一代的數(shù)據(jù)技術(shù)應(yīng)該是在成熟、穩(wěn)定的基礎(chǔ)數(shù)據(jù)庫(kù)架構(gòu)上，開(kāi)發(fā)和重新定義新的數(shù)據(jù)庫(kù)概念，據(jù)庫(kù)架構(gòu)上，開(kāi)發(fā)和重新定義新的數(shù)據(jù)庫(kù)概念，比如語(yǔ)義數(shù)據(jù)

42、模式、事件驅(qū)動(dòng)數(shù)據(jù)庫(kù)，等等。比如語(yǔ)義數(shù)據(jù)模式、事件驅(qū)動(dòng)數(shù)據(jù)庫(kù)，等等。 9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 目前在數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域的技術(shù)發(fā)展中，已目前在數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域的技術(shù)發(fā)展中，已經(jīng)出現(xiàn)以下類(lèi)型的數(shù)據(jù)庫(kù)管理系統(tǒng)：經(jīng)出現(xiàn)以下類(lèi)型的數(shù)據(jù)庫(kù)管理系統(tǒng)：1）面向?qū)ο髷?shù)據(jù)庫(kù)）面向?qū)ο髷?shù)據(jù)庫(kù)。v面向?qū)ο髷?shù)據(jù)庫(kù)采用面向?qū)ο髷?shù)據(jù)模型，是面面向?qū)ο髷?shù)據(jù)庫(kù)采用面向?qū)ο髷?shù)據(jù)模型，是面向?qū)ο蠹夹g(shù)與傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)相結(jié)合的產(chǎn)物。向?qū)ο蠹夹g(shù)與傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)相結(jié)合的產(chǎn)物。v面向?qū)ο髷?shù)據(jù)模型能夠完整地描述現(xiàn)實(shí)世界的面向?qū)ο髷?shù)據(jù)模型能夠完整地描述現(xiàn)實(shí)世界的數(shù)據(jù)結(jié)構(gòu)，具有豐富的表達(dá)能力。數(shù)據(jù)結(jié)構(gòu)，具有豐富的表達(dá)能

43、力。v目前，在許多關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中已經(jīng)引入并具目前，在許多關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中已經(jīng)引入并具備了面向?qū)ο髷?shù)據(jù)庫(kù)系統(tǒng)的某些特性。備了面向?qū)ο髷?shù)據(jù)庫(kù)系統(tǒng)的某些特性。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 2）分布式數(shù)據(jù)庫(kù)。）分布式數(shù)據(jù)庫(kù)。v分布式數(shù)據(jù)庫(kù)（分布式數(shù)據(jù)庫(kù)（Distributed Data Base，DDB）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物。一個(gè)分布式數(shù)據(jù)庫(kù)是物理上分散在計(jì)算機(jī)網(wǎng)物。一個(gè)分布式數(shù)據(jù)庫(kù)是物理上分散在計(jì)算機(jī)網(wǎng)絡(luò)各結(jié)點(diǎn)上，但在邏輯上屬于同一系統(tǒng)的數(shù)據(jù)集絡(luò)各結(jié)點(diǎn)上，但在邏輯上屬于同一系統(tǒng)的數(shù)據(jù)集合。合。v分布式數(shù)據(jù)庫(kù)管理系統(tǒng)

44、（分布式數(shù)據(jù)庫(kù)管理系統(tǒng)（DDBMS）支持分布式）支持分布式數(shù)據(jù)庫(kù)的建立、使用與維護(hù)，負(fù)責(zé)實(shí)現(xiàn)局部數(shù)據(jù)數(shù)據(jù)庫(kù)的建立、使用與維護(hù)，負(fù)責(zé)實(shí)現(xiàn)局部數(shù)據(jù)管理、數(shù)據(jù)通信、分布式數(shù)據(jù)管理以及數(shù)據(jù)字典管理、數(shù)據(jù)通信、分布式數(shù)據(jù)管理以及數(shù)據(jù)字典管理等功能。管理等功能。v分布式數(shù)據(jù)庫(kù)在物聯(lián)網(wǎng)系統(tǒng)中將有廣泛的應(yīng)用前分布式數(shù)據(jù)庫(kù)在物聯(lián)網(wǎng)系統(tǒng)中將有廣泛的應(yīng)用前景。景。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 3）多媒體數(shù)據(jù)庫(kù)）多媒體數(shù)據(jù)庫(kù)。v多媒體數(shù)據(jù)庫(kù)（多媒體數(shù)據(jù)庫(kù)（Multimedia Data Base，MDB）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與多媒體技術(shù)相結(jié)合的）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與多媒體技術(shù)相結(jié)合的產(chǎn)物，是以數(shù)

45、據(jù)庫(kù)的方式存儲(chǔ)計(jì)算機(jī)中的文字、圖產(chǎn)物，是以數(shù)據(jù)庫(kù)的方式存儲(chǔ)計(jì)算機(jī)中的文字、圖形、圖像、音頻和視頻等多媒體信息。形、圖像、音頻和視頻等多媒體信息。v 多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)（多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)（MDBMS）是一個(gè)支持）是一個(gè)支持多媒體數(shù)據(jù)庫(kù)的建立、使用與維護(hù)的軟件系統(tǒng)，負(fù)多媒體數(shù)據(jù)庫(kù)的建立、使用與維護(hù)的軟件系統(tǒng)，負(fù)責(zé)實(shí)現(xiàn)對(duì)多媒體對(duì)象的存儲(chǔ)、處理、檢索和輸出等責(zé)實(shí)現(xiàn)對(duì)多媒體對(duì)象的存儲(chǔ)、處理、檢索和輸出等功能。功能。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 4）并行數(shù)據(jù)庫(kù)）并行數(shù)據(jù)庫(kù)。v并行數(shù)據(jù)庫(kù)（并行數(shù)據(jù)庫(kù)（Parallel Data Base，PDB）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與并行技術(shù)相

46、結(jié)合的產(chǎn)物，它是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與并行技術(shù)相結(jié)合的產(chǎn)物，它在并行體系結(jié)構(gòu)的支持下，實(shí)現(xiàn)數(shù)據(jù)庫(kù)操作處理在并行體系結(jié)構(gòu)的支持下，實(shí)現(xiàn)數(shù)據(jù)庫(kù)操作處理的并行化，以提高數(shù)據(jù)庫(kù)的效率。的并行化，以提高數(shù)據(jù)庫(kù)的效率。v超級(jí)并行機(jī)的發(fā)展推動(dòng)了并行數(shù)據(jù)庫(kù)技術(shù)的發(fā)展。超級(jí)并行機(jī)的發(fā)展推動(dòng)了并行數(shù)據(jù)庫(kù)技術(shù)的發(fā)展。并行數(shù)據(jù)庫(kù)的設(shè)計(jì)目標(biāo)是提高大型數(shù)據(jù)庫(kù)系統(tǒng)的并行數(shù)據(jù)庫(kù)的設(shè)計(jì)目標(biāo)是提高大型數(shù)據(jù)庫(kù)系統(tǒng)的查詢(xún)與處理效率，而提高效率的途徑不僅是依靠查詢(xún)與處理效率，而提高效率的途徑不僅是依靠軟件手段，更重要的是依靠硬件的多軟件手段，更重要的是依靠硬件的多CPU的并行的并行操作來(lái)實(shí)現(xiàn)。操作來(lái)實(shí)現(xiàn)。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù)支

47、撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 5）演繹數(shù)據(jù)庫(kù)）演繹數(shù)據(jù)庫(kù)。v演繹數(shù)據(jù)庫(kù)（演繹數(shù)據(jù)庫(kù)（Deductive Data Base，DeDB）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與邏輯理論相結(jié)合的）是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與邏輯理論相結(jié)合的產(chǎn)物，是指具有演繹推理能力的數(shù)據(jù)庫(kù)。產(chǎn)物，是指具有演繹推理能力的數(shù)據(jù)庫(kù)。v通常，它用一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)和一個(gè)規(guī)則管理通常，它用一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)和一個(gè)規(guī)則管理系統(tǒng)來(lái)實(shí)現(xiàn)。系統(tǒng)來(lái)實(shí)現(xiàn)。v將推理用的事實(shí)數(shù)據(jù)存放在數(shù)據(jù)庫(kù)中，稱(chēng)為外延將推理用的事實(shí)數(shù)據(jù)存放在數(shù)據(jù)庫(kù)中，稱(chēng)為外延數(shù)據(jù)庫(kù)；用邏輯規(guī)則定義要導(dǎo)出的事實(shí)，稱(chēng)為內(nèi)數(shù)據(jù)庫(kù)；用邏輯規(guī)則定義要導(dǎo)出的事實(shí)，稱(chēng)為內(nèi)涵數(shù)據(jù)庫(kù)。涵數(shù)據(jù)庫(kù)。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技

48、術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)技術(shù) 6）主動(dòng)數(shù)據(jù)庫(kù)）主動(dòng)數(shù)據(jù)庫(kù)。v主動(dòng)數(shù)據(jù)庫(kù)（主動(dòng)數(shù)據(jù)庫(kù)（Active Data Base，Active DB）是相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)的被動(dòng)性而言的，它是數(shù)據(jù)庫(kù)是相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)的被動(dòng)性而言的，它是數(shù)據(jù)庫(kù)技術(shù)與人工智能技術(shù)相結(jié)合的產(chǎn)物。技術(shù)與人工智能技術(shù)相結(jié)合的產(chǎn)物。v傳統(tǒng)數(shù)據(jù)庫(kù)及其管理系統(tǒng)是一個(gè)被動(dòng)的系統(tǒng)，它只傳統(tǒng)數(shù)據(jù)庫(kù)及其管理系統(tǒng)是一個(gè)被動(dòng)的系統(tǒng)，它只能被動(dòng)地按照用戶(hù)所給出的明確請(qǐng)求，執(zhí)行相應(yīng)的能被動(dòng)地按照用戶(hù)所給出的明確請(qǐng)求，執(zhí)行相應(yīng)的數(shù)據(jù)庫(kù)操作，完成某個(gè)應(yīng)用事務(wù)。數(shù)據(jù)庫(kù)操作，完成某個(gè)應(yīng)用事務(wù)。v 主動(dòng)數(shù)據(jù)庫(kù)提供主動(dòng)服務(wù)功能，在計(jì)算機(jī)集成主動(dòng)數(shù)據(jù)庫(kù)提供主動(dòng)服務(wù)功能，在計(jì)

49、算機(jī)集成制造系統(tǒng)、管理信息系統(tǒng)、辦公自動(dòng)化系統(tǒng)中，能制造系統(tǒng)、管理信息系統(tǒng)、辦公自動(dòng)化系統(tǒng)中，能夠根據(jù)當(dāng)前狀態(tài)主動(dòng)地作出反應(yīng)，執(zhí)行某些操作，夠根據(jù)當(dāng)前狀態(tài)主動(dòng)地作出反應(yīng)，執(zhí)行某些操作，向用戶(hù)提供所需的信息。向用戶(hù)提供所需的信息。 9.3.3 關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)v關(guān)系數(shù)據(jù)庫(kù)，是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，關(guān)系數(shù)據(jù)庫(kù)，是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)?，F(xiàn)實(shí)世界中的各種實(shí)體以及實(shí)體之間中的數(shù)據(jù)。現(xiàn)實(shí)世界中的各種實(shí)體以及實(shí)體之間的各種聯(lián)系均用關(guān)系模型來(lái)表示。的各種聯(lián)系均用關(guān)系模型來(lái)表示。v標(biāo)準(zhǔn)數(shù)據(jù)查詢(xún)語(yǔ)

50、言標(biāo)準(zhǔn)數(shù)據(jù)查詢(xún)語(yǔ)言SQL就是一種基于關(guān)系數(shù)據(jù)庫(kù)就是一種基于關(guān)系數(shù)據(jù)庫(kù)的語(yǔ)言，這種語(yǔ)言執(zhí)行對(duì)關(guān)系數(shù)據(jù)庫(kù)中數(shù)據(jù)的檢的語(yǔ)言，這種語(yǔ)言執(zhí)行對(duì)關(guān)系數(shù)據(jù)庫(kù)中數(shù)據(jù)的檢索和操作。索和操作。 v關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合、關(guān)系關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合、關(guān)系完整性約束三部分組成。完整性約束三部分組成。9.3.3 關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)v近年來(lái)，計(jì)算機(jī)的應(yīng)用已從傳統(tǒng)的科學(xué)計(jì)算、事近年來(lái)，計(jì)算機(jī)的應(yīng)用已從傳統(tǒng)的科學(xué)計(jì)算、事務(wù)處理等領(lǐng)域，逐步擴(kuò)展到工程設(shè)計(jì)統(tǒng)計(jì)、人工務(wù)處理等領(lǐng)域，逐步擴(kuò)展到工程設(shè)計(jì)統(tǒng)計(jì)、人工智能、多媒體、分布式等領(lǐng)域，智能、多媒體、分布式等領(lǐng)域，v這些新的應(yīng)用領(lǐng)域需要有新的數(shù)據(jù)庫(kù)

51、支撐，而傳這些新的應(yīng)用領(lǐng)域需要有新的數(shù)據(jù)庫(kù)支撐，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)是以商業(yè)應(yīng)用、事務(wù)處理為統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)是以商業(yè)應(yīng)用、事務(wù)處理為背景而發(fā)展起來(lái)的，它并不完全適用于新領(lǐng)域。背景而發(fā)展起來(lái)的，它并不完全適用于新領(lǐng)域。v因此，新的領(lǐng)域期待有新的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)支撐。因此，新的領(lǐng)域期待有新的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)支撐。9.3.4 非關(guān)系型數(shù)據(jù)庫(kù)（非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL） 傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在將來(lái)大量出現(xiàn)的物聯(lián)傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在將來(lái)大量出現(xiàn)的物聯(lián)網(wǎng)應(yīng)用，暴露了很多難以克服的問(wèn)題：網(wǎng)應(yīng)用，暴露了很多難以克服的問(wèn)題：v 對(duì)數(shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)的需求對(duì)數(shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)的需求 v 對(duì)海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求對(duì)海

52、量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求 v 對(duì)數(shù)據(jù)庫(kù)的高可擴(kuò)展性和高可用性的需求對(duì)數(shù)據(jù)庫(kù)的高可擴(kuò)展性和高可用性的需求 9.3.4 非關(guān)系型數(shù)據(jù)庫(kù)（非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL） NoSQL數(shù)據(jù)庫(kù)大致可以分為以下的三類(lèi)：數(shù)據(jù)庫(kù)大致可以分為以下的三類(lèi)： v1）Key-Value數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)v高性能高性能Key-Value數(shù)據(jù)庫(kù)的主要特點(diǎn)就是具有數(shù)據(jù)庫(kù)的主要特點(diǎn)就是具有極高的并發(fā)讀寫(xiě)性能，極高的并發(fā)讀寫(xiě)性能，Redis，Tokyo Cabinet， Flare，這，這3個(gè)個(gè)Key-Value DB都都是用是用C編寫(xiě)的，他們的性能都相當(dāng)出色，但出了編寫(xiě)的，他們的性能都相當(dāng)出色，但出了出色的性能，他們還有自己獨(dú)特

53、的功能。出色的性能，他們還有自己獨(dú)特的功能。9.3.4 非關(guān)系型數(shù)據(jù)庫(kù)（非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）2）滿(mǎn)足海量存儲(chǔ)需求和訪問(wèn)的面向文檔的數(shù)據(jù)）滿(mǎn)足海量存儲(chǔ)需求和訪問(wèn)的面向文檔的數(shù)據(jù)庫(kù)庫(kù)：Mongo DB，Couch DB v面向文檔的非關(guān)系數(shù)據(jù)庫(kù)主要解決的問(wèn)題不是面向文檔的非關(guān)系數(shù)據(jù)庫(kù)主要解決的問(wèn)題不是高性能的并發(fā)讀寫(xiě)，而是保證海量數(shù)據(jù)存儲(chǔ)的高性能的并發(fā)讀寫(xiě)，而是保證海量數(shù)據(jù)存儲(chǔ)的同時(shí)，具有良好的查詢(xún)性能。同時(shí)，具有良好的查詢(xún)性能。vMongo DB是用是用C+開(kāi)發(fā)的，而開(kāi)發(fā)的，而Couch DB則是則是Erlang開(kāi)發(fā)的。開(kāi)發(fā)的。 9.3.4 非關(guān)系型數(shù)據(jù)庫(kù)（非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）3

54、）滿(mǎn)足高可擴(kuò)展性和可用性的面向分布式計(jì)算的）滿(mǎn)足高可擴(kuò)展性和可用性的面向分布式計(jì)算的數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)：Cassandra，Voldemort v面向面向scale能力的數(shù)據(jù)庫(kù)必須是一個(gè)分布式的數(shù)能力的數(shù)據(jù)庫(kù)必須是一個(gè)分布式的數(shù)據(jù)庫(kù)系統(tǒng)，由分布在不同節(jié)點(diǎn)上面的數(shù)據(jù)庫(kù)共同據(jù)庫(kù)系統(tǒng)，由分布在不同節(jié)點(diǎn)上面的數(shù)據(jù)庫(kù)共同構(gòu)成一個(gè)數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)，并且根據(jù)這種分布式構(gòu)成一個(gè)數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)，并且根據(jù)這種分布式架構(gòu)來(lái)提供架構(gòu)來(lái)提供online的，具有彈性的可擴(kuò)展能力。的，具有彈性的可擴(kuò)展能力。vCassandra常常被看成是一個(gè)開(kāi)源版本的常常被看成是一個(gè)開(kāi)源版本的Google BigTable的替代品。的替代品。vC

55、assandra和和Voldemort都是用都是用Java開(kāi)發(fā)的。開(kāi)發(fā)的。 9.3.5 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)v實(shí)時(shí)數(shù)據(jù)庫(kù)（實(shí)時(shí)數(shù)據(jù)庫(kù)（Real Time Data Base，RTDB）是數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展的一個(gè)分支，是數(shù)據(jù)庫(kù)技術(shù)結(jié)是數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展的一個(gè)分支，是數(shù)據(jù)庫(kù)技術(shù)結(jié)合實(shí)時(shí)處理技術(shù)產(chǎn)生的。合實(shí)時(shí)處理技術(shù)產(chǎn)生的。1. 實(shí)時(shí)數(shù)據(jù)庫(kù)應(yīng)用框架實(shí)時(shí)數(shù)據(jù)庫(kù)應(yīng)用框架 v實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)是開(kāi)發(fā)實(shí)時(shí)控制系統(tǒng)、數(shù)據(jù)采集實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)是開(kāi)發(fā)實(shí)時(shí)控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)、系統(tǒng)、CIMS系統(tǒng)等的支撐軟件。系統(tǒng)等的支撐軟件。v實(shí)時(shí)數(shù)據(jù)庫(kù)已經(jīng)成為企業(yè)信息化的基礎(chǔ)數(shù)據(jù)平臺(tái)。實(shí)時(shí)數(shù)據(jù)庫(kù)已經(jīng)成為企業(yè)信息化的基礎(chǔ)數(shù)據(jù)平臺(tái)。9.3.5

56、實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)應(yīng)用框架實(shí)時(shí)數(shù)據(jù)庫(kù)應(yīng)用框架 9.3.5 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)v在流程行業(yè)中，大量使用實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行在流程行業(yè)中，大量使用實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行控制系統(tǒng)監(jiān)控，系統(tǒng)先進(jìn)控制和優(yōu)化控制，并控制系統(tǒng)監(jiān)控，系統(tǒng)先進(jìn)控制和優(yōu)化控制，并為企業(yè)的生產(chǎn)管理和調(diào)度、數(shù)據(jù)分析、決策支為企業(yè)的生產(chǎn)管理和調(diào)度、數(shù)據(jù)分析、決策支持及遠(yuǎn)程在線瀏覽提供實(shí)時(shí)數(shù)據(jù)服務(wù)和多種數(shù)持及遠(yuǎn)程在線瀏覽提供實(shí)時(shí)數(shù)據(jù)服務(wù)和多種數(shù)據(jù)管理功能。據(jù)管理功能。 9.3.5 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)v針對(duì)不同行業(yè)不同類(lèi)型的企業(yè)，實(shí)時(shí)數(shù)據(jù)庫(kù)針對(duì)不同行業(yè)不同類(lèi)型的企業(yè)，實(shí)時(shí)數(shù)據(jù)庫(kù)的數(shù)據(jù)來(lái)源方式也各不相同。的數(shù)據(jù)來(lái)源方式也各不相同。

57、v總的來(lái)說(shuō)數(shù)據(jù)的主要來(lái)源有總的來(lái)說(shuō)數(shù)據(jù)的主要來(lái)源有DCS控制系統(tǒng)、由控制系統(tǒng)、由組態(tài)軟件組態(tài)軟件 + PLC建立的控制系統(tǒng)、數(shù)據(jù)采集建立的控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)（系統(tǒng)（SCADA）、關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)、直接連）、關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)、直接連接硬件設(shè)備和通過(guò)人機(jī)界面人工錄入的數(shù)據(jù)。接硬件設(shè)備和通過(guò)人機(jī)界面人工錄入的數(shù)據(jù)。 9.3.5 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)2. 實(shí)時(shí)數(shù)據(jù)庫(kù)結(jié)構(gòu)實(shí)時(shí)數(shù)據(jù)庫(kù)結(jié)構(gòu)v由采集站由采集站DA、數(shù)據(jù)服務(wù)器、數(shù)據(jù)服務(wù)器、 WEB服務(wù)器、客服務(wù)器、客戶(hù)端組成，同時(shí)和關(guān)系數(shù)據(jù)庫(kù)進(jìn)行有效的數(shù)據(jù)戶(hù)端組成，同時(shí)和關(guān)系數(shù)據(jù)庫(kù)進(jìn)行有效的數(shù)據(jù)交換，交換，DCS的數(shù)據(jù)經(jīng)過(guò)的數(shù)據(jù)經(jīng)過(guò)DA進(jìn)行采集，由進(jìn)行采集，由

58、DA SERVER送到數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器再有效送到數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器再有效的送給其它客戶(hù)端。的送給其它客戶(hù)端。9.3.5 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)3. 實(shí)時(shí)數(shù)據(jù)庫(kù)的常規(guī)功能實(shí)時(shí)數(shù)據(jù)庫(kù)的常規(guī)功能 v 高高I/O事物吞吐量事物吞吐量v 高效壓縮技術(shù)歸檔算法高效壓縮技術(shù)歸檔算法 v 特征化斷面查詢(xún)特征化斷面查詢(xún) v 智能化恢復(fù)及負(fù)載均衡智能化恢復(fù)及負(fù)載均衡 v 數(shù)據(jù)序列化及災(zāi)難恢復(fù)數(shù)據(jù)序列化及災(zāi)難恢復(fù) 9.3.6 分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式數(shù)據(jù)庫(kù)系統(tǒng) 分布式數(shù)據(jù)庫(kù)系統(tǒng)有兩種：分布式數(shù)據(jù)庫(kù)系統(tǒng)有兩種：v一種是物理上分布的，但邏輯上卻是集中的。這種一種是物理上分布的，但邏輯上卻是集中的。這種分布式數(shù)據(jù)庫(kù)

59、只適宜用途比較單一的、不大的單位分布式數(shù)據(jù)庫(kù)只適宜用途比較單一的、不大的單位或部門(mén)。或部門(mén)。v另一種分布式數(shù)據(jù)庫(kù)系統(tǒng)在物理上和邏輯上都是分另一種分布式數(shù)據(jù)庫(kù)系統(tǒng)在物理上和邏輯上都是分布的，也就是所謂聯(lián)邦式分布數(shù)據(jù)庫(kù)系統(tǒng)。由于組布的，也就是所謂聯(lián)邦式分布數(shù)據(jù)庫(kù)系統(tǒng)。由于組成聯(lián)邦的各個(gè)子數(shù)據(jù)庫(kù)系統(tǒng)是相對(duì)成聯(lián)邦的各個(gè)子數(shù)據(jù)庫(kù)系統(tǒng)是相對(duì)“自治自治”的，這的，這種系統(tǒng)可以容納多種不同用途的、差異較大的數(shù)據(jù)種系統(tǒng)可以容納多種不同用途的、差異較大的數(shù)據(jù)庫(kù)，比較適宜于大范圍內(nèi)數(shù)據(jù)庫(kù)的集成。庫(kù)，比較適宜于大范圍內(nèi)數(shù)據(jù)庫(kù)的集成。9.3.6 分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式數(shù)據(jù)庫(kù)系統(tǒng)1. 簡(jiǎn)介簡(jiǎn)介v分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式數(shù)據(jù)

60、庫(kù)系統(tǒng)(DDBS)包含分布式數(shù)據(jù)庫(kù)管包含分布式數(shù)據(jù)庫(kù)管理系統(tǒng)理系統(tǒng)(DDBMS)和分布式數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)(DDB)。v在分布式數(shù)據(jù)庫(kù)系統(tǒng)中，一個(gè)應(yīng)用程序可以對(duì)數(shù)據(jù)在分布式數(shù)據(jù)庫(kù)系統(tǒng)中，一個(gè)應(yīng)用程序可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行透明操作，數(shù)據(jù)庫(kù)中的數(shù)據(jù)分別在不同的局庫(kù)進(jìn)行透明操作，數(shù)據(jù)庫(kù)中的數(shù)據(jù)分別在不同的局部數(shù)據(jù)庫(kù)中存儲(chǔ)、由不同的部數(shù)據(jù)庫(kù)中存儲(chǔ)、由不同的 DBMS進(jìn)行管理、在進(jìn)行管理、在不同的機(jī)器上運(yùn)行、由不同的操作系統(tǒng)支持、被不不同的機(jī)器上運(yùn)行、由不同的操作系統(tǒng)支持、被不同的通信網(wǎng)絡(luò)連接在一起。同的通信網(wǎng)絡(luò)連接在一起。 9.3.6 分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式數(shù)據(jù)庫(kù)系統(tǒng)v一個(gè)分布式數(shù)據(jù)庫(kù)在邏輯上是一個(gè)統(tǒng)一的