云計算和大數據基礎知識

1、云計算與大數據基礎知識 云計算就是統(tǒng)一部署的程序、統(tǒng)一存儲并由相關程序統(tǒng)一管理著的數據！云計算cloud computing 是一種基于因特網的超級計算模式，在遠程的數據中心里，成千上萬臺電腦和 服務器連接成一片電腦云。因此，云計算甚至可以讓你體驗每秒超過10 萬億次的運算能力，擁有這么強大 的計算能力可以模擬核爆炸、預測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機等方式接入數據 中心，按自己的需求進行運算。云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的 計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需

2、投入 很少的管理工作，或與服務供應商進行很少的交互。 ）， 己的業(yè)務，有利于提高效率、降低成本和技術創(chuàng)新。云計算的核心理念是資源池。 作為一種商品進行流通，就像煤氣、水電一樣，取用方便，費用低廉。最大的不同在于，它是通過互聯(lián)網進 礎資源，主要包括網絡環(huán)境下的三大類設備，即：計算(服務器)、存儲(存儲設備)和網絡(交換機、路由器等 設備);軟件基礎資源，則包括單機操作系統(tǒng)、中間件、數據庫等。支持資源動態(tài)伸縮，實現(xiàn)基礎資源的網絡冗余，意味著添加、刪除、修改云計算環(huán)境的任一資源節(jié)點， 機制，資源可以流轉到需要的地方。如在系統(tǒng)業(yè)務整體升高情況下，可以啟動閑置資源，納入系統(tǒng)中，提高 轉入節(jié)能模式，從而在

3、提高部分資源利用率的情況下，達到其他資源綠色、低碳的應用效果。在云計算平臺上，可以同時運行多個不同類型的業(yè)務。異構，表示該業(yè)務不是同一的，不是已有的或事 先定義好的，而應該是用戶可以自己創(chuàng)建并定義的服務。這也是云計算與網格計算的一個重要差異。4、支持海量信息處理云計算，在底層，需要面對各類眾多的基礎軟硬件資源;在上層，需要能夠同時支持各類眾多的異構的 業(yè)務;而具體到某一業(yè)務，往往也需要面對大量的用戶。由此，云計算必然需要面對海量信息交互，需要有 高效、穩(wěn)定的海量數據通信/存儲系統(tǒng)作支撐。5、按需分配，按量計費 用計算，在云計算平臺實現(xiàn)按需分配后，按量計費也成為云計算平臺向外提供服務時的有效收費

4、形式。 公有云通常指第三方提供商為用戶提供的能夠使用的云，公有云一般可通過 Internet 使用，可能是免 優(yōu)點： A、安全。云計算提供了最可靠、最安全的數據存儲中心，用戶不用再擔心數據丟失、病毒入侵 私有云(Private Clouds)是為一個客戶單獨使用而構建的，因而提供對數據、安全性和服務質量的最有效 心的防火墻內，也可以將它們部署在一個安全的主機托管場所。 流程假如使用公有云的話，將會對IT 部門流程有很多的沖擊，比如在數據管理方面和安全規(guī)定等方面?；旌显迫诤狭斯性坪退接性?，是近年來云計算的主要模式和發(fā)展方向。私有云主要是面向企業(yè)用戶， 決方案，達到了既省錢又安全的目的。 一般來

5、講，云計算平臺服務模式為如下的架構，如圖 1 所示。 最下的一層是 IaaS(Infrastructure-as-a- Service)：基礎設施即服務，提供CPU，網絡，存儲等基礎硬件的云服 再上一層是 PaaS(Platform-as-a- Service)：平臺即服務，提供類似于操作系統(tǒng)層次的服務與管理。最后一層是 SaaS(Software-as-a- Service)：軟件即服務，就是我們所熟悉的軟件即服務。事實上SaaS 的概念 理念是：有別的傳統(tǒng)的許可證付費方式 ( 比如購買 Windows Office)，SaaS 強調按需使用付費。 1、傳統(tǒng)的IT 部署架構是“煙囪式”的，或

6、者叫做“專機專用”系統(tǒng)。 這種部署模式主要存在的問題有以下兩點：硬件高配低用?？紤]到應用系統(tǒng)未來35 年的業(yè)務發(fā)展，以及業(yè)務突發(fā)的需求，為滿足應用系統(tǒng)的性 能、容量承載需求，往往在選擇計算、存儲和網絡等硬件設備的配置時會留有一定比例的余量。但硬件資源 上線后，應用系統(tǒng)在一定時間內的負載并不會太高，使得較高配置的硬件設備利用率不高。 重要的是考慮到可靠性、穩(wěn)定性、運維管理問題，將新、舊應用系統(tǒng)整合在一套基礎架構上的難度非常大， 更多的用戶往往選擇新增與應用系統(tǒng)配套的計算、存儲和網絡等硬件設備。這種部署模式，造成了每套硬件與所承載應用系統(tǒng)的“專機專用”，多套硬件和應用系統(tǒng)構成了“煙囪 式”部署架構

7、，使得整體資源利用率不高，占用過多的機房空間和能源，隨著應用系統(tǒng)的增多，IT 資源的效 率、擴展性、可管理性都面臨很大的挑戰(zhàn)。 云基礎架構在傳統(tǒng)基礎架構計算、存儲、網絡硬件層的基礎上，增加了虛擬化層、云層：虛擬化層：大多數云基礎架構都廣泛采用虛擬化技術，包括計算虛擬化、存儲虛擬化、網絡虛擬化等。 通過虛擬化層，屏蔽了硬件層自身的差異和復雜度，向上呈現(xiàn)為標準化、可靈活擴展和收縮、彈性的虛擬化 資源池;云層：對資源池進行調配、組合，根據應用系統(tǒng)的需要自動生成、擴展所需的硬件資源，將更多的應用 系統(tǒng)通過流程化、自動化部署和管理，提升IT 效率。 幫助用戶構建IaaS(基礎架構即服務)云業(yè)務模式。 1

8、、桌面虛擬化是指：支持企業(yè)級實現(xiàn)桌面系統(tǒng)的遠程動態(tài)訪問與數據中心統(tǒng)一托管的技術。一個形象的類 而未來我們可以通過任何設備，在任何地點，任何時間訪問在網絡上的屬于我們個人的桌面系統(tǒng)。2、桌面虛擬化是在物理服務器上安裝虛擬主機系統(tǒng)，由虛擬主機系統(tǒng)模擬出操作系統(tǒng)運行所需要的硬件資 源，如： CPU、內存、網卡、存儲等。操作系統(tǒng)運行在這些虛擬的硬件資源之上，可以達到多個操作系統(tǒng)共 享物理服務器的硬件資源，從而提高資源利用率。虛擬桌面的存儲和執(zhí)行（包括操作系統(tǒng)、應用程序和用戶 化將所有桌面虛擬機在數據中心進行托管并統(tǒng)一管理；同時用戶能夠獲得完整PC 的使用體驗。用戶可以通 過瘦客戶端，或者類似的設備在局

9、域網或者遠程訪問獲得與傳統(tǒng)PC 一致的用戶體驗。是一種僅將操作系統(tǒng) 桌面呈現(xiàn)在用戶面前的技術，由服務器端完成運算?？梢越Y合服務器虛擬化和應用虛擬化進行。（1 ）快速、靈活部署：按需申請、快速發(fā)放、無需搬運沉重的PC 主機，統(tǒng)一接入、隨時隨地訪問；（2）提高資源利用率：統(tǒng)一管理后臺數據中心資源，并統(tǒng)一進行調度管理，將資源的利用率最大化；（3 ）數據存放安全可靠：數據存放在后臺數據中心，安全可靠。并且訪問虛擬桌面時在網絡上傳輸的都是 圖片信息，不易被他人通過網絡竊取信息；（4）維護便利：瘦終端無須軟件維護；虛擬桌面維護工作可在后臺統(tǒng)一進行，非常便利；（5 ）節(jié)能減排：采用桌面虛擬化系統(tǒng)，因“瘦終端

10、”功耗很低，同時，數據中心的資源利用率又較高，因 此，可達到節(jié)省成本、節(jié)能減排的目標。 “大數據”是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數據庫軟件工具能力范圍的數據 集合，具有海量的數據規(guī)模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。大數據技術的戰(zhàn)略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業(yè)化處理。 處理、分布式數據庫和云存儲、虛擬化技術。大數據需要特殊的技術，以有效地處理大量的數據。適用于大數據的技術，包括大規(guī)模并行處理數據庫、數 據挖掘、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。 1.規(guī)模性（Volume） 大，數

11、據具有完整性。2.高速性（Velocity） 當有大量數據輸入或必須做出反應時能夠迅速對數據進行分析。3.多樣性（Variety） 機器數據、圖像、視頻、點擊流以及其他任何可用的信息進行分析。利用大數據多樣性的原理就是：保留一切對 你有用的你需要的信息，丟棄那些你不需要的信息。發(fā)現(xiàn)那些有關聯(lián)的數據，加以收集、分析、加工，使其變成 4.價值性（Value）合理利用低密度價值的數據并對其進行正確、準確的分析，將會帶來很高的價值回報。 電腦分配工作?？梢哉f，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數據則是電。兩者的關系：沒有大數據的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計

12、算的處 理能力，則大數據的信息積淀再豐富，也終究只是鏡花水月。圖4 大數據與云計算的關系分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數據的多臺計算機用通信網絡連接起來，在 控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調地完成信息處理任務。 存儲系統(tǒng)中的結構化和非結構化數據全部整合到一個單一的存儲平臺上。當所有存儲資產變成一個單一的存儲資 回收和容量利用率的最大化，并延長現(xiàn)有存儲系統(tǒng)的壽命，顯著提高IT 系統(tǒng)的靈活性和效率，以滿足非結構化 4、感知技術大數據的采集和感知技術的發(fā)展是緊密聯(lián)系的。以傳感器技術，指紋識別技術， RFID 技術，坐標定位技術 等為基礎的感知能力提升同樣是物聯(lián)網發(fā)展的基石。全

13、世界的工業(yè)設備、汽車、電表上有著無數的數碼傳感器， 隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質的變化，都會產生海量的數據信息。 CAD/CAM/CAE/CAI 等技術在工業(yè)企業(yè)中得到廣泛應用，尤其是互聯(lián)網、移動互聯(lián)網、物聯(lián)網等新一代信息技術 臨的問題和挑戰(zhàn)并不比互聯(lián)網行業(yè)的大數據應用少，某些情況下甚至更為復雜。 移動連接、分布式計算和高級分析，信息技術和全球工業(yè)系統(tǒng)正在深入融合，給全球工業(yè)帶來深刻的變革，創(chuàng)新 企業(yè)的研發(fā)、生產、運營、營銷和管理方式。這些創(chuàng)新不同行業(yè)的工業(yè)企業(yè)帶來了更快的速度、更高的效率和更 高的洞察力。工業(yè)大數據的典型應用包括產品創(chuàng)新、設備故障診斷與預

14、測、工業(yè)生產線物聯(lián)網分析、工業(yè)企業(yè)供 應鏈優(yōu)化和產品精準營銷等各個方面。 用電量分析、能耗分析、質量事故分析（包括違反生產規(guī)定、零部件故障）等。例如，在能耗分析方面，在設備 能源的消耗，對所有流程進行分析將會大大降低能耗。 1、大數據對企業(yè)管理思想的影響 息化。企業(yè)中的數據收集、傳輸利用需要現(xiàn)代管理思想的支撐。 司短期盈利作為目標，是缺乏戰(zhàn)略性的思考。有效的利用數據分析結果，提前進行預測，抓住市場先機、顧客需 求，就能主動贏得市場，才能在企業(yè)管理與銷售業(yè)績上創(chuàng)造出更大的財富。2、大數據對企業(yè)管理決策的影響 種全新的決策方式、業(yè)務模式，企業(yè)必須適應大數據環(huán)境對管理決策的新挑戰(zhàn)。 決策方式。管理決

15、策層根據大數據分析結果發(fā)現(xiàn)和解決問題、預測機遇與挑戰(zhàn)、規(guī)避風險。這就要求決策層具有 出正確的決策。這就要求企業(yè)的組織更加趨于扁平化。3.大數據對企業(yè)人力資源管理的影響 源管理的效率和質量。有效的加快人力資源工作從過去的經驗管理模式向戰(zhàn)略管理模式的轉變。 技術，將這些數據進行整合分析利用，能夠為企業(yè)帶來巨大貢獻。首先，在員工招聘上，只需將單位用人要求與 員工各項能力數據相匹配，結合人力資源招聘的經驗，便可輕松選出符合要求的員工。其次，在績效考核上，進 行標準化管理，將員工日常的各類數據進行分析，設定等級標準，即可得出客觀公正的考核結果。這大大排除了 績效管理的主觀性與不全面性。最后，根據大數據的

16、分析結果，針對不同員工區(qū)別培訓，更有效率的提高了培訓 4.大數據對企業(yè)財務管理的影響 據技術下進行發(fā)掘，提純出更多有用的財務信息，及早的發(fā)現(xiàn)財務風險，為管理決策者提供重要的決策依據，做 出正確的決斷。其次，財務數據的處理更加及時高效。財務數據在企業(yè)日常運營當中舉足輕重，企業(yè)的各項交易 并且是有效率的，企業(yè)資金資本運作成本降低和壓縮了，利潤相應提高了。企業(yè)資源最豐富的積累，最基礎的財 務數據，通過大數據技術進行對財務數據整理和分析，實現(xiàn)了企業(yè)價值增值。 1、臺式服務器（塔式服務器）臺式服務器也稱為“塔式服務器”。有的臺式服務器采用大小與普通立式計算機大致相當的機箱，有的 采用大容量的機箱，像個碩

17、大的柜子。低檔服務器由于功能較弱，整個服務器的內部結構比較簡單，所以機 圍，這類服務器在整個服務器市場中占有相當大的份額。 優(yōu)點：塔式服務器它的外形以及結構都跟我們平時使用的立式PC 差不多，由于服務器的主板擴展性較 強、插槽也多出一堆，所以個頭比普通主板大一些，因此塔式服務器的主機機箱也比標準的ATX 機箱要大， 一般都會預留足夠的內部空間以便日后進行硬盤和電源的冗余擴展。 非常廣，應該說目前使用率最高的一種服務器就是塔式服務器。 機協(xié)同工作，而塔式服務器個頭太大，獨立性太強，協(xié)同工作在空間占用和系統(tǒng)管理上都不方便，這也是塔 式服務器的局限性。不過，總的來說，這類服務器的功能、性能基本上能滿

18、足大部分企業(yè)用戶的要求，其成 本通常也比較低，因此這類服務器還是擁有非常廣泛的應用支持。 服務器安裝在標準的19 英寸機柜里面。這種結構的多為功能型服務器。 占用，而減少空間的直接好處就是在機房托管的時候價格會便宜很多。很多專業(yè)網絡設備都是采用機架式的結構（多為扁平式，就像個抽屜），如交換機、路由器、硬件防火 4U，5U，7U）幾種標準的服務器。機柜的尺寸也是采用通用的工業(yè)標準，通常從22U 到42U 不等；機柜內 按U 的高度有可拆卸的滑動拖架，用戶可以根據自己服務器的標高靈活調節(jié)高度，以存放服務器、集線器、 磁盤陣列柜等網絡設備。服務器擺放好后，它的所有I/O 線全部從機柜的后方引出（機架

19、服務器的所有接口 ）， 的限制，配件也要經過一定的篩選，一般都無法實現(xiàn)太完整的設備擴張，所以單機性能就比較有限，應用范 圍也比較有限，只能專注于某一方面的應用，如遠程存儲和Web 服務的提供等刀片式服務器是一種HAHD（High Availability High Density，高可用高密度）的低成本服務器平臺，是專 門為特殊應用行業(yè)和高密度計算機環(huán)境設計的，其中每一塊“刀片”實際上就是一塊系統(tǒng)母板，類似于一個 個獨立的服務器。在這種模式下，每一個母板運行自己的系統(tǒng)，服務于指定的不同用戶群，相互之間沒有關 供高速的網絡環(huán)境，可以共享資源，為相同的用戶群服務。刀片式服務器目前最適合群集計算和I

20、xP 提供互 （2）高處理能力密度，節(jié)省寶貴空間和占地費用（4）可靠性設計更加完善，減少停機時間（6）冗余交換模塊和電纜連接（1 ）刀片服務器比機架式服務器更節(jié)省空間，同時，散熱問題也更突出，往往要在機箱內裝上大型強 通過任何接入線纜與云存儲連接，對云存儲進行數據訪問。存儲層是云存儲最基礎的部分。存儲設備可以是FC 光纖通道存儲設備，可以是NAS 和 iSCSI 等IP 存儲 設備，也可以是 SCSI 或SAS 等 DAS 存儲設備。云存儲中的存儲設備往往數量龐大且分布在不同地域。彼此 之間通過廣域網、互聯(lián)網或者FC 光纖通道網絡連接在一起。 DAS 存儲在我們生活中是非常常見的，尤其是在中小

21、企業(yè)應用中， DAS 是最主要的應用模式，存儲系統(tǒng)被直 連到應用的服務器中，在中小企業(yè)中，許多的數據應用是必須安裝在直連的DAS 存儲器上。DAS 存儲更多的依賴服務器主機操作系統(tǒng)進行數據的IO 讀寫和存儲維護管理，數據備份和恢復要求占用服 占用服務器主機資源 20-30%，因此許多企業(yè)用戶的日常數據備份常常在深夜或業(yè)務系統(tǒng)不繁忙時進行，以免影 直連式存儲與服務器主機之間的連接通道通常采用SCSI 連接，隨著服務器CPU 的處理能力越來越強，存儲 能夠建立的SCSI 通道連接有限。無論直連式存儲還是服務器主機的擴展，從一臺服務器擴展為多臺服務器組成的群集(Cluster)，或存儲陣列 容量的擴

22、展，都會造成業(yè)務系統(tǒng)的停機，從而給企業(yè)帶來經濟損失，對于銀行、電信、傳媒等行業(yè)724 小時服 務的關鍵業(yè)務系統(tǒng)，這是不可接受的。并且直連式存儲或服務器主機的升級擴展，只能由原設備廠商提供，往往 NAS 存儲也通常被稱為附加存儲，顧名思義，就是存儲設備通過標準的網絡拓撲結構(例如以太網)添加到一 群計算機上。 NAS 是文件級的存儲方法，它的重點在于幫助工作組和部門級機構解決迅速增加存儲容量的需求。 如今用戶采用 NAS 較多的功能是用來文檔共享、圖片共享、電影共享等等，而且隨著云計算的發(fā)展，一些NAS 廠商也推出了云存儲功能，大大方便了企業(yè)和個人用戶的使用。 檔，因而NAS 設備無需改造即可用

23、于混合Unix/Windows NT局域網內，同時NAS 的應用非常靈活。 就是說LAN 除了必須處理正常的最終用戶傳輸流外，還必須處理包括備份操作的存儲磁盤請求。 為一個專用的存儲網絡。 SAN 經過十多年歷史的發(fā)展，已經相當成熟，成為業(yè)界的事實標準（但各個廠商的光纖 不受現(xiàn)今主流的、基于SCSI 存儲結構的布局限制。特別重要的是，隨著存儲容量的爆炸性增長， SAN 允許企業(yè) 獨立地增加它們的存儲容量。 SAN 的結構允許任何服務器連接到任何存儲陣列，這樣不管數據置放在那里，服務 如今的SAN 解決方案通常會采取以下兩種形式：光纖信道以及iSCSI 或者基于IP 的SAN，也就是FC SAN

24、 和 IP SAN。光纖信道是SAN 解決方案中大家最熟悉的類型，但是，最近一段時間以來，基于iSCSI 的SAN 解決方案 開始大量出現(xiàn)在市場上，與光纖通道技術相比較而言，這種技術具有良好的性能，而且價格低廉。SAN 真正的綜合了DAS 和NAS 兩種存儲解決方案的優(yōu)勢。例如，在一個很好的SAN 解決方案實現(xiàn)中，你可 以得到一個完全冗余的存儲網絡，這個存儲網絡具有不同尋常的擴展性，確切地說，你可以得到只有NAS 存儲 解決方案才能得到的幾百T字節(jié)的存儲空間，但是你還可以得到塊級數據訪問功能，而這些功能只能在DAS 解 SAN 顯得具有更好的性能。利用SAN 解決方案，你還可以實現(xiàn)存儲的集中管

25、理，從而能夠充分利用那些處于空 閑狀態(tài)的空間。更有優(yōu)勢的一點是，在某些實現(xiàn)中，你甚至可以將服務器配置為沒有內部存儲空間的服務器，要 求所有的系統(tǒng)都直接從SAN （只能在光纖通道模式下實現(xiàn)）引導。這也是一種即插即用技術。 美金。從另一個角度來看，雖然新推出的基于iSCSI 的SAN 解決方案大約只需要兩萬到三萬美金，但是其性能卻 無法和光纖信道相比較。在價格上的差別主要是由于iSCSI 技術使用的是現(xiàn)在已經大量生產的頭發(fā)千兆以太網硬 件，而光纖通道技術要求采用特定的設備，價格昂貴。因為 SAN 解決方案是從基本功能剝離出存儲功能，所以運行備份操作就無需考慮它們對網絡總體性能的影 響。 SAN 方

26、案也使得管理及集中控制實現(xiàn)簡化，特別是對于全部存儲設備都集群在一起的時候。最后一點，光纖 接口提供了10 公里的連接長度，這使得實現(xiàn)物理上分離的、不在機房的存儲變得非常容易。 交換機（switch）是一種在通信系統(tǒng)中完成信息交換功能的設備。交換機的主要功能包括物理編址、網絡拓撲結構、錯誤校驗、幀序列以及流控。目前交換機還具備了一些新 的功能，如對VLAN （虛擬局域網）的支持、對鏈路匯聚的支持，甚至有的還具有防火墻的功能。核心交換機并不是交換機的一種類型，而是放在核心層（網絡主干部分）的交換機叫核心交換機。核心交換 機應當全部采用模塊化結構，必須擁有相當數量的插槽，具有強大的網絡擴展能力，以保

27、護原有的投資。 的子網或VLAN。不過應清醒認識到三層交換機出現(xiàn)最重要的目的是加快大型區(qū)域網內部的數據交換，所具備的 持等方面還有許多欠缺，并不能完全取代路由器工作。 的優(yōu)點是速度快、抗干擾能力強。光纖交換機特別適合于信息點接入距離超出五類線接入距離、需要抗電磁干擾以及需要通信保密等場合適用 的領域包括：住宅小區(qū)FTTH 寬帶接入網絡；企業(yè)高速光纖局域網；高可靠工業(yè)集散控制系統(tǒng)（DCS光纖數字 視頻監(jiān)控網絡；醫(yī)院高速光纖局域網；校園網絡。 （3）接入層交換機常將網絡中直接面向用戶連接或訪問網絡的部分稱為接入層，將位于接入層和核心層之間的部分稱為分布層 本地的匯聚交換機上交換，減少核心層的工作負擔，使核心層只處理到本地區(qū)域外的數據交換。