警務(wù)云計(jì)算平臺(tái)視頻資源整合方案.doc

警務(wù)云計(jì)算平臺(tái)視頻資源整合方案警務(wù)云計(jì)算平臺(tái)視頻資源整合方案目錄目錄21 項(xiàng)目背景與必要性分析41.1 城市安防與云計(jì)算41.2 某省安防現(xiàn)狀分析51.3 項(xiàng)目必要性51.3.1 從信息孤島到全局統(tǒng)籌的轉(zhuǎn)變61.3.2 從人工監(jiān)控到智能安防的轉(zhuǎn)變61.3.3 從事后分析到事中追蹤的轉(zhuǎn)變71.3.4 從獨(dú)立應(yīng)用到綜合聯(lián)動(dòng)的轉(zhuǎn)變72 平臺(tái)架構(gòu)設(shè)計(jì)82.1 網(wǎng)絡(luò)架構(gòu)82.1.1 網(wǎng)絡(luò)拓?fù)?2.1.2 數(shù)據(jù)安全網(wǎng)閘102.2 軟件架構(gòu)122.2.1 平臺(tái)架構(gòu)圖122.2.2 前端設(shè)備132.2.3 接入服務(wù)器132.2.4 中心服務(wù)器142.2.5 存儲(chǔ)服務(wù)器集群142.2.6 處理服務(wù)器集群142.2.7 流媒體服務(wù)器152.2.8 客戶(hù)端152.3 平臺(tái)聯(lián)動(dòng)調(diào)度152.4 平臺(tái)部署策略172.4.1 區(qū)縣未集中處理的視頻172.4.2 區(qū)縣已集中管理的視頻183 平臺(tái)模塊技術(shù)描述193.1 IaaS層cStor云存儲(chǔ)193.1.1 cStor云存儲(chǔ)系統(tǒng)193.1.2 cStor系統(tǒng)構(gòu)架243.1.3 cStor架構(gòu)描述243.1.4 cStor部署示意圖253.1.5 cStor掛載接口263.1.6 cStor讀寫(xiě)數(shù)據(jù)工作原理263.1.7 minicloud簡(jiǎn)介283.1.8 minicloud產(chǎn)品優(yōu)勢(shì)283.1.9 minicloud技術(shù)規(guī)格303.1.10 cStor存儲(chǔ)性能303.2 PaaS層cProc云處理323.2.1 JobKeeper云調(diào)度323.2.2 cProc數(shù)據(jù)立方363.2.3 cProc數(shù)據(jù)立方關(guān)鍵技術(shù)393.2.4 cProc數(shù)據(jù)立方性能指標(biāo)443.2.5 與同類(lèi)技術(shù)/產(chǎn)品對(duì)比分析453.3 SaaS層cVideo云視頻483.3.1 cVideo系統(tǒng)邏框圖483.3.2 cVideo子系統(tǒng)描述503.3.3 cVideo接口描述693.3.4 cVideo總體性能713.3.5 cVideo智能識(shí)別734 圖像資源庫(kù)774.1 圖像資源庫(kù)建設(shè)內(nèi)容774.2 關(guān)鍵技術(shù)784.2.1 圖像增強(qiáng)技術(shù)784.2.2 目標(biāo)識(shí)別技術(shù)794.2.3 顏色特征提取技術(shù)804.3.4 紋理特征提取技術(shù)814.3.5 形狀特征提取技術(shù)814.3.6 大規(guī)模圖像數(shù)據(jù)管理技術(shù)824.3.7 人臉識(shí)別技術(shù)834.3 圖像數(shù)據(jù)庫(kù)優(yōu)勢(shì)分析854.3.1 圖像優(yōu)化可用性高854.3.2 特征提取方便檢閱854.3.3 辦案視頻同步上傳854.3.4 高速索引秒級(jí)處理855應(yīng)用實(shí)例865.1 道路狀況檢測(cè)865.2 車(chē)輛軌跡跟蹤885.3 GIS聯(lián)動(dòng)895.4 重點(diǎn)區(qū)域智能監(jiān)控905.5 套牌車(chē)檢索925.6 移動(dòng)終端監(jiān)控936 聯(lián)系方式951 項(xiàng)目背景與必要性分析1.1 城市安防與云計(jì)算城市公共場(chǎng)所往往有成千上萬(wàn)路監(jiān)控?cái)z像頭遍布街頭，晝夜不停地監(jiān)視和錄像，在改善社會(huì)治安的同時(shí)，也產(chǎn)生出海量的視頻數(shù)據(jù)需要監(jiān)控管理平臺(tái)存儲(chǔ)和處理。要對(duì)這些海量視頻通過(guò)人工進(jìn)行重點(diǎn)圖像的抓拍，困難很大。首先，需要對(duì)所有的視頻錄像進(jìn)行逐幀瀏覽，才能發(fā)現(xiàn)重點(diǎn)圖像，這無(wú)疑工作量巨大，甚至猶如大海撈針。其次，即使找到了重點(diǎn)圖像，人工抓拍，并且要記錄下對(duì)應(yīng)的原始視頻圖像的時(shí)間點(diǎn)等，也是工作量很大，效率很低。由于人的生理特征所限，長(zhǎng)時(shí)間觀看視頻錄像，容易產(chǎn)生視覺(jué)疲勞，還有可能漏掉重要圖像和線(xiàn)索。理想情況是一旦有重要事件發(fā)生，系統(tǒng)就可在事后能快速查找到線(xiàn)索。針對(duì)上述海量監(jiān)控視頻錄像的事后分析，傳統(tǒng)以人海戰(zhàn)術(shù)為主的視頻線(xiàn)索查找，顯然不能滿(mǎn)足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動(dòng)的、智能的系統(tǒng)實(shí)現(xiàn)上述需求。目前，基于云計(jì)算的大規(guī)模數(shù)據(jù)存儲(chǔ)和處理技術(shù)以及視頻圖像智能處理分析技術(shù)可以解決這一問(wèn)題。通過(guò)視頻濃縮摘要，縮短視頻事件的播放時(shí)間，通過(guò)目標(biāo)內(nèi)容識(shí)別、分類(lèi)等實(shí)現(xiàn)快速查找事件線(xiàn)索，縮小查看范圍的功能，這些都極大地減輕警方刑偵人員的工作負(fù)荷，海量視頻分析功能的實(shí)現(xiàn)和應(yīng)用將大大提高監(jiān)控效率。國(guó)內(nèi)外很多公司以及機(jī)構(gòu)都在這一領(lǐng)域投入了大量的研究，將云計(jì)算，智能識(shí)別等技術(shù)聯(lián)系在一起，更好的為安防服務(wù)。充分利用云計(jì)算的海量數(shù)據(jù)計(jì)算能力和智能的處理能力，不僅能大大縮小了對(duì)于各類(lèi)事件的事后取證所需要的時(shí)間，提高了取證效率，而且對(duì)于各種突發(fā)事件的預(yù)防、響應(yīng)都起到了積極有效的作用。1.2 某省安防現(xiàn)狀分析某省公安廳貫徹執(zhí)行“平安城市”方針，目前全省已先后建立了110余萬(wàn)臺(tái)監(jiān)控?cái)z像機(jī)，為全省人民的安全提供著保障，但同時(shí)，如此龐大且分散的監(jiān)控體系也帶來(lái)了巨大的挑戰(zhàn)。矛盾主要集中在： 海量視頻需要存儲(chǔ)，但現(xiàn)有存儲(chǔ)空間嚴(yán)重不足； 視頻碼率清晰度不斷提升，但傳輸網(wǎng)絡(luò)帶寬資源不足； 小塊區(qū)域集中管理，但跨區(qū)域調(diào)用視頻困難； 監(jiān)控還未達(dá)到智能化程度，時(shí)效性不強(qiáng)，多用于事后回調(diào)；在之前的建設(shè)與管理中，省廳已打造了一個(gè)視頻資源共享平臺(tái)，實(shí)現(xiàn)了將8萬(wàn)路視頻資源的整合和統(tǒng)一管理，取得了很大的成功。但與全省110萬(wàn)的總量相比，仍有許多工作要做，并且還需要進(jìn)一步將社會(huì)上的視頻資源也納入到整個(gè)監(jiān)控體系中來(lái)。1.3 項(xiàng)目必要性公共區(qū)域視頻監(jiān)控系統(tǒng)的建設(shè)是平安城市建設(shè)必不可少的重要組成部分，其視頻監(jiān)控資源的整合、優(yōu)化以及利用程度是城市信息化程度的重要標(biāo)志之一，大部分的公共區(qū)域中已建成大量、屬于各個(gè)部門(mén)、基于不同制式標(biāo)準(zhǔn)、不同設(shè)備、不同平臺(tái)的視頻監(jiān)控系統(tǒng)，但目前這些資源并沒(méi)有得到有效整合，無(wú)法跨平臺(tái)、跨部門(mén)進(jìn)行集中優(yōu)化處理，這就造成了城市現(xiàn)有視頻資源利用率低、重復(fù)建設(shè)、缺乏統(tǒng)一調(diào)度等不良現(xiàn)象，本項(xiàng)目基于這個(gè)現(xiàn)狀旨在建設(shè)一個(gè)統(tǒng)一的、城市級(jí)的視頻監(jiān)控平臺(tái)，將城市現(xiàn)有的視頻監(jiān)控資源有效整合起來(lái)，并在此基礎(chǔ)上針對(duì)各類(lèi)城市管理中的應(yīng)用需求，實(shí)現(xiàn)高效實(shí)用的業(yè)務(wù)應(yīng)用。通過(guò)構(gòu)建cVideo綜合視頻監(jiān)控云平臺(tái)（以下簡(jiǎn)稱(chēng)“平臺(tái)”），將城市可利用的全部視頻資源經(jīng)過(guò)優(yōu)化、整合及智能處理后，透明地呈現(xiàn)給使用者，為城市管理提供有力支撐?！捌脚_(tái)”在現(xiàn)有信息化建設(shè)基礎(chǔ)上，集成現(xiàn)有視頻監(jiān)控資源，建設(shè)大規(guī)模視頻實(shí)時(shí)接入處理分析監(jiān)控平臺(tái)，實(shí)現(xiàn)與現(xiàn)有平臺(tái)，網(wǎng)絡(luò)攝像機(jī)、以及新建監(jiān)控設(shè)備的對(duì)接，實(shí)現(xiàn)上萬(wàn)路的視頻接入。對(duì)上述視頻監(jiān)控平臺(tái)的視頻接入后，要求實(shí)現(xiàn)轉(zhuǎn)碼處理、智能識(shí)別、解碼上墻和數(shù)據(jù)存儲(chǔ)回看等功能，以滿(mǎn)足不同終端的訪問(wèn)需求、實(shí)現(xiàn)車(chē)流統(tǒng)計(jì)等交通數(shù)據(jù)的提取、對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行存儲(chǔ)、以及實(shí)現(xiàn)大屏控制等功能。實(shí)現(xiàn)從傳統(tǒng)的模式向云模式的轉(zhuǎn)換，并可以帶來(lái)巨大的獲益。1.3.1 從信息孤島到全局統(tǒng)籌的轉(zhuǎn)變針對(duì)某省現(xiàn)在已有的圖像平臺(tái)，需要對(duì)省市兩級(jí)主要平臺(tái)完成升級(jí)改造，確保實(shí)現(xiàn)公安視頻圖像信息共享平臺(tái)之間的聯(lián)網(wǎng)互通，同時(shí)兼容各地承建的視頻監(jiān)控系統(tǒng)和平臺(tái)，以提升整個(gè)某省公安圖像信息的共享度?！捌脚_(tái)”將散落在各個(gè)派出所或者小區(qū)域中的“信息孤島”相互連接，構(gòu)成由省廳統(tǒng)一管理的四級(jí)大平臺(tái)，使視頻數(shù)據(jù)能夠互通共享，并以此為基礎(chǔ)構(gòu)建豐富多彩的上層應(yīng)用。1.3.2 從人工監(jiān)控到智能安防的轉(zhuǎn)變?cè)趯?shí)現(xiàn)互聯(lián)之后，我們?nèi)詴?huì)發(fā)現(xiàn)新的問(wèn)題。目前，成千上萬(wàn)路監(jiān)控?cái)z像頭遍布街頭，晝夜不停地監(jiān)視和錄像，在改善社會(huì)治安的同時(shí)，也產(chǎn)生出海量的視頻數(shù)據(jù)需要監(jiān)控管理平臺(tái)處理。要對(duì)這些海量視頻通過(guò)人工進(jìn)行重點(diǎn)圖像的抓拍，困難很大。首先，需要對(duì)所有的視頻錄像進(jìn)行諸秒瀏覽，才能發(fā)現(xiàn)重點(diǎn)圖像，這無(wú)疑工作量巨大，甚至猶如大海撈針。其次，即使找到了重點(diǎn)圖像，人工抓拍，并且要記錄下對(duì)應(yīng)的原始視頻圖像的時(shí)間點(diǎn)等，也是工作量很大，效率很低。由于人的生理特征所限，長(zhǎng)時(shí)間觀看視頻錄像，容易產(chǎn)生視覺(jué)疲勞，還有可能漏掉重要圖像和線(xiàn)索。因此，用機(jī)器代替人工（機(jī)器結(jié)合人工），是必然的趨勢(shì)，通過(guò)智能地圖像識(shí)別算法，將“可疑”的視頻篩選出來(lái)，如此一來(lái)可以大幅降低人為的干預(yù)度，提升監(jiān)管效率。1.3.3 從事后分析到事中追蹤的轉(zhuǎn)變一般針對(duì)事件可以分為事前預(yù)防、事中跟蹤和事后取證。理想的情況是：一旦有重要事件發(fā)生，系統(tǒng)就可在很短時(shí)間內(nèi)查找到線(xiàn)索并定位，而目前海量監(jiān)控視頻大多以錄像的形式用于事后調(diào)取和回看，并且主要以傳統(tǒng)人海戰(zhàn)術(shù)的視頻線(xiàn)索查找，顯然不能滿(mǎn)足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動(dòng)的、智能的系統(tǒng)實(shí)現(xiàn)上述需求。目前，基于云計(jì)算的大規(guī)模數(shù)據(jù)存儲(chǔ)和處理技術(shù)以及視頻圖像智能處理分析技術(shù)可以解決這一問(wèn)題。通過(guò)視頻濃縮摘要，縮短視頻事件的播放時(shí)間，通過(guò)目標(biāo)內(nèi)容識(shí)別、分類(lèi)等實(shí)現(xiàn)快速查找事件線(xiàn)索，縮小查看范圍的功能，這些都極大地減輕警方刑偵人員的工作負(fù)荷，海量視頻分析功能的實(shí)現(xiàn)和應(yīng)用將大大提高監(jiān)控效率。國(guó)內(nèi)外很多公司以及機(jī)構(gòu)都在這一領(lǐng)域投入了大量的研究，將云計(jì)算，智能識(shí)別等技術(shù)聯(lián)系在一起，更好的為安防服務(wù)。通過(guò)對(duì)云計(jì)算的海量數(shù)據(jù)計(jì)算能力的充分利用，提供智能識(shí)別所需的處理能力。這樣不僅能大大縮小了對(duì)于各類(lèi)事件的事后取證所需要的時(shí)間，提高了取證效率，而且對(duì)于各種突發(fā)事件的預(yù)防、響應(yīng)都起到了積極有效的作用。1.3.4 從獨(dú)立應(yīng)用到綜合聯(lián)動(dòng)的轉(zhuǎn)變?cè)诂F(xiàn)有的條件下，視頻監(jiān)控大多數(shù)時(shí)間是以一個(gè)單獨(dú)的應(yīng)用呈現(xiàn)，或是通過(guò)大屏進(jìn)行實(shí)時(shí)監(jiān)控，也可能是通過(guò)電腦終端進(jìn)行監(jiān)控管理。然而隨著信息化程度的不斷提升，單一的監(jiān)控已然無(wú)法滿(mǎn)足用戶(hù)的需求，具有聯(lián)動(dòng)功能的綜合型平臺(tái)愈發(fā)成為轉(zhuǎn)變的方向。因此，需要實(shí)現(xiàn)將警務(wù)綜合平臺(tái)與視頻結(jié)合應(yīng)用相互結(jié)合，整合成一共公共的基礎(chǔ)平臺(tái)，以更好地提供各類(lèi)上層應(yīng)用系統(tǒng)的使用。同時(shí)，從視頻、聲音、圖像到信息提取、資料匯聚再到上層應(yīng)用，無(wú)一不有大數(shù)據(jù)穿插其中，如何應(yīng)對(duì)如此海量的信息和數(shù)據(jù)，如何將這些數(shù)據(jù)變成可以有效利用的寶貴資源也成為了日漸熱議的話(huà)題。2 平臺(tái)架構(gòu)設(shè)計(jì)根據(jù)省廳已有建設(shè)情況和對(duì)實(shí)際需求的深入分析，本方案利用 cStor 云存儲(chǔ)和 JobKeeper云調(diào)度技術(shù)構(gòu)建統(tǒng)一的cVideo云視頻監(jiān)控管理平臺(tái)軟件，部署在標(biāo)準(zhǔn)X86服務(wù)器集群上，通過(guò)對(duì)已有監(jiān)控資源的整合，實(shí)現(xiàn)海量高清視頻監(jiān)控的數(shù)據(jù)存儲(chǔ)和智能處理。2.1 網(wǎng)絡(luò)架構(gòu)2.1.1 網(wǎng)絡(luò)拓?fù)溽槍?duì)某省的實(shí)際情況，多級(jí)cVideo云視頻監(jiān)控系統(tǒng)采用分布式架構(gòu)，分級(jí)管理和部署。以街道派出所為單位，初期擬定每個(gè)所部署一臺(tái)“minicloud”（“minicloud”迷你云微型數(shù)據(jù)倉(cāng)庫(kù)將在下面的章節(jié)中進(jìn)行詳細(xì)描述），用于視頻數(shù)據(jù)的保存，從區(qū)級(jí)到市級(jí)再到省級(jí)分別部署cVideo系統(tǒng)，cVideo系統(tǒng)的架構(gòu)會(huì)在2.2中進(jìn)行具體描述。整個(gè)“平臺(tái)”構(gòu)建于視頻專(zhuān)網(wǎng)之上，其中，省級(jí)中心處于核心地位，部署元數(shù)據(jù)服務(wù)器，以統(tǒng)一管理元數(shù)據(jù)信息，各派出所則使用“minicloud”中的三個(gè)互為冗余的節(jié)點(diǎn)擔(dān)當(dāng)存儲(chǔ)節(jié)點(diǎn)的角色。“平臺(tái)”遵循“就近接入、本地存儲(chǔ)、中心統(tǒng)籌、權(quán)限管理”的方針，隨著存儲(chǔ)容量需求的增加，只需在容量不足的派出所增加存儲(chǔ)節(jié)點(diǎn)（服務(wù)器）即可，十分方便。而區(qū)縣級(jí)和市級(jí)主要負(fù)責(zé)對(duì)區(qū)域視頻的匯聚和處理，部署cVideo系統(tǒng)，并將處理后得到的信息提供給各上層應(yīng)用服務(wù)。cVideo云視頻監(jiān)控平臺(tái)針對(duì)省級(jí)的建設(shè)方案采用多級(jí)部署的方式，大致拓?fù)淙缦聢D所示：圖2-1 cVideo多級(jí)部署概要圖初步預(yù)計(jì)每個(gè)派出所需要存儲(chǔ)的監(jiān)控?cái)z像機(jī)按100路左右，平均碼流按2Mbps計(jì)算，則存放半個(gè)月需要的存儲(chǔ)容量約為：2 / 8 * 3600 * 24 * 15 *100 = 32.4TB“minicloud”是由三臺(tái)服務(wù)器所組成的小型云平臺(tái)，能夠存儲(chǔ)的總?cè)萘繛椋? * 3 * 3 = 81TB為了保證數(shù)據(jù)的可靠性，對(duì)數(shù)據(jù)進(jìn)行1：1備份后，可用容量為：40.5TB，可以滿(mǎn)足初期的需求。隨著使用和前端設(shè)備的增設(shè)，容量需求會(huì)愈發(fā)增加，這時(shí)我們同樣提供了機(jī)架式的擴(kuò)展方案，當(dāng)存儲(chǔ)容量不足時(shí)，只需在“minicloud”下新增存儲(chǔ)節(jié)點(diǎn)（服務(wù)器），系統(tǒng)容量會(huì)自動(dòng)增加，實(shí)現(xiàn)擴(kuò)容十分方便。前端監(jiān)控設(shè)備所采集到的視頻數(shù)據(jù)保存在所屬的“minicloud”中，或經(jīng)過(guò)接入服務(wù)器，接入所屬區(qū)級(jí)的cVideo監(jiān)控平臺(tái)中進(jìn)行管理和處理，各級(jí)客戶(hù)端訪問(wèn)相應(yīng)中心服務(wù)器，按需操作和調(diào)控。云處理服務(wù)器提供空前的數(shù)據(jù)處理能力，提供諸如視頻轉(zhuǎn)碼、內(nèi)容識(shí)別等海量數(shù)據(jù)的處理支持。查看歷史視頻時(shí)，接入云存儲(chǔ)遵守分區(qū)接入、分局接入和就近接入原則，考慮到突發(fā)事件會(huì)致使查看視頻記錄的人員增多，分布式部署可以很好地緩解接入壓力。2.1.2 數(shù)據(jù)安全網(wǎng)閘考慮到公安網(wǎng)、圖像專(zhuān)網(wǎng)、社會(huì)公網(wǎng)之間安全性和保密性的問(wèn)題，cVideo監(jiān)控平臺(tái)在實(shí)際布設(shè)過(guò)程中，也會(huì)遵循跨網(wǎng)絡(luò)必須經(jīng)過(guò)網(wǎng)閘的規(guī)則，示意圖如下：圖2-2 cVideo網(wǎng)絡(luò)隔離概要圖本次建設(shè)的cVideo云視頻監(jiān)控平臺(tái)位于視頻專(zhuān)網(wǎng)，以確保帶寬的通常及視頻的實(shí)時(shí)性。對(duì)于社會(huì)上公網(wǎng)中的監(jiān)控前端設(shè)備，納入平臺(tái)管理后在專(zhuān)網(wǎng)入口處也會(huì)設(shè)立網(wǎng)閘機(jī)制，進(jìn)行物理隔離，保證進(jìn)入專(zhuān)網(wǎng)的數(shù)據(jù)均為符合要求的。公安人員辦公環(huán)境為公安內(nèi)網(wǎng)，當(dāng)需要訪問(wèn)視頻專(zhuān)網(wǎng)的圖像信息時(shí)，視頻圖像數(shù)據(jù)會(huì)經(jīng)過(guò)網(wǎng)閘檢測(cè)，確保安全后放可接入公安內(nèi)網(wǎng)中，并且從公網(wǎng)到公安網(wǎng)經(jīng)過(guò)了兩重網(wǎng)關(guān)的監(jiān)管，使公安網(wǎng)的安全性進(jìn)一步提升。圖2-3 網(wǎng)閘設(shè)置保證數(shù)據(jù)安全但進(jìn)行網(wǎng)閘設(shè)置勢(shì)必會(huì)對(duì)帶寬有所限制，因此為了保證網(wǎng)絡(luò)互聯(lián)互通的同時(shí)，保證系統(tǒng)的安全性需對(duì)視頻數(shù)據(jù)進(jìn)行云轉(zhuǎn)碼傳輸。由于視頻轉(zhuǎn)碼計(jì)算量很大，單一的計(jì)算機(jī)不可能實(shí)現(xiàn)整個(gè)監(jiān)控系統(tǒng)內(nèi)的攝像頭實(shí)時(shí)視頻數(shù)據(jù)的轉(zhuǎn)碼。cVideo研發(fā)了云端轉(zhuǎn)碼技術(shù)，將視頻轉(zhuǎn)碼計(jì)算放大云端，實(shí)現(xiàn)整個(gè)系統(tǒng)內(nèi)的實(shí)時(shí)視頻轉(zhuǎn)碼，以滿(mǎn)足用戶(hù)對(duì)不同分辨率，不同碼流，不同終端的使用需求。 圖2-4 轉(zhuǎn)碼前后視頻對(duì)比視頻接入模塊首先將不同廠家的前端設(shè)備接入進(jìn)來(lái)，對(duì)于支持RTSP的采集設(shè)備，我們利用標(biāo)準(zhǔn)的流媒體協(xié)議接口實(shí)現(xiàn)視頻和音頻數(shù)據(jù)的傳輸。對(duì)于不支持RTSP的采集設(shè)備，我們利用設(shè)備廠商提供的SDK進(jìn)行接入。然后在cProc云計(jì)算平臺(tái)上利用高效的轉(zhuǎn)碼技術(shù)，將采集到的高清視頻信號(hào)解碼后再重新編碼，在滿(mǎn)足用戶(hù)需求的同時(shí)降低對(duì)網(wǎng)絡(luò)帶寬的消耗。同時(shí)將轉(zhuǎn)碼后的視頻流推送給流媒體服務(wù)器分發(fā)出去。圖2-5 云轉(zhuǎn)碼流程2.2 軟件架構(gòu)2.2.1 平臺(tái)架構(gòu)圖如下圖所示，cVideo云視頻監(jiān)控平臺(tái)是部署于標(biāo)準(zhǔn)X86服務(wù)器上的軟件平臺(tái)，主要由七個(gè)子系統(tǒng)組成：前端設(shè)備、接入系統(tǒng)、處理系統(tǒng)、存儲(chǔ)系統(tǒng)、流媒體服務(wù)器、中心調(diào)度系統(tǒng)和客戶(hù)端。這七個(gè)模塊既相互獨(dú)立，又協(xié)調(diào)統(tǒng)一，共同對(duì)外提供服務(wù)。圖2-6 cVideo平臺(tái)模塊架構(gòu)圖2.2.2 前端設(shè)備前端設(shè)備在中心服務(wù)器的調(diào)度下進(jìn)行信息采集，以RTSP的形式傳輸給存儲(chǔ)/處理服務(wù)器集群，或者以SDK的形式傳輸給接入服務(wù)器。(前端設(shè)備包括：模擬攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、卡口設(shè)備、第三方平臺(tái)等)2.2.3 接入服務(wù)器整合各種前端設(shè)備，將不同廠家不同平臺(tái)的前端設(shè)備通過(guò)RTSP標(biāo)準(zhǔn)流媒體協(xié)議或者SDK私有協(xié)議的方式接入本系統(tǒng)，以實(shí)現(xiàn)對(duì)多種前端攝像機(jī)和已有平臺(tái)的統(tǒng)一接入，供本平臺(tái)內(nèi)其他模塊統(tǒng)一調(diào)用，并以輪詢(xún)的方式監(jiān)聽(tīng)前端設(shè)備，如有異常則產(chǎn)生報(bào)警信號(hào)。2.2.4 中心服務(wù)器平臺(tái)的核心控制部分，實(shí)現(xiàn)了與客戶(hù)端的信令交互、通過(guò)JobKeeper云調(diào)度系統(tǒng)來(lái)調(diào)度云集群節(jié)點(diǎn)處理各項(xiàng)任務(wù)、并實(shí)現(xiàn)對(duì)整個(gè)平臺(tái)的統(tǒng)一管理和監(jiān)控。a）用戶(hù)管理功能：根據(jù)用戶(hù)信息表，管理用戶(hù)登錄、用戶(hù)的權(quán)限，可以管理用戶(hù)信息、增刪用戶(hù)等。b）前端信息采集設(shè)備管理功能：根據(jù)攝像機(jī)和用戶(hù)的權(quán)限，管理當(dāng)前用戶(hù)所能涉及的前端設(shè)備狀態(tài)、節(jié)點(diǎn)運(yùn)行狀態(tài)，并進(jìn)行實(shí)時(shí)的更新。c）與用戶(hù)和前端設(shè)備的信息交互功能：更新前端信息，并根據(jù)客戶(hù)需求進(jìn)行對(duì)前端設(shè)備調(diào)度，以及對(duì)JobKeeper的任務(wù)分發(fā)。同時(shí)，進(jìn)行信息數(shù)據(jù)的處理，以完成整個(gè)平臺(tái)的調(diào)度工作。d）對(duì)服務(wù)器集群進(jìn)行統(tǒng)一的調(diào)度管理，獲取每臺(tái)機(jī)器的運(yùn)行狀態(tài)。根據(jù)機(jī)器的運(yùn)行狀態(tài)進(jìn)行自動(dòng)調(diào)度和部署，負(fù)載均衡，提高機(jī)器的使用率，進(jìn)而提高服務(wù)器的梳理效率。e）解決服務(wù)器集群信息處理的冗余狀態(tài)，查錯(cuò)排錯(cuò)，保證系統(tǒng)的無(wú)人值守、自動(dòng)生長(zhǎng)的高效性。2.2.5 存儲(chǔ)服務(wù)器集群使用cStor云存儲(chǔ)系統(tǒng)，提供統(tǒng)一的存儲(chǔ)資源池，用以存儲(chǔ)關(guān)鍵數(shù)據(jù)，提供歷史視頻的回看以及相關(guān)數(shù)據(jù)的下載服務(wù)。同時(shí)，支持網(wǎng)絡(luò)掛載盤(pán)符的模式，以滿(mǎn)足整個(gè)平臺(tái)中其他模塊的存儲(chǔ)需求。2.2.6 處理服務(wù)器集群大致可以分為接入分析、數(shù)據(jù)處理和結(jié)果分發(fā)三個(gè)子模塊，主要負(fù)責(zé)對(duì)完成對(duì)接入視頻的各項(xiàng)處理任務(wù)，諸如：內(nèi)容識(shí)別、實(shí)時(shí)轉(zhuǎn)碼、錄像存儲(chǔ)等，再將處理好的結(jié)果發(fā)送至流媒體服務(wù)器和存儲(chǔ)服務(wù)器。2.2.7 流媒體服務(wù)器以流媒體服務(wù)器的形式對(duì)外提供標(biāo)準(zhǔn)的RTSP流媒體服務(wù)，用戶(hù)根據(jù)相應(yīng)的流媒體RTSP地址，即可實(shí)時(shí)地獲取系統(tǒng)處理完后的實(shí)時(shí)視頻數(shù)據(jù)，以供監(jiān)控和遠(yuǎn)程訪問(wèn)。采用虛擬IP技術(shù)，備份冗余機(jī)制，針對(duì)公網(wǎng)和內(nèi)網(wǎng)不同的訪問(wèn)需求提供不同的碼流推送。2.2.8 客戶(hù)端支持Windows、Linux、iOS、Android等主流操作系統(tǒng)，提供B/S和C/S架構(gòu)客戶(hù)端，控制視頻解碼上墻等，實(shí)現(xiàn)與用戶(hù)的直接交互。2.3 平臺(tái)聯(lián)動(dòng)調(diào)度按2.2節(jié)中所說(shuō)的架構(gòu)，在實(shí)際應(yīng)用中，經(jīng)常會(huì)出現(xiàn)跨級(jí)的聯(lián)動(dòng)調(diào)度問(wèn)題，下圖展示了cVideo云視頻監(jiān)控平臺(tái)多級(jí)聯(lián)動(dòng)調(diào)度的流程。 上級(jí)中心總平臺(tái)的接入服務(wù)器和下級(jí)子平臺(tái)的中心服務(wù)器信令交互，上級(jí)平臺(tái)的接入服務(wù)器相當(dāng)于下級(jí)平臺(tái)的一個(gè)超級(jí)管理員用戶(hù)。總平臺(tái)通過(guò)接入服務(wù)器登陸到子平臺(tái)，從而進(jìn)行獲取設(shè)備列表、獲取設(shè)備信息、云臺(tái)控制、獲取流地址等操作。 上下級(jí)平臺(tái)的設(shè)備管理、用戶(hù)管理、日志管理等功能相互獨(dú)立，下級(jí)平臺(tái)和第三方平臺(tái)對(duì)“平臺(tái)”的用戶(hù)不可見(jiàn)，用戶(hù)可以透明地訪問(wèn)各平臺(tái)的前端監(jiān)控設(shè)備資源（可以知道設(shè)備是屬于哪個(gè)平臺(tái)、哪個(gè)部門(mén)的，但不能直接登陸到下級(jí)平臺(tái)或第三方平臺(tái)）。在“平臺(tái)”用戶(hù)視角，相當(dāng)于所有下級(jí)平臺(tái)和第三方平臺(tái)的設(shè)備都是直接部署在此綜合的云平臺(tái)之上。圖2-7 多級(jí)部署上級(jí)視頻數(shù)據(jù)流對(duì)接如上圖所示，如果是上級(jí)中心總平臺(tái)用戶(hù)想查看某前端攝像機(jī)的實(shí)時(shí)視頻，那么，該用戶(hù)首先通過(guò)客戶(hù)端或?yàn)g覽器登陸平臺(tái)，隨后發(fā)出對(duì)某路視頻的監(jiān)控請(qǐng)求，中心調(diào)度系統(tǒng)會(huì)根據(jù)數(shù)據(jù)庫(kù)里的攝像機(jī)設(shè)備信息將任務(wù)經(jīng)由接入服務(wù)器發(fā)送給政務(wù)專(zhuān)網(wǎng)的中心調(diào)度系統(tǒng)，由其調(diào)度相應(yīng)接入、處理服務(wù)器進(jìn)行進(jìn)入和轉(zhuǎn)發(fā)處理。該視頻流經(jīng)過(guò)子平臺(tái)流媒體服務(wù)器轉(zhuǎn)發(fā)至總平臺(tái)，客戶(hù)端得到該地址即可播放出實(shí)時(shí)視頻流。如果此時(shí)子平臺(tái)的用戶(hù)也想監(jiān)控上述該路的實(shí)時(shí)視頻，在請(qǐng)求該路監(jiān)控時(shí)，子平臺(tái)的中心服務(wù)器會(huì)自動(dòng)發(fā)現(xiàn)該監(jiān)控任務(wù)已由總平臺(tái)用戶(hù)發(fā)起過(guò)，只要經(jīng)過(guò)總平臺(tái)中心控制的許可，便可立即將流媒體服務(wù)器推送地址反饋給客戶(hù)端，子平臺(tái)用戶(hù)的客戶(hù)端則直接可以播放出該路實(shí)時(shí)視頻流。如下圖所示：圖2-8 多級(jí)部署下級(jí)視頻數(shù)據(jù)流對(duì)接2.4 平臺(tái)部署策略針對(duì)某省的實(shí)際情況，在之前的規(guī)劃和管理過(guò)程中，部分區(qū)域已經(jīng)實(shí)現(xiàn)了按區(qū)縣為單位對(duì)現(xiàn)有視頻做了集中管理和存儲(chǔ)，而另一些則是完完全全的“信息孤島”狀態(tài)。在“平臺(tái)”的實(shí)施部署過(guò)程中，需要充分考慮到這些因素，以“不重建、多復(fù)用”為主旨，充分利用已有的平臺(tái)和系統(tǒng)，實(shí)現(xiàn)對(duì)異構(gòu)的監(jiān)控體系的統(tǒng)一管理。2.4.1 區(qū)縣未集中處理的視頻對(duì)于區(qū)縣沒(méi)有集中處理的視頻，“平臺(tái)”會(huì)按照2.1章節(jié)中的部署規(guī)則，給每個(gè)派出所部署一套minicloud，用其本地化保存視頻數(shù)據(jù)，并接受省廳中心的直接管理，同時(shí)提供給上層應(yīng)用和服務(wù)的支撐。2.4.2 區(qū)縣已集中管理的視頻對(duì)于區(qū)縣已經(jīng)集中管理過(guò)的視頻，“平臺(tái)”則不會(huì)對(duì)該區(qū)域及其下屬派出所新建設(shè)備，而是與該系統(tǒng)交互，通過(guò)其SDK進(jìn)行對(duì)接和信息交互，獲取需要的管理信息及視頻流。從用戶(hù)的角度而言，呈現(xiàn)在面前的只是單純的一個(gè)個(gè)獨(dú)立的攝像機(jī)，用戶(hù)不必關(guān)心前端的攝像機(jī)具體是從我們部署的minicloud中傳輸過(guò)來(lái)的，亦或是從已有區(qū)縣系統(tǒng)中傳輸過(guò)來(lái)的，“平臺(tái)”已經(jīng)將中間過(guò)程透明化，以更貼近用戶(hù)的使用習(xí)慣。3 平臺(tái)模塊技術(shù)描述方案采用信令流和數(shù)據(jù)流分離的方式，在標(biāo)準(zhǔn)X86(X64)服務(wù)器集群上部署存儲(chǔ)、處理、調(diào)度等軟件系統(tǒng)，形成一個(gè)整體的云視頻監(jiān)控解決方案，實(shí)現(xiàn)對(duì)現(xiàn)有視頻監(jiān)控資源的整合。采用云調(diào)度和云存儲(chǔ)技術(shù)，有較高的擴(kuò)展性和容錯(cuò)能力，解決服務(wù)器單點(diǎn)故障問(wèn)題，降低升級(jí)和維護(hù)成本。3.1 IaaS層cStor云存儲(chǔ)3.1.1 cStor云存儲(chǔ)系統(tǒng) cStor簡(jiǎn)介cStor云存儲(chǔ)系統(tǒng)是9年來(lái)不斷積累研發(fā)的高科技產(chǎn)品，是國(guó)內(nèi)最早實(shí)現(xiàn)并保持領(lǐng)先的云存儲(chǔ)系統(tǒng)，整套系統(tǒng)包括軟件與硬件，是一個(gè)海量的云存儲(chǔ)平臺(tái)。與傳統(tǒng)的大規(guī)模存儲(chǔ)系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡(jiǎn)單方便的特點(diǎn)。在需要存儲(chǔ)大量數(shù)據(jù)（如視頻數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等）的應(yīng)用場(chǎng)合，可以大幅提高存儲(chǔ)系統(tǒng)性?xún)r(jià)比。與目前國(guó)際上知名的云存儲(chǔ)廠商相比，具有更高的性?xún)r(jià)比、更低的能耗、更加通用和更方便的使用模式。圖3-1 cStor云存儲(chǔ)系統(tǒng) cStor主要優(yōu)勢(shì) 高可靠性系統(tǒng)中采用廉價(jià)的大容量存儲(chǔ)服務(wù)節(jié)點(diǎn)，通過(guò)cStor系統(tǒng)軟件實(shí)現(xiàn)統(tǒng)一管理和容錯(cuò)，提供高效、穩(wěn)定服務(wù)。與使用專(zhuān)用服務(wù)器相比，可以將系統(tǒng)構(gòu)建成本節(jié)省5-10倍以上，且規(guī)模越大，優(yōu)勢(shì)越明顯。在降低系統(tǒng)的構(gòu)建成本的同時(shí)，系統(tǒng)的可靠性不僅沒(méi)有收到影響，相反，通過(guò)一系列的可靠性保障機(jī)制，使得cStor系統(tǒng)具有高可靠性的特性。在cStor云存儲(chǔ)系統(tǒng)中，數(shù)據(jù)具有多個(gè)副本（默認(rèn)情況下是2份，可以根據(jù)需要設(shè)置），任意節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將會(huì)自動(dòng)復(fù)制數(shù)據(jù)副本到新的節(jié)點(diǎn)上，不會(huì)丟失數(shù)據(jù)。這樣，在節(jié)點(diǎn)發(fā)生故障的情況下，也可以實(shí)現(xiàn)數(shù)據(jù)的無(wú)間斷服務(wù)。同時(shí)，元數(shù)據(jù)管理節(jié)點(diǎn)采用雙機(jī)鏡像模式容錯(cuò)，如果有一節(jié)點(diǎn)出現(xiàn)故障，另一節(jié)點(diǎn)自動(dòng)接替。 高性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫(xiě)；這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和IO性能將呈線(xiàn)性增長(zhǎng)。同時(shí)，cStor采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高。 在線(xiàn)伸縮cStor云存儲(chǔ)系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無(wú)需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無(wú)需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。 通用易用cStor云存儲(chǔ)系統(tǒng)提供標(biāo)準(zhǔn)POSIX接口，無(wú)論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲(chǔ)當(dāng)成自己的海量磁盤(pán)來(lái)使用。如：同時(shí)，cStor也提供專(zhuān)用的API接口，供開(kāi)發(fā)人員調(diào)用。 智能管理提供基于WEB的管理平臺(tái)，所有的管理工作均由cStor管理模塊自動(dòng)完成，使用人員無(wú)需任何專(zhuān)業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過(guò)管理平臺(tái)，可以對(duì)cStor中的所有節(jié)點(diǎn)實(shí)行無(wú)間斷監(jiān)控，用戶(hù)通過(guò)監(jiān)控界面可以清楚地了解到每一個(gè)節(jié)點(diǎn)和磁盤(pán)的運(yùn)行情況。 cStor關(guān)鍵技術(shù) 負(fù)載自動(dòng)均衡技術(shù)cStor采用中心服務(wù)器模式來(lái)管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在Master Server上，文件則劃分為多個(gè)chunk存儲(chǔ)在不同的Chunk Server上。Master Server維護(hù)了一個(gè)統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)Chunk Server的使用情況，當(dāng)客戶(hù)端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫(xiě)的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)Chunk Server的磁盤(pán)使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的Chunk Server對(duì)外提供服務(wù)，自動(dòng)均衡負(fù)載負(fù)擔(dān)。另外，當(dāng)某有一個(gè)Chunk Server因?yàn)闄C(jī)器故障或者其他原因造成離線(xiàn)時(shí)，Master Server會(huì)將此機(jī)器自動(dòng)屏蔽掉，不再將此Chunk Server提供給客戶(hù)端使用，同時(shí)存儲(chǔ)在此Chunk Server上的數(shù)據(jù)也會(huì)自動(dòng)的備份到其他可用的Chunk Server上，自動(dòng)屏蔽Chunk Server故障對(duì)系統(tǒng)的影響。 高速并發(fā)訪問(wèn)技術(shù)客戶(hù)端在訪問(wèn)cStor時(shí)，首先訪問(wèn)Master Server節(jié)點(diǎn)，獲取將要與之進(jìn)行交互的Chunk Server信息，然后直接訪問(wèn)這些Chunk Server完成數(shù)據(jù)存取。cStor的這種設(shè)計(jì)方法實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離。Client與Master Server之間只有控制流，而無(wú)數(shù)據(jù)流，這樣就極大地降低了Master Server的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸。Client與Chunk Server之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)chunk進(jìn)行分布式存儲(chǔ)，Client可以同時(shí)訪問(wèn)多個(gè)Chunk Server，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整體吞吐率與Chunk Server的數(shù)量呈正比。 高可靠性保證技術(shù)對(duì)于元數(shù)據(jù)，cStor通過(guò)操作日志來(lái)提供容錯(cuò)功能，當(dāng)Master Server發(fā)生故障時(shí)，在磁盤(pán)數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。為了防止Master Server徹底死機(jī)的情況，cStor還提供了Master Server遠(yuǎn)程的實(shí)時(shí)備份，這樣在當(dāng)前的Master Server出現(xiàn)故障無(wú)法工作的時(shí)候，另外一臺(tái)備Master Server可以迅速接替其工作。對(duì)于Chunk Server，cStor采用副本的方式實(shí)現(xiàn)容錯(cuò)。每一個(gè)chunk有多個(gè)存儲(chǔ)副本（默認(rèn)為兩個(gè)），分布存儲(chǔ)在不同的Chunk Server上。副本的分布策略考慮了多種因素，如網(wǎng)絡(luò)的拓?fù)?、機(jī)架的分布、磁盤(pán)的利用率等。對(duì)于每一個(gè)Chunk Server，必須將所有的副本全部寫(xiě)入成功，才視為成功寫(xiě)入。在其后的過(guò)程中，如果相關(guān)的副本出現(xiàn)丟失或不可恢復(fù)等狀況，Master Server會(huì)自動(dòng)將該副本復(fù)制到其他Chunk Server，從而確保副本保持一定的個(gè)數(shù)。在有多個(gè)Chunk Server的情況下，任意損失一個(gè)節(jié)點(diǎn)，數(shù)據(jù)都不會(huì)丟失，而且隨著Chunk Server數(shù)目的增多，整個(gè)系統(tǒng)的可靠性越大。同時(shí)，系統(tǒng)除了支持傳統(tǒng)的1：1、1：2的冗余備份技術(shù)外，也支持高效的N：N+M的編碼容錯(cuò)技術(shù)，即：假設(shè)將原始文件切分為N個(gè)數(shù)據(jù)塊，通過(guò)冗余編碼技術(shù)，將其編碼后增加了M個(gè)數(shù)據(jù)塊，數(shù)據(jù)總量變成了N+M個(gè)數(shù)據(jù)塊。從中任意取出N個(gè)數(shù)據(jù)塊即可將文件還原，進(jìn)一步提升了空間利用率，確保數(shù)據(jù)安全可靠。 高可用技術(shù)系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過(guò)網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯(cuò)機(jī)制，系統(tǒng)增減節(jié)點(diǎn)不必停止服務(wù)，可在線(xiàn)增減存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)節(jié)點(diǎn)間通過(guò)注冊(cè)管理機(jī)制自適應(yīng)管理，實(shí)現(xiàn)自動(dòng)伸縮。元數(shù)據(jù)服務(wù)器采用主備雙機(jī)熱備技術(shù)，主機(jī)故障，備機(jī)自動(dòng)接替其工作，對(duì)外服務(wù)不停止；存儲(chǔ)節(jié)點(diǎn)采用冗余備份機(jī)制，多個(gè)存儲(chǔ)節(jié)點(diǎn)情況下，任意損失一個(gè)節(jié)點(diǎn)，數(shù)據(jù)不丟失，系統(tǒng)不停機(jī)，F(xiàn)TP等上層服務(wù)不停止。3.1.2 cStor系統(tǒng)構(gòu)架圖3-2 cStor云存儲(chǔ)系統(tǒng)架構(gòu)如上圖所示，cStor云存儲(chǔ)文件系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)器上。它采用包括元數(shù)據(jù)管理服務(wù)器（Master Server）和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)服務(wù)器（Chunk Server）以及客戶(hù)端節(jié)點(diǎn)的結(jié)構(gòu)構(gòu)成一個(gè)虛擬的海量存儲(chǔ)卷。3.1.3 cStor架構(gòu)描述Master Server保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文件系統(tǒng)的管理，Master Server在邏輯上只有一個(gè)，但采用主備雙機(jī)鏡像的方式，保證系統(tǒng)的不間斷服務(wù)；Chunk Server負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，數(shù)據(jù)以文件的形式存儲(chǔ)在Chunk Server上，Chunk Server的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了cStor云存儲(chǔ)系統(tǒng)的規(guī)模；客戶(hù)端即為服務(wù)器對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)的窗口，通常情況下，客戶(hù)端都部署在Chunk Server上，每一個(gè)塊數(shù)據(jù)服務(wù)器，及時(shí)存儲(chǔ)服務(wù)器也是客戶(hù)端服務(wù)器。對(duì)每一個(gè)節(jié)點(diǎn)，cStor云存儲(chǔ)系統(tǒng)提供的管理監(jiān)控中心都可以對(duì)其進(jìn)行管理，包括設(shè)備運(yùn)行狀態(tài)、磁盤(pán)運(yùn)行狀態(tài)、服務(wù)在線(xiàn)情況以及異常告警等功能；另外，網(wǎng)管監(jiān)控中心還提供有如FTP、CIFS、NFS賬戶(hù)添加等客戶(hù)端管理和配置工具。這種分布式系統(tǒng)最大的好處是有利于存儲(chǔ)系統(tǒng)的擴(kuò)展和實(shí)現(xiàn)，在小規(guī)模的數(shù)據(jù)擴(kuò)展時(shí)，只需要添加具體的Chunk Server即可，而不需要添加整套設(shè)備。3.1.4 cStor部署示意圖圖3-3 cStor云存儲(chǔ)部署示意圖cStor云存儲(chǔ)系統(tǒng)所有的節(jié)點(diǎn)均通過(guò)網(wǎng)絡(luò)的方式連接起來(lái)，其中存儲(chǔ)節(jié)點(diǎn)采用廉價(jià)的計(jì)算機(jī)節(jié)點(diǎn)，運(yùn)用自適應(yīng)副本管理技術(shù)進(jìn)行容錯(cuò)。所有存儲(chǔ)節(jié)點(diǎn)同時(shí)擔(dān)任對(duì)外服務(wù)功能，客戶(hù)端分別掛載到不同存儲(chǔ)節(jié)點(diǎn)訪問(wèn)云存儲(chǔ)系統(tǒng)。通過(guò)增加或者減少存儲(chǔ)節(jié)點(diǎn)的方式，即可以對(duì)存儲(chǔ)系統(tǒng)進(jìn)行在線(xiàn)伸縮，由于采用了自適應(yīng)副本管理技術(shù)進(jìn)行容錯(cuò)，系統(tǒng)在線(xiàn)伸縮的過(guò)程中，不影響系統(tǒng)對(duì)外提供服務(wù)。3.1.5 cStor掛載接口對(duì)于cStor云存儲(chǔ)的用戶(hù)來(lái)說(shuō)，通過(guò)cStor客戶(hù)端可以將海量云存儲(chǔ)系統(tǒng)映射成一個(gè)本地海量磁盤(pán)（Windows客戶(hù)端）或者映射到一個(gè)目錄（Unix、Linux、MacOS、FreeBSD等客戶(hù)端），對(duì)于此磁盤(pán)或者目錄的讀寫(xiě)操作，即可實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)數(shù)據(jù)的讀寫(xiě)。并且，cStor支持NFS、CIFS、FTP等協(xié)議的訪問(wèn)接口。同時(shí)，由于cStor文件系統(tǒng)支持POSIX接口規(guī)范，對(duì)于目前一般的應(yīng)用不需要做二次開(kāi)發(fā)即可使用。3.1.6 cStor讀寫(xiě)數(shù)據(jù)工作原理圖3-4 cStor客戶(hù)端寫(xiě)數(shù)據(jù)流程其詳細(xì)過(guò)程是：cStor客戶(hù)端向元數(shù)據(jù)服務(wù)器發(fā)起數(shù)據(jù)寫(xiě)請(qǐng)求；元數(shù)據(jù)服務(wù)器根據(jù)其管理的存儲(chǔ)節(jié)點(diǎn)的工作和使用情況，根據(jù)負(fù)載均衡的原理，在相關(guān)存儲(chǔ)節(jié)點(diǎn)上創(chuàng)建一些新的數(shù)據(jù)塊；相關(guān)存儲(chǔ)節(jié)點(diǎn)服務(wù)器創(chuàng)建成功，將結(jié)果返回給元數(shù)據(jù)服務(wù)器；元數(shù)據(jù)服務(wù)器一方面?zhèn)浞莺屯酱嗽獢?shù)據(jù)信息，另一方面將相關(guān)存儲(chǔ)節(jié)點(diǎn)信息返回給客戶(hù)端；客戶(hù)端根據(jù)得到的存儲(chǔ)節(jié)點(diǎn)信息，向?qū)?yīng)存儲(chǔ)節(jié)點(diǎn)發(fā)出數(shù)據(jù)寫(xiě)請(qǐng)求，并向存儲(chǔ)節(jié)點(diǎn)發(fā)送數(shù)據(jù)；存儲(chǔ)節(jié)點(diǎn)接收數(shù)據(jù)并存儲(chǔ)到相應(yīng)塊，同時(shí)也向其他存儲(chǔ)節(jié)點(diǎn)發(fā)起備份；當(dāng)本地寫(xiě)以及備份均成功后，存儲(chǔ)節(jié)點(diǎn)將成功信息返回給客戶(hù)端；客戶(hù)端收到成功信號(hào)后，即完成數(shù)據(jù)的存儲(chǔ)。下圖為cStor客戶(hù)端讀數(shù)據(jù)流程圖如下所示：圖3-5 cStor客戶(hù)端讀數(shù)據(jù)流程總的來(lái)說(shuō)，cStor云存儲(chǔ)系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負(fù)擔(dān)，使得其處理能力更強(qiáng)，另一方面將數(shù)據(jù)讀寫(xiě)的負(fù)擔(dān)分擔(dān)到各存儲(chǔ)節(jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，與節(jié)點(diǎn)數(shù)目成正相關(guān)。3.1.7 minicloud簡(jiǎn)介云計(jì)算的飛速發(fā)展，使云存儲(chǔ)領(lǐng)域涉及的范圍越來(lái)越廣，隨著企業(yè)辦公人員對(duì)數(shù)據(jù)存儲(chǔ)安全性和可靠性的要求越來(lái)越高，使用傳統(tǒng)的存儲(chǔ)模式，如移動(dòng)硬盤(pán)、U盤(pán)、刻錄光盤(pán)等方式，都存在著使用不方便、管理麻煩等諸多問(wèn)題，特別軟硬件故障可能導(dǎo)致本地存儲(chǔ)信息的大量丟失或損壞。因此如何安全可靠的存儲(chǔ)企業(yè)運(yùn)營(yíng)數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。 因此，云創(chuàng)存儲(chǔ)推出minicloud微型云計(jì)算數(shù)據(jù)中心，用最少的成本為企業(yè)部署云存儲(chǔ)以及企業(yè)辦公應(yīng)用軟件，為辦公室配置一朵迷你的云，滿(mǎn)足企業(yè)的辦公需求，大幅度降低了企業(yè)IT建設(shè)的門(mén)檻與風(fēng)險(xiǎn)。圖3-6 minicloud外觀圖3.1.8 minicloud產(chǎn)品優(yōu)勢(shì) 超安全的私有云計(jì)算數(shù)據(jù)中心 minicloud采用可靠的分布式云存儲(chǔ),最大支撐三個(gè)27TB的存儲(chǔ)節(jié)點(diǎn),采用1:1容錯(cuò)保證企業(yè)數(shù)據(jù)安全可靠,minicloud可作為企業(yè)的數(shù)據(jù)中心,為企業(yè)的各種重要數(shù)據(jù)提供安全可靠的存儲(chǔ),重要數(shù)據(jù)包括企業(yè)設(shè)計(jì)文檔、設(shè)計(jì)圖紙、經(jīng)營(yíng)數(shù)據(jù)等。 海量存儲(chǔ)空間支持靈活使用 裸容量高達(dá)81TB，采用1:1容錯(cuò)，可用空間最大達(dá)40.5TB，既可作為應(yīng)用軟件（如郵箱、視頻監(jiān)控等）的海量存儲(chǔ)空間，又可以作為員工的私密存儲(chǔ)空間，還可以作為數(shù)據(jù)共享空間。為了保障數(shù)據(jù)安全，辦公室內(nèi)部共享數(shù)據(jù)與通過(guò)互聯(lián)網(wǎng)共享數(shù)據(jù)采用完全隔離的兩套系統(tǒng)。 簡(jiǎn)易的部署方式 隨著中小型企業(yè)、學(xué)校等單位的迅速發(fā)展壯大，擁有自己的服務(wù)器是必不可少的。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專(zhuān)門(mén)的機(jī)房，對(duì)于辦公場(chǎng)所面積有限制的企業(yè)、單位來(lái)說(shuō)部署一套傳統(tǒng)的服務(wù)器是相當(dāng)不易的。而minicloud具有節(jié)省空間的得天獨(dú)厚優(yōu)勢(shì)， 441mm 550mm 350mm的大小集三個(gè)服務(wù)器于一身，完全消除企業(yè)單位應(yīng)對(duì)部署服務(wù)器的困難。不需要專(zhuān)業(yè)人員就能在自己的辦公場(chǎng)所部署一套集成多應(yīng)用的服務(wù)器。 人性化的系統(tǒng)監(jiān)控 可方便地對(duì)minicloud進(jìn)行監(jiān)控，完成對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控，包括云存儲(chǔ)容量的監(jiān)控、磁盤(pán)的監(jiān)控、CPU的監(jiān)控以及內(nèi)存的監(jiān)控，界面效果如下圖所示。圖3-7 minicloud監(jiān)控界面 可靠的企業(yè)應(yīng)用 企業(yè)應(yīng)用程序包括郵件服務(wù)器程序、數(shù)據(jù)庫(kù)、云存儲(chǔ)管理節(jié)點(diǎn)等均采用雙機(jī)熱備，為企業(yè)提供安全可靠的應(yīng)用，保證應(yīng)用程序可持續(xù)的運(yùn)行；同時(shí)minicloud提供配置接口，通過(guò)配置可實(shí)現(xiàn)第三方應(yīng)用程序的雙機(jī)熱備。 自動(dòng)同步 各個(gè)客戶(hù)端中文件夾自動(dòng)同步，服務(wù)器文件自動(dòng)保持一致，多客戶(hù)端文件自動(dòng)同步。 多平臺(tái)隨時(shí)訪問(wèn) minicloud微型云計(jì)算數(shù)據(jù)中心支持Windows客戶(hù)端、網(wǎng)站、Android客戶(hù)端、iPhone/iPad客戶(hù)端，方便用戶(hù)隨時(shí)隨地訪問(wèn)minicloud。 便攜共享，協(xié)同辦公 minicloud支持多人共享同步文件夾，提供了更加便捷的協(xié)同辦公的方式。3.1.9 minicloud技術(shù)規(guī)格“minicloud”產(chǎn)品根據(jù)不同應(yīng)用對(duì)象的應(yīng)用需求以及對(duì)系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細(xì)說(shuō)明如下。表3-1 “minicloud”技術(shù)規(guī)格表經(jīng)濟(jì)型（minicloud M1100)標(biāo)準(zhǔn)型（minicloud M1200)增強(qiáng)型（minicloud M1300)尺寸550mm(長(zhǎng)度) x 441mm(寬度) x 350mm(高度)售后質(zhì)保服務(wù)第1年提供免費(fèi)質(zhì)保服務(wù)，第2-3年提供成本價(jià)維修服務(wù)內(nèi)置服務(wù)器數(shù)量333每臺(tái)服務(wù)器技術(shù)規(guī)格主板Intel芯片組主板處理器單路四核，2GHz以上雙路四核，2GHz以上雙路四核，2GHz以上內(nèi)存8GB16GB32GB網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換電源480W（1+1）冗余電源包裝內(nèi)容minicloud說(shuō)明書(shū)、保修卡、電源線(xiàn)、網(wǎng)線(xiàn)包含軟件cStor云存儲(chǔ)系統(tǒng)存儲(chǔ)容量最高可達(dá)81TB，采用1:1副本容錯(cuò)網(wǎng)盤(pán)系統(tǒng) 在云存儲(chǔ)系統(tǒng)基礎(chǔ)上構(gòu)建的領(lǐng)先的私有網(wǎng)盤(pán)系統(tǒng)，支持Windows、Android、iOS、Web等多種訪問(wèn)方式。郵箱系統(tǒng) 企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。minicloud管理平臺(tái)可便捷的對(duì)minicloud進(jìn)行管理，包括用戶(hù)的管理、存儲(chǔ)的管理、運(yùn)行狀態(tài)的管理等。3.1.10 cStor存儲(chǔ)性能cStor云存儲(chǔ)系統(tǒng)的性能指標(biāo)如下表所示：表3-2 cStor云存儲(chǔ)性能指標(biāo)cStor云存儲(chǔ)系統(tǒng)軟件性能指標(biāo)主特性子特性功能說(shuō)明高可用保證主備雙機(jī)能夠在主元數(shù)據(jù)服務(wù)器故障情況下自動(dòng)切換至備用元數(shù)據(jù)服務(wù)器，對(duì)外服務(wù)不停止空間掛載（接口開(kāi)放性）Windows掛載運(yùn)行Windows客戶(hù)端程序，在Windows系統(tǒng)上顯示為一本地海量磁盤(pán)Linux/Unix/FreeBS/MacOS掛載運(yùn)行Linux/Unix/FreeBS/MacOS掛載程序，在系統(tǒng)上對(duì)應(yīng)為一本地目錄可靠性保證元數(shù)據(jù)日志元數(shù)據(jù)日志本地持久化，可根據(jù)元數(shù)據(jù)日志恢復(fù)元數(shù)據(jù)元數(shù)據(jù)日志備份支持元數(shù)據(jù)日志異機(jī)備份，可根據(jù)備份日志恢復(fù)元數(shù)據(jù)塊數(shù)據(jù)備份采用副本冗余方式或編解碼方式容錯(cuò)，當(dāng)磁盤(pán)損壞副本數(shù)減少時(shí)，系統(tǒng)自動(dòng)重建副本數(shù)到配置的值，保證數(shù)據(jù)安全可靠、服務(wù)不間斷空間利用率磁盤(pán)有效容量系統(tǒng)N+M編解碼配置下，磁盤(pán)有效容量=N/(N+M)裸容量，如8+2編碼情況下，磁盤(pán)利用率為80%。若采用傳統(tǒng)副本方式1：N容錯(cuò)，則磁盤(pán)有效容量為1/(1+N)裸容量。高性能保證吞吐量系統(tǒng)整體吞吐量隨系統(tǒng)規(guī)模增加呈線(xiàn)性增長(zhǎng)寫(xiě)性能單客戶(hù)端寫(xiě)性能高于100MB/s讀性能單客戶(hù)端讀性能高于80MB/s動(dòng)態(tài)擴(kuò)展存儲(chǔ)節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展能夠在不停止服務(wù)的情況下進(jìn)行擴(kuò)容或收縮規(guī)模，在線(xiàn)增加和減少存儲(chǔ)節(jié)點(diǎn)訪問(wèn)接口支持支持POSIX規(guī)范支持掛載為L(zhǎng)inux/Unix本地文件目錄或Windows磁盤(pán)，用戶(hù)使用和操作與本地文件系統(tǒng)相同支持FTP訪問(wèn)支持FTP訪問(wèn)方式支持NFS訪問(wèn)支持NFS訪問(wèn)方式支持CIFS訪問(wèn)支持CIFS訪問(wèn)方式存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)，對(duì)外提供數(shù)據(jù)訪問(wèn)服務(wù)負(fù)載均衡負(fù)載自動(dòng)均衡根據(jù)空間利用情況進(jìn)行負(fù)載均衡流量分擔(dān)并發(fā)訪問(wèn)時(shí)流量自動(dòng)分擔(dān)并發(fā)訪問(wèn)時(shí)流量自動(dòng)分擔(dān)至不同的存儲(chǔ)節(jié)點(diǎn)安全性身份標(biāo)識(shí)和鑒別系統(tǒng)的管理監(jiān)控中心具有身份標(biāo)識(shí)和鑒別功能正常訪問(wèn)控制系統(tǒng)具有對(duì)系統(tǒng)正常訪問(wèn)的控制能力屏蔽非法操作系統(tǒng)具有對(duì)未預(yù)期的非法操作的控制能力數(shù)據(jù)備份和恢復(fù)系統(tǒng)可以配置備份因子，設(shè)置數(shù)據(jù)存儲(chǔ)的份數(shù)日志管理系統(tǒng)元數(shù)據(jù)服務(wù)器具有日志功能管理監(jiān)控設(shè)備監(jiān)控監(jiān)控設(shè)備的運(yùn)行狀態(tài)磁盤(pán)監(jiān)控監(jiān)控設(shè)備的磁盤(pán)狀態(tài)空間監(jiān)控監(jiān)控系統(tǒng)的空間使用狀態(tài)文件監(jiān)控監(jiān)控和統(tǒng)計(jì)系統(tǒng)的文件狀態(tài)塊級(jí)監(jiān)控監(jiān)控系統(tǒng)的數(shù)據(jù)塊狀態(tài)、壞塊統(tǒng)計(jì)和定位3.2 PaaS層cProc云處理3.2.1 JobKeeper云調(diào)度如何保證在云計(jì)算平臺(tái)中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運(yùn)行；如何保證在云計(jì)算平臺(tái)中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時(shí)能夠完全解決系統(tǒng)單點(diǎn)故障問(wèn)題，負(fù)載均衡，自動(dòng)調(diào)度與部署的高效云調(diào)度平臺(tái)，JobKeeper服務(wù)器最大的作用即是解決云計(jì)算系統(tǒng)中的單點(diǎn)故障和任務(wù)調(diào)度的問(wèn)題。 Jobkeeper系統(tǒng)架構(gòu)Jobkeeper的系統(tǒng)架構(gòu)如下圖所示：圖3-8 Jobkeeper架構(gòu)圖上圖中對(duì)Jobkeeper進(jìn)行了分層，對(duì)每層進(jìn)行具體闡述 虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。 存儲(chǔ)層：存儲(chǔ)數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。 數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。 業(yè)務(wù)層：對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個(gè)系統(tǒng)面向用戶(hù)和開(kāi)發(fā)人員的基礎(chǔ)承載。 Jobkeeper任務(wù)分發(fā)JobKeeper的任務(wù)分發(fā)流程如下圖所示： 圖 3-9 JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶(hù)在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點(diǎn)，處理節(jié)點(diǎn)將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理結(jié)果，而后返回給應(yīng)用層。服務(wù)器節(jié)點(diǎn)組：負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)的存儲(chǔ)系統(tǒng)上。處理節(jié)點(diǎn)組：通過(guò)RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。 Jobkeeper優(yōu)勢(shì)分析 高可靠性： 采用“多主多備，負(fù)載均衡”的管理節(jié)點(diǎn)，從而保證無(wú)論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都不存在任何單點(diǎn)故障問(wèn)題。 低依賴(lài)性：采用模塊化設(shè)計(jì)思想，通過(guò)統(tǒng)一化配置和API接口的方式向用戶(hù)提供服務(wù)。 低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無(wú)人值守的情況下自動(dòng)完成故障處理等功能。 高實(shí)時(shí)性：在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級(jí)完成，具有前所未有的高效性。 Jobkeeper故障處理機(jī)制圖3-10 JobKeeper故障處理當(dāng)任務(wù)處理節(jié)點(diǎn)宕機(jī)，或者該任務(wù)被初始化時(shí)，系統(tǒng)產(chǎn)生相應(yīng)錯(cuò)誤，繼而該任務(wù)會(huì)返還到任務(wù)調(diào)度層交給調(diào)度節(jié)點(diǎn)重新分配。如果任務(wù)處理節(jié)點(diǎn)宕機(jī)或者子任務(wù)出現(xiàn)未知錯(cuò)誤，那么該任務(wù)將返回到任務(wù)處理節(jié)點(diǎn)上，由任務(wù)節(jié)點(diǎn)機(jī)器重新分配該子任務(wù)。而所有的任務(wù)信息和處理節(jié)點(diǎn)信息都會(huì)定時(shí)寫(xiě)入到磁盤(pán)文件，因此，不會(huì)出現(xiàn)做了一半的任務(wù)終止后需要重新執(zhí)行的問(wèn)題，系統(tǒng)會(huì)自動(dòng)根據(jù)上次執(zhí)行的情況將錯(cuò)誤前的狀態(tài)遷移到另一臺(tái)處理節(jié)點(diǎn)上，使整個(gè)任務(wù)繼續(xù)進(jìn)行下去。由于JobKeeper主節(jié)點(diǎn)由多臺(tái)組成，互為主備，熱備鏡像。當(dāng)工作的主節(jié)點(diǎn)發(fā)生故障時(shí)，備用的會(huì)自動(dòng)進(jìn)行接替，成為新的主節(jié)點(diǎn)，確保處理任務(wù)不會(huì)中斷，服務(wù)不會(huì)停止。3.2.2 cProc數(shù)據(jù)立方 簡(jiǎn)介2012年11月，南京云創(chuàng)存儲(chǔ)科技有限公司推出了獨(dú)立開(kāi)發(fā)的數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)是南京云創(chuàng)存儲(chǔ)的專(zhuān)有技術(shù)，屬于當(dāng)前流行的大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)來(lái)自方方面面，從搜集天氣情況的感測(cè)器，接入社交媒體網(wǎng)站的指令，數(shù)碼圖片，在線(xiàn)的視頻資料，到網(wǎng)絡(luò)購(gòu)物的交易記錄，手機(jī)的全球定位系統(tǒng)信號(hào)等等。隨著數(shù)據(jù)規(guī)模的急劇膨脹，各行業(yè)累積的數(shù)據(jù)量越來(lái)越巨大，數(shù)據(jù)類(lèi)型也越來(lái)越多、越來(lái)越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個(gè)在含義上趨近于“無(wú)窮大”的概念才會(huì)應(yīng)運(yùn)而生。大數(shù)據(jù)具有四方面特征，“首先在于體量大，是一個(gè)數(shù)據(jù)全集的概念， 第二是類(lèi)型多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類(lèi)型，其中視頻數(shù)據(jù)在目前占到了90%以上的總額；第三要求速度快，需要以秒級(jí)為目標(biāo)進(jìn)行實(shí)時(shí)動(dòng)態(tài)處理。最后在于價(jià)值密度，由于大量有用和可能沒(méi)用的數(shù)據(jù)并存，遍地是金子，又遍地是沙子”，所以大數(shù)據(jù)的目的就在于從龐大的數(shù)據(jù)集合中找尋有價(jià)值的數(shù)據(jù)和知識(shí)，通過(guò)分析挖掘?yàn)楦餍袠I(yè)提供真正的智慧。大數(shù)據(jù)給我們帶來(lái)了很多現(xiàn)實(shí)中的難題，為了解決這些難題我們需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫(kù)技術(shù)，此被稱(chēng)之為大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)處理技術(shù)被設(shè)計(jì)用于在成本可承受的條件下，通過(guò)非?？焖俚牟杉l(fā)現(xiàn)和分析，從大量化、多類(lèi)別的數(shù)據(jù)中提取價(jià)值，將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。簡(jiǎn)單一點(diǎn)講，大數(shù)據(jù)處理技術(shù)其實(shí)是一系列技術(shù)的集合，大致可