存儲模塊化方案CVRSAN

1、?？低暯Y(jié)合在安防行業(yè)領(lǐng)先的技術(shù)優(yōu)勢和存儲方面的專業(yè)研究，基于通用的存儲產(chǎn)品和技術(shù)的基礎(chǔ)上推出了更貼近安防應(yīng)用的基于流媒體傳輸協(xié)議的存儲技術(shù)和產(chǎn)品。1.1 流媒體直寫技術(shù)概述流媒體是指以流的方式在網(wǎng)絡(luò)中傳輸音頻、視頻和多媒體文件的形式，常見的流媒體協(xié)議有RTSP/SIP（GB/T28181）/ONVIF/PSIA等標(biāo)準(zhǔn)流媒體協(xié)議或私有SDK流媒體協(xié)議。?？低曉跇I(yè)內(nèi)率先提出的中心流媒體直寫，是基于TCP/IP或UDP網(wǎng)絡(luò)傳輸協(xié)議，前端IPC/DVR/DVS/NVR等編碼設(shè)備以流媒體協(xié)議，通過網(wǎng)絡(luò)直接寫入存儲設(shè)備的技術(shù)。存儲設(shè)備集成前端設(shè)備管理，視頻存儲，實(shí)時(shí)流轉(zhuǎn)發(fā)、預(yù)覽，歷史視頻查詢、檢索、回

2、放、下載等功能，可獨(dú)立構(gòu)建小規(guī)模視頻管理平臺，亦可結(jié)合視頻管理服務(wù)平臺（?？礽VMS或第三方管理平臺）組建大中型視頻綜合管理系統(tǒng)。?？低曋С至髅襟w直寫的存儲產(chǎn)品統(tǒng)稱為CVR（Center Video Record）。1.1.1 視頻存儲流程視頻流直寫存儲系統(tǒng)可通過直連前端編碼設(shè)備或流媒體（VTDU）方式實(shí)現(xiàn)前端設(shè)備視頻數(shù)據(jù)的存儲。視頻流直寫存儲分析各通道的碼流的信息，建立索引信息，同時(shí)將碼流數(shù)據(jù)及索引信息寫入存儲設(shè)備內(nèi)。1.1.2 實(shí)時(shí)流轉(zhuǎn)發(fā)流程視頻流直寫存儲系統(tǒng)內(nèi)部嵌入了一個(gè)流媒體服務(wù)器（VTDU），從前端設(shè)備獲取碼流數(shù)據(jù)，轉(zhuǎn)發(fā)給遠(yuǎn)程實(shí)時(shí)監(jiān)控客戶端。1.1.3 實(shí)時(shí)流預(yù)覽流程遠(yuǎn)程實(shí)時(shí)監(jiān)控客

3、戶端可通過VTDU轉(zhuǎn)發(fā)，直連前端設(shè)備，登錄CVR存儲系統(tǒng)三種方式實(shí)現(xiàn)實(shí)時(shí)視頻預(yù)覽。1.2 流媒體直寫技術(shù)優(yōu)勢1.2.1 低成本l 省去視頻存儲服務(wù)器（PCNVR）、流媒體轉(zhuǎn)發(fā)服務(wù)器（只支持?？盗髅襟w）；l 支持低價(jià)的監(jiān)控級硬盤作單盤模式或組建RAID；l 支持視頻抽幀存儲，可節(jié)省存儲空間1.2.2 高性能l 支持高達(dá)350路2M碼流并發(fā)寫入l 視頻流無需打包成文件，可即時(shí)回放查看、快速定位，檢索效率高l 采用專用數(shù)據(jù)管理結(jié)構(gòu)，無文件系統(tǒng)，規(guī)避長期循環(huán)覆蓋寫產(chǎn)生的文件碎片而引起的系統(tǒng)性能下降的問題l 對外提供大容量錄像卷1.2.3 高穩(wěn)定l 規(guī)避斷網(wǎng)斷電情況下，出現(xiàn)文件不可讀或丟失的問題l 由于

4、省去了存儲服務(wù)器，簡化了系統(tǒng)架構(gòu)，降低了系統(tǒng)單點(diǎn)故障1.2.4 高可靠l 設(shè)備級保護(hù)，支持N+1備機(jī)冗余，當(dāng)在線設(shè)備故障時(shí)，備機(jī)自動接管其業(yè)務(wù)l 斷網(wǎng)補(bǔ)錄（ANR），當(dāng)前端設(shè)備與CVR設(shè)備之間的網(wǎng)絡(luò)中斷時(shí)，錄像可自動保存在前端，待網(wǎng)絡(luò)恢復(fù)后再回傳到CVR設(shè)備l 數(shù)據(jù)備份，可支持前端設(shè)備錄像備份，錄像數(shù)據(jù)本地備份和異地備份l 錄像丟失檢測報(bào)警，支持實(shí)時(shí)數(shù)據(jù)的丟幀報(bào)警（取流失敗持續(xù)15秒報(bào)警）和歷史數(shù)據(jù)丟失報(bào)警（每小時(shí)定時(shí)檢測）1.2.5 架構(gòu)開放前端IPC/DVR/DVS/NVR等編碼設(shè)備以RTSP/SIP（GB/T28181）/ONVIF/PSIA等標(biāo)準(zhǔn)流媒體協(xié)議或SDK私有流媒體協(xié)議，直接通

5、過網(wǎng)絡(luò)寫入存儲設(shè)備1.3 關(guān)鍵技術(shù)和重點(diǎn)功能1.3.1 流數(shù)據(jù)管理結(jié)構(gòu)視頻流直寫存儲采用流數(shù)據(jù)結(jié)構(gòu)進(jìn)行底層數(shù)據(jù)管理，實(shí)現(xiàn)基于裸空間的預(yù)分配策略，規(guī)避文件系統(tǒng)損壞引起的文件不可讀或丟失的問題，同時(shí)避免因文件碎片累積造成的覆蓋寫入性能衰減，保證性能穩(wěn)定。l “合流”技術(shù)：無論多少個(gè)視頻流進(jìn)入存儲后結(jié)合?？礢mart Sequence in Cache技術(shù)完全匯聚成一個(gè)寫入磁盤的順序數(shù)據(jù)流，實(shí)現(xiàn)并發(fā)隨機(jī)轉(zhuǎn)化為順序錄像，優(yōu)化錄像性能。為了實(shí)現(xiàn)合流技術(shù)，CVR內(nèi)部維護(hù)了一個(gè)全局虛擬化的映射表完成隨機(jī)到順序的數(shù)據(jù)映射。l “流存”技術(shù)裸空間直接存儲視頻流，循環(huán)寫入時(shí)視頻流不斷從頭到尾覆蓋整個(gè)存儲空間，消除

6、文件系統(tǒng)損壞問題帶來的隱患，同時(shí)完全消除循環(huán)覆蓋帶來的文件碎片問題，徹底解決因文件碎片導(dǎo)致的寫入性能下降問題。1.3.2 豐富的部署方式和錄像方式l 支持從IPC/DVS/DVR/NVR直接取流錄像；l 支持從流媒體服務(wù)器取流錄像和在存儲中進(jìn)行流媒體轉(zhuǎn)發(fā)；l 支持主子碼流錄像，并可自動或手動切換l 報(bào)警錄像、定時(shí)錄像、手動錄像、移動偵測錄像、信號量報(bào)警錄像、視頻丟失報(bào)警錄像等多種錄像方式1.3.3 抽幀存儲針對安防應(yīng)用的特性，對過去一定時(shí)間的數(shù)據(jù)可進(jìn)行抽幀存儲，減少存儲容量需求，抽幀后的錄像數(shù)據(jù)仍然可以播放，錄像質(zhì)量不會降低。支持按1/2、1/4、1/8的剩余容量比例和抽I幀的不同策略抽幀方式

7、。1.3.4 N+1模式系統(tǒng)運(yùn)行時(shí)間較長時(shí)，難免不出現(xiàn)設(shè)備級故障。N+1備機(jī)冗余功能保證工作機(jī)故障時(shí)，錄像業(yè)務(wù)不中斷，數(shù)據(jù)不丟失，提供設(shè)備級保護(hù)，提升系統(tǒng)可靠性。其工作原理如下：指定一臺存儲設(shè)備作為監(jiān)控主機(jī)，對網(wǎng)域內(nèi)其他存儲設(shè)備（工作主機(jī)）啟動監(jiān)控功能，當(dāng)發(fā)現(xiàn)被監(jiān)控的工作主機(jī)出現(xiàn)異常成為故障主機(jī)時(shí)，此臺監(jiān)控主機(jī)主動接管故障主機(jī)的工作，可以實(shí)現(xiàn)取流，存儲，下載，回放等功能，同時(shí)繼續(xù)監(jiān)控故障主機(jī)，當(dāng)發(fā)現(xiàn)故障主機(jī)恢復(fù)正常成為工作主機(jī)時(shí)，則停止所有的接管工作，并將接管期間的錄像數(shù)據(jù)回遷到工作主機(jī)中。1.3.5 數(shù)據(jù)完整性1.3.5.1 智能補(bǔ)錄前端與數(shù)據(jù)中心網(wǎng)絡(luò)異常時(shí)，前端設(shè)備啟動錄像并保存在本地存儲

8、設(shè)備上（SD卡，硬盤等）；網(wǎng)絡(luò)恢復(fù)后，錄像自動回傳到中心CVR存儲，保證數(shù)據(jù)的完整性。同時(shí)，CVR設(shè)備支持回傳策略設(shè)定，可選擇在業(yè)務(wù)空閑時(shí)（例如下班時(shí)間）進(jìn)行回傳，解決業(yè)務(wù)繁忙時(shí)錄像數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的帶寬競爭問題。1.3.5.2 錄像丟失檢測報(bào)警針對惡劣的網(wǎng)絡(luò)環(huán)境，經(jīng)常出現(xiàn)網(wǎng)絡(luò)中斷導(dǎo)致視頻數(shù)據(jù)丟幀或整段錄像丟失的問題，為提升系統(tǒng)的可靠性和安全性，方便客戶即時(shí)發(fā)現(xiàn)數(shù)據(jù)的不完整性，?？低曁岢鲣浵駚G失檢測及報(bào)警技術(shù)，該技術(shù)支持實(shí)時(shí)流檢測機(jī)制和歷史數(shù)據(jù)定時(shí)檢測兩種機(jī)制。實(shí)時(shí)流即時(shí)檢測，當(dāng)錄像取流失敗持續(xù)15秒以上則觸發(fā)報(bào)警機(jī)制；歷史數(shù)據(jù)固定每小時(shí)檢測一次，當(dāng)發(fā)現(xiàn)在策略調(diào)度時(shí)間段內(nèi)或者手動錄像時(shí)間段內(nèi)存

9、在錄像丟失，則報(bào)警，同時(shí)恢復(fù)策略錄像。1.3.6 數(shù)據(jù)可靠性1.3.6.1 數(shù)據(jù)備份l 多種數(shù)據(jù)備份模式：與前端共同實(shí)現(xiàn)雙重備份、存儲本地備份以及存儲間的異地備份。l 雙重備份：帶存儲功能的前端設(shè)備實(shí)現(xiàn)本地錄像存儲，可同時(shí)吐流存入存儲設(shè)備，實(shí)現(xiàn)數(shù)據(jù)前端和存儲雙重備份；l 存儲本地備份：存儲設(shè)備從前端設(shè)備取流后，將流數(shù)據(jù)寫到錄像卷的同時(shí)，自動將流數(shù)據(jù)備份到存檔卷，不占用外部數(shù)據(jù)帶寬，也無需平臺干預(yù)。由于存檔卷不會被循環(huán)覆蓋，這增加了重要通道數(shù)據(jù)的安全性。l 存儲間異地備份：是指將存儲A機(jī)器上的錄像數(shù)據(jù)備份到B機(jī)器的存檔卷中，防止A機(jī)器因?yàn)楫惓；蜾浵窬硌h(huán)覆蓋而造成重要錄像數(shù)據(jù)的丟失，可實(shí)現(xiàn)跨局域

10、網(wǎng)備份，無需平臺干預(yù)。1.3.6.2 錄像鎖定針對關(guān)鍵視頻，需要超過錄像周期時(shí)也不被循環(huán)覆蓋。?？低旵VR存儲設(shè)備可自動或按照策略對視頻進(jìn)行鎖定。鎖定方式： 根據(jù)鎖定策略,錄像的同時(shí)實(shí)現(xiàn)加鎖；手動執(zhí)行鎖定錄像段。鎖定周期過后，自動解鎖，同時(shí)支持隨時(shí)手動解鎖。1.4 解決方案?？低暩鶕?jù)安防行業(yè)的發(fā)展趨勢和當(dāng)前面臨的問題與挑戰(zhàn)，深入研究行業(yè)和客戶的真實(shí)需求，針對不同的應(yīng)用環(huán)境推出了不同的組網(wǎng)方案。1.4.1 SAN組網(wǎng)1.4.1.1 組網(wǎng)架構(gòu)該組網(wǎng)模式下，?？低暣鎯ο到y(tǒng)通過標(biāo)準(zhǔn)的iSCSI協(xié)議（FCP協(xié)議）或NAS功能對外提供存儲服務(wù)。存儲空間直接掛載在存儲服務(wù)器或應(yīng)用服務(wù)器上，上層應(yīng)用和原

11、來一樣直接訪問存儲服務(wù)器或者應(yīng)用服務(wù)器。該模式適用于視頻數(shù)據(jù)存儲系統(tǒng)和業(yè)務(wù)數(shù)據(jù)存儲系統(tǒng)。1.4.1.2 基本組成單元存儲系統(tǒng)、存儲（應(yīng)用）服務(wù)器、千兆交換機(jī)（或光纖交換機(jī)）1.4.1.3 主要特點(diǎn)l 集中存儲，統(tǒng)一管理：采用中心集中存儲模式，前端視頻資源集中存儲，系統(tǒng)資源統(tǒng)一管理；l 同時(shí)提供SAN和NAS：SAN提供高性能塊級數(shù)據(jù)訪問，NAS兼容多種文件存儲協(xié)議，滿足異構(gòu)環(huán)境下文件共享需求；l 兼容性好：存儲設(shè)備通過標(biāo)準(zhǔn)的存儲協(xié)議與第三方服務(wù)器、平臺實(shí)現(xiàn)連接；l 擴(kuò)展便利：可實(shí)現(xiàn)LUN卷、RAID空間和整機(jī)設(shè)備的在線擴(kuò)容，擴(kuò)容過程不影響原系統(tǒng)應(yīng)用；l 帶寬預(yù)留功能：實(shí)現(xiàn)任一個(gè)客戶端到存儲的帶

12、寬預(yù)留，優(yōu)化帶寬競爭時(shí)的系統(tǒng)性能；l 多設(shè)備統(tǒng)一管理：提供集中管理監(jiān)控軟件，可以統(tǒng)一管理和監(jiān)測多臺設(shè)備。1.4.2 流媒體直寫組網(wǎng)1.4.2.1 組網(wǎng)架構(gòu)?？低旵VR存儲系統(tǒng)作為視頻錄像和回放的中心節(jié)點(diǎn)，前端編碼器以視頻流的方式直接寫入CVR存儲系統(tǒng)，錄像回放由CVR存儲系統(tǒng)直接回放至客戶端和解碼器，錄像和回放不通過中轉(zhuǎn)環(huán)節(jié)。同時(shí)CVR存儲系統(tǒng)可內(nèi)嵌流媒體，集成轉(zhuǎn)發(fā)功能。1.4.2.2 基本組成單元CVR存儲系統(tǒng)、視頻前端、管理服務(wù)器、千兆交換機(jī)。1.4.2.3 主要特點(diǎn)l 流媒體直寫：前端、平臺采用流媒體協(xié)議與存儲直接交互，提高系統(tǒng)性能，精簡存儲服務(wù)器，消除服務(wù)器單點(diǎn)故障和性能瓶頸；l 集

13、成視頻轉(zhuǎn)發(fā)功能：視頻流可通過存儲系統(tǒng)轉(zhuǎn)發(fā)，進(jìn)一步精簡流媒體服務(wù)器；l 流媒體存儲技術(shù)：底層采用流媒體管理結(jié)構(gòu)，可保證斷電斷網(wǎng)等情況下系統(tǒng)的穩(wěn)定性，并基本完全消除覆蓋讀寫情況下的文件碎片；l 秒級檢索、快速回放、批量下載；l 數(shù)據(jù)歸檔：提供錄像鎖定、錄像數(shù)據(jù)本地備份和異地備份等多種數(shù)據(jù)歸檔功能；l N+1備機(jī)冗余：工作機(jī)故障時(shí)，備機(jī)即時(shí)接管錄像服務(wù)；故障機(jī)恢復(fù)后，服務(wù)和數(shù)據(jù)自動回遷；l 智能補(bǔ)錄：斷網(wǎng)期間，前端在內(nèi)置存儲介質(zhì)上錄像，網(wǎng)絡(luò)恢復(fù)后，錄像上傳存儲設(shè)備；l 雙碼流錄像：支持主子碼流錄像，并可通過策略靈活切換。1.5 存儲容量計(jì)算單個(gè)通道24小時(shí)存儲1天的計(jì)算公式(GB)碼流大?。∕bps

14、）÷8×3600秒×24小時(shí)×1天÷1024。1.5.1 標(biāo)清D1格式按1.5Mbps碼流計(jì)算，存放1天的數(shù)據(jù)總?cè)萘?1.5Mbps÷8×3600秒×24小時(shí) ×（1天）÷102415.8GB。 30天需要的容量(GB)15.8GB×30天474GB以20個(gè)標(biāo)清通道為例：20個(gè)通道的容量(TB)474×20÷10009.48TB1.5.2 高清130萬格式按4Mbps碼流計(jì)算，存放1天的數(shù)據(jù)總?cè)萘?4Mbps÷8× 3600秒×24小時(shí) ×（1天）÷102442.2GB。 30天需要的容量(GB)42.2GB×30天1266GB以20個(gè)高清130萬通道為例：20個(gè)通道