海關(guān)視頻接入方案 精品.docx

海關(guān)視頻接入方案目錄第一章背景需求. 3第二章系統(tǒng)概述. 52.1 視頻接入概述 . 5第三章系統(tǒng)設(shè)計(jì). 103.1 系統(tǒng)設(shè)計(jì)原則 . 103.2 系統(tǒng)設(shè)計(jì)方案 . 103.2.1 邏輯架構(gòu). 11第四章關(guān)鍵技術(shù). 184.1cVideo 視頻云端轉(zhuǎn)碼 . 184.1.1 視頻轉(zhuǎn)碼簡(jiǎn)介. 184.1.2 云轉(zhuǎn)碼. 194.2 視頻云調(diào)度 . 204.2.1 云調(diào)度簡(jiǎn)介. 204.2.2 JobKeeper 主要優(yōu)勢(shì). 204.2.3 JobKeeper 架構(gòu). 21第一章 背景需求某市海關(guān)作為一級(jí)直屬海關(guān)，有必要也有能力將關(guān)區(qū)內(nèi)的所有視頻平臺(tái)都納 入到統(tǒng)一的某市海關(guān)視頻管理系統(tǒng)內(nèi)，這些各隸屬關(guān)的視頻數(shù)據(jù)，要能夠被總關(guān) 隨時(shí)調(diào)看，同時(shí)也能為海關(guān)的其他業(yè)務(wù)部門服務(wù)?，F(xiàn)實(shí)是各隸屬海關(guān)的視頻平臺(tái) 千差萬(wàn)別，品牌眾多，有的視頻平臺(tái)廠商實(shí)力雄厚，能提供豐富的接口供外邊調(diào) 用，有的視頻平臺(tái)建設(shè)時(shí)間久遠(yuǎn)，大大落后于現(xiàn)實(shí)的需要，甚至有些隸屬海關(guān)沒(méi) 有自己的視頻平臺(tái)，而是作為當(dāng)?shù)匾曨l平臺(tái)的用戶，因此某市海關(guān)整合全關(guān)區(qū)的 視頻資源的任務(wù)，任重而道遠(yuǎn)。圖 1-1 某市海關(guān)視頻現(xiàn)狀某市海關(guān)的情況尤為突出。如圖 1 所示，某市電子口岸的視頻平臺(tái)建設(shè)已經(jīng) 十來(lái)年了，原有的平臺(tái)、編碼器，廠家也不負(fù)責(zé)升級(jí)，沒(méi)有源代碼，編碼器也早 停產(chǎn)，但是某市的近千路模擬攝像頭還是通過(guò)這些老的編碼器接入到這個(gè)舊平臺(tái) 內(nèi)，正常使用中。某市海關(guān)作為電子口岸視頻平臺(tái)的一個(gè)用戶，用它的插件能隨 時(shí)調(diào)看所需的視頻圖像，但是由于這個(gè)平臺(tái)沒(méi)有了源碼及一切技術(shù)資料，很難將 里面的視頻給外網(wǎng)調(diào)用?，F(xiàn)有三十來(lái)路視頻，是通過(guò)老型號(hào)解碼器將數(shù)字信號(hào)變 成模擬信號(hào)，然后用一個(gè)現(xiàn)在標(biāo)準(zhǔn)的編碼器將模擬信號(hào)再變?yōu)閿?shù)字信號(hào)，供外邊 調(diào)用。后來(lái)新加的很多數(shù)字?jǐn)z像頭，也是通過(guò)這種數(shù)字變模擬，再接入老編碼器 的方式接入視頻平臺(tái)的。對(duì)于某市海關(guān)的現(xiàn)狀，南京云創(chuàng)存儲(chǔ)科技有限公司利用公司深厚的技術(shù)積累， 在只有平臺(tái)可執(zhí)行程序的基礎(chǔ)上，成功的從電子口岸視頻平臺(tái)內(nèi)取出視頻流，并 能正確解碼，這也就意味著，在原有系統(tǒng)正常運(yùn)行的情況下，只要引入云創(chuàng)公司的 cVideo 平臺(tái)，就能把所需的視頻數(shù)據(jù)導(dǎo)出外網(wǎng)，供某市海關(guān)調(diào)用。云創(chuàng)公司 的 cVideo 平臺(tái)，不僅能從電子口岸視頻平臺(tái)取出視頻流，還能提供豐富的對(duì)外 接口，支持 PC 機(jī)、IPAD、手機(jī)等客戶端訪問(wèn)視頻，同時(shí)可以直接接入市面上絕 大多數(shù)的高清攝像頭、編碼器、視頻平臺(tái)等等，有利于現(xiàn)有設(shè)備的逐步更新改造。第二章系統(tǒng)概述2.1 視頻接入概述針對(duì)某市海關(guān)視頻平臺(tái)的現(xiàn)狀，本著最大化利用現(xiàn)有投資，逐步更新改造的 原則，云創(chuàng)公司提出如下方案：在保持原有平臺(tái)、架構(gòu)不變的前提下，引入云創(chuàng) 的 cVideo 平臺(tái)，它能將某市海關(guān)所需的 200 路視頻接入進(jìn)來(lái)，并提供服務(wù)給某 市海關(guān)調(diào)用，同時(shí)新增的高清攝像頭可以直接接入 cVideo 平臺(tái)，老的編碼器逐 步淘汰，新的編碼器也可以直接接入 cVideo 平臺(tái)。cVideo 平臺(tái)不僅能提供豐富 的對(duì)外接口，同時(shí)支持 PC 機(jī)、IPAD、手機(jī)等客戶端訪問(wèn)。整體方案如下圖所示。第三章系統(tǒng)設(shè)計(jì)3.1 系統(tǒng)設(shè)計(jì)原則整個(gè)視頻監(jiān)控系統(tǒng)設(shè)計(jì)先進(jìn)，配置合理，符合標(biāo)準(zhǔn)化、規(guī)范化、現(xiàn)代化的要 求。系統(tǒng)設(shè)計(jì)和設(shè)備選型，充分考慮系統(tǒng)的可靠性、實(shí)用性、先進(jìn)性和經(jīng)濟(jì)性。3.2 系統(tǒng)設(shè)計(jì)方案cVideo 平臺(tái)為某市云創(chuàng)存儲(chǔ)公司自行研發(fā)和設(shè)計(jì)的大規(guī)模高清視頻監(jiān)控解 決方案，依托本公司的 cStor 云存儲(chǔ)平臺(tái)，使得 cVideo 構(gòu)架下的綜合調(diào)度和云 端轉(zhuǎn)碼可以完美地滿足超大規(guī)模視頻監(jiān)控、海量數(shù)據(jù)存儲(chǔ)、以及遠(yuǎn)距離監(jiān)控的要 求。更是通過(guò)對(duì)視頻監(jiān)控平臺(tái)產(chǎn)品的理解，利用深厚的技術(shù)積累，能獲取某市電 子口岸視頻平臺(tái)中的視頻流，并提供給某市海關(guān)調(diào)用。3.2.1 邏輯架構(gòu)圖 3-1 cVideo 系統(tǒng)架構(gòu)圖cVideo 云視頻監(jiān)控系統(tǒng)利用 cStor 云存儲(chǔ)和云處理技術(shù)實(shí)現(xiàn)高清視頻監(jiān)控，是在服務(wù)器集群上部署一整套基于云架構(gòu)的視頻處理軟件，上圖為簡(jiǎn)化的cVideo 云平臺(tái)框圖，其核心內(nèi)容是對(duì)接入視頻的實(shí)時(shí)處理分析。 基于云計(jì)算的模式，采取海量分布式 JobKeeper 云調(diào)度架構(gòu)，以集群的形式共同對(duì)外服務(wù)。以實(shí)現(xiàn)某市電子口岸視頻接入、視頻轉(zhuǎn)碼等需求。最后將處理好的圖像信息以流媒體的形式輸出，并提供給上層各類應(yīng)用對(duì)應(yīng)的接口。l資源層：包括攝像頭、卡口等前端數(shù)據(jù)采集設(shè)備所采集到的原始視頻圖像數(shù) 據(jù)，以及響應(yīng)業(yè)務(wù)信息，如：人力、車輛、區(qū)域分布等資源信息。l接入層：整合數(shù)據(jù)資源、業(yè)務(wù)資源、存儲(chǔ)資源，使其符合系統(tǒng)標(biāo)準(zhǔn)，實(shí)現(xiàn)不 同資源的接入。l數(shù)據(jù)存儲(chǔ)層：即 cStor 云存儲(chǔ)系統(tǒng)，提供海量的存儲(chǔ)空間，以備歷史數(shù)據(jù)的 回看與處理。l數(shù)據(jù)處理層：即云處理系統(tǒng)，提供高效的某市電子口岸視頻接入、視頻轉(zhuǎn)碼 等大規(guī)模數(shù)據(jù)處理能力。l數(shù)據(jù)分發(fā)：以流媒體服務(wù)器的形式提供標(biāo)準(zhǔn)的 RTSP 流媒體輸出，可以支持 高并發(fā)訪問(wèn)。lAPI 層：提供 API 接口，實(shí)現(xiàn)上層應(yīng)用對(duì)底層資源的透明操作，提供業(yè)務(wù)應(yīng) 用的開(kāi)發(fā)支持。l調(diào)度控制層：實(shí)現(xiàn)對(duì)以上各層的綜合調(diào)度與控制，以實(shí)現(xiàn)整套系統(tǒng)機(jī)制。l應(yīng)用層：主要包括實(shí)時(shí)監(jiān)控、調(diào)閱查詢等視頻相關(guān)應(yīng)用，為用戶提供友善的 界面、人性化的操作方式，能夠讓用戶簡(jiǎn)單高效的監(jiān)控多個(gè)視頻源。功能如 下：1) 信息采集設(shè)備的管理，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的設(shè)備數(shù)據(jù)庫(kù)進(jìn) 行操作，實(shí)現(xiàn)添加和刪除系統(tǒng)中的卡口和攝像頭。2) 用戶管理，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的用戶數(shù)據(jù)庫(kù)進(jìn)行操作，實(shí) 現(xiàn)用戶注冊(cè)、注銷以及權(quán)限設(shè)置。3) 按時(shí)間檢索歷史記錄，提供按時(shí)間檢索記錄的窗口，向視頻中心服務(wù)器 發(fā)送檢索命令，獲取歷史記錄的相關(guān)信息。4) 歷史記錄回放，根據(jù)歷史記錄的相關(guān)信息，播放 cStor 中的歷史記錄5) 錄像，監(jiān)控控制端通過(guò)中心服務(wù)器向存儲(chǔ)管理端發(fā)送錄像命令，存儲(chǔ)管 理端控制設(shè)備進(jìn)行錄像，獲取的數(shù)據(jù)直接存儲(chǔ)到 cStor 中。第四章關(guān)鍵技術(shù)以上系統(tǒng)架構(gòu)中，涉及到的具體技術(shù)包括了 cVideo 的云端轉(zhuǎn)碼技術(shù)、 JobKeeper 云調(diào)度方法、cStor 云存儲(chǔ)技術(shù)。其中 cVideo 的云端轉(zhuǎn)碼技術(shù)負(fù)責(zé)對(duì) 視頻流的進(jìn)一步處理，cStor 實(shí)現(xiàn)對(duì)海量視頻數(shù)據(jù)的存儲(chǔ)，而 JobKeeper 負(fù)責(zé)綜 合管理和統(tǒng)一調(diào)度，實(shí)現(xiàn)云內(nèi)計(jì)算機(jī)的聯(lián)動(dòng)和各類保障，共同對(duì)外提供服務(wù)。4.1cVideo 視頻云端轉(zhuǎn)碼4.1.1 視頻轉(zhuǎn)碼簡(jiǎn)介隨著前端攝像機(jī)的清晰度不斷提升，其碼流和數(shù)據(jù)量成倍增長(zhǎng)。然而一些終端的 處理能力有限，無(wú)法支持高清的分辨率；或者需要用到公網(wǎng)傳輸，帶寬無(wú)法滿足 高清的碼流的需求等。視頻轉(zhuǎn)碼是一種將已壓縮的視頻數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式的技術(shù)，視頻 的編碼格式主要的有 MPEG、H264、DivX、WMA、RM 等，封裝格式主要有 avi、 ps、ts、mov、mkv、mpg 等，而不同的播放器對(duì)格式的支持也不同，因此不同 終端對(duì)視頻流格式也有著特殊的需求。視頻轉(zhuǎn)碼是一個(gè)高運(yùn)算負(fù)荷的過(guò)程，需要對(duì)輸入的視頻流進(jìn)行全解碼、視頻過(guò)濾/圖像處理、并且對(duì)輸出格式進(jìn)行全編碼。最簡(jiǎn)單的轉(zhuǎn)碼過(guò)程僅僅涉及到解碼一 個(gè)比特流和用不同的編解碼器重新編碼兩個(gè)步驟。這種硬轉(zhuǎn)碼看似很簡(jiǎn)單，只需 要一個(gè)解碼器和一個(gè)編碼器，但是最終顯示結(jié)果并不理想，因?yàn)橐曨l數(shù)據(jù)解碼后 重新編碼會(huì)降低畫(huà)質(zhì)。硬解碼無(wú)法利用捷徑，所以和采用智能轉(zhuǎn)碼算法的方法相比，要求更高的處 理器性能并且產(chǎn)生更大的功耗。如果全部通過(guò)軟件進(jìn)行臨時(shí)處理，需要 2GHz 頻率的處理器。以現(xiàn)在 PC 上的 CPU 的運(yùn)算能力，在運(yùn)行其他程序的情況下，是 無(wú)法支持實(shí)時(shí)的高清視頻轉(zhuǎn)碼4.1.2 云轉(zhuǎn)碼 由于視頻轉(zhuǎn)碼計(jì)算量很大，單一的計(jì)算機(jī)不可能實(shí)現(xiàn)整個(gè)監(jiān)控系統(tǒng)內(nèi)的攝像頭實(shí) 時(shí)視頻數(shù)據(jù)的轉(zhuǎn)碼。cVideo 研發(fā)了云端轉(zhuǎn)碼技術(shù)，將視頻轉(zhuǎn)碼計(jì)算放大云端，實(shí) 現(xiàn)整個(gè)系統(tǒng)內(nèi)的實(shí)時(shí)視頻轉(zhuǎn)碼，以滿足用戶對(duì)不同分辨率，不同碼流，不同終端 的使用需求。圖 4-1 轉(zhuǎn)碼前圖 4-2 轉(zhuǎn)碼后視頻接入模塊首先將不同廠家的前端設(shè)備接入進(jìn)來(lái)，對(duì)于支持 RTSP 的采集設(shè)備， 我們利用標(biāo)準(zhǔn)的流媒體協(xié)議接口實(shí)現(xiàn)視頻和音頻數(shù)據(jù)的傳輸。對(duì)于不支持 RTSP 的采集設(shè)備，我們利用設(shè)備廠商提供的 SDK 進(jìn)行接入。然后利用高效的轉(zhuǎn)碼技 術(shù)，將采集到的高清視頻信號(hào)解碼后再重新編碼，在滿足用戶需求的同時(shí)降低對(duì) 網(wǎng)絡(luò)帶寬的消耗。同時(shí)將轉(zhuǎn)碼后的視頻流推送給流媒體服務(wù)器分發(fā)出去。圖 4-3 云轉(zhuǎn)碼流程4.2 視頻云調(diào)度4.2.1 云調(diào)度簡(jiǎn)介如何保證在云計(jì)算平臺(tái)中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正 常運(yùn)行；如何保證在云計(jì)算平臺(tái)中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)；如何設(shè)計(jì) 一套無(wú)人值守，自動(dòng)生長(zhǎng)的高效系統(tǒng)。分布式云調(diào)度系統(tǒng) JobKeeper 能夠完全解決系統(tǒng)單點(diǎn)故障問(wèn)題。負(fù)載均衡，問(wèn)題。 與視頻系統(tǒng)結(jié)合形成自動(dòng)調(diào)度與部署的高效視頻云調(diào)度平臺(tái)。4.2.2 JobKeeper 主要優(yōu)勢(shì)高可靠性：平臺(tái)采用“多主多備，負(fù)載均衡”的管理節(jié)點(diǎn)設(shè)計(jì)模式，和“處 理實(shí)時(shí)跟蹤”的處理節(jié)點(diǎn)設(shè)計(jì)模式，從而保證無(wú)論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都 不存在任何單點(diǎn)故障問(wèn)題。低依賴性：平臺(tái)采用模塊化設(shè)計(jì)思想，通過(guò)統(tǒng)一化配置和 API 接口的方式向 用戶提供服務(wù)。無(wú)論用戶應(yīng)用是用何種語(yǔ)言開(kāi)發(fā)，何種處理方式，都可以交 由平臺(tái)進(jìn)行統(tǒng)一的調(diào)度管理。低干預(yù)性：平臺(tái)采用基于事件化的統(tǒng)一管理模式。無(wú)論是動(dòng)態(tài)擴(kuò)展集群處理 系統(tǒng)能力，還是單點(diǎn)故障的任務(wù)轉(zhuǎn)移，又或者是任務(wù)的實(shí)時(shí)監(jiān)控和動(dòng)態(tài)分配， 都將在系統(tǒng)無(wú)人值守的情況下自動(dòng)完成。高實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)現(xiàn)對(duì)任務(wù)的實(shí)時(shí) 分配，實(shí)時(shí)調(diào)度，實(shí)時(shí)處理。在機(jī)器性能允許的范圍內(nèi)，計(jì)算任務(wù)不會(huì)出現(xiàn) 堆積的顯現(xiàn)，所有任務(wù)的控制工作基本都在秒級(jí)完成，具有前所未有的高效 性。4.2.3 JobKeeper 架構(gòu)圖 4-4JobKeeper 架構(gòu)圖上圖為 JobKeeper 的基本架構(gòu)圖，下面對(duì)其各層作一定描述。應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。用于顯示任務(wù)的處理情況以 及集群中機(jī)器的活動(dòng)情況，同時(shí)其也是一個(gè)上層應(yīng)用和底層服務(wù)的對(duì)接平臺(tái)。 是整個(gè)系統(tǒng)面向用戶和開(kāi)發(fā)人員的基礎(chǔ)承載。業(yè)務(wù)層：對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，他 的運(yùn)行與監(jiān)控的工作將由 JobKeeper 調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。存儲(chǔ)層：用來(lái)存儲(chǔ)數(shù)據(jù)存儲(chǔ)層的處理結(jié)果集或者其他中間結(jié)果集的單元。虛擬化資源層：將實(shí)體的機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。JobKeeper 調(diào)度平臺(tái)是建立于虛擬化資源層之上，統(tǒng)一調(diào)度，統(tǒng)一配置的管理平 臺(tái)，用于對(duì)集群中任務(wù)實(shí)時(shí)的處理調(diào)度，實(shí)時(shí)結(jié)果集的反饋，集群的負(fù)載均衡， 失敗調(diào)度，集中管理，集中配置的平臺(tái)。用來(lái)保證整個(gè)集群的超低人員干預(yù)。同 時(shí)，提供完善的集群伸縮機(jī)制為整個(gè)服務(wù)提供更高的可靠性。圖 4-5JobKeeper 調(diào)度平臺(tái)任務(wù)流程JobKeeper 調(diào)度平臺(tái)任務(wù)流程如上圖，它是由一組管理節(jié)點(diǎn)（MasterNode） 和一組處理節(jié)點(diǎn)（TaskNode）組成，管理節(jié)點(diǎn)組是一組基于 Webserver 的 RPC（注：RPC 采用客戶機(jī)/服務(wù)器模式。請(qǐng)求程序就是一個(gè)客戶機(jī)，而服務(wù)提 供程序就是一個(gè)服務(wù)器。首先，客戶機(jī)調(diào)用進(jìn)程發(fā)送一個(gè)有進(jìn)程參數(shù)的調(diào)用 信息到服務(wù)進(jìn)程，然后等待應(yīng)答信息。在服務(wù)器端，進(jìn)程保持睡眠狀態(tài)直到 調(diào)用信息的到達(dá)為止。當(dāng)一個(gè)調(diào)用信息到達(dá)，服務(wù)器獲得進(jìn)程參數(shù)，計(jì)算結(jié) 果，發(fā)送答復(fù)信息，然后等待下一個(gè)調(diào)用信息，最后，客戶端調(diào)用進(jìn)程接收 答復(fù)信息，獲得進(jìn)程結(jié)果，然后調(diào)用執(zhí)行繼續(xù)進(jìn)行）。服務(wù)器節(jié)點(diǎn)組，負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟 蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于 cStor 或者 NFS 服務(wù)的存儲(chǔ)系統(tǒng)上， 保證每個(gè)管理節(jié)點(diǎn)中的鏡像信息的實(shí)時(shí)同步。同時(shí)架設(shè)在管理節(jié)點(diǎn)上的 ZooKeeper 服務(wù)（注：ZooKeeper 是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用 程序協(xié)調(diào)服務(wù)，包含一個(gè)簡(jiǎn)單的原語(yǔ)集。分布式應(yīng)用可以使用它來(lái)實(shí)現(xiàn)諸如：統(tǒng)一命名服務(wù)、配置管理、分布式鎖服務(wù)、集群管理等功能），用于對(duì)整個(gè) 管理節(jié)點(diǎn)組進(jìn)行統(tǒng)一的配置化管理。處理節(jié)點(diǎn)組通過(guò) RPC 的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的 和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn) 組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活 狀態(tài)。如果在若干個(gè)心跳間隔后管理節(jié)點(diǎn)組仍然沒(méi)有獲取到處理節(jié)點(diǎn)心跳報(bào) 告，那么該處理節(jié)點(diǎn)將會(huì)被踢出處理節(jié)點(diǎn)組，同時(shí)該節(jié)點(diǎn)處理的所有處理任 務(wù)也會(huì)被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點(diǎn)組提供了簡(jiǎn) 單高效的自動(dòng)化部署方案，當(dāng)新機(jī)器加入處理集群后，會(huì)主動(dòng)的與管理節(jié)點(diǎn) 組同步心跳信息，從同一配置服務(wù)器 ZooKeeper 上獲取相關(guān)配置信息，通過(guò) WebServer 服務(wù)獲取任務(wù)列表，開(kāi)始執(zhí)行數(shù)據(jù)處理工作。JobKeeper 調(diào)度平臺(tái)提供了一套基于 Web 的管理化