人臉抓拍識別系統(tǒng)技術方案設計

1、智能分析視頻監(jiān)控系設計方案2015-10目錄一、系統(tǒng)概述 5二、系統(tǒng)優(yōu)勢6三、應用場景7四、系統(tǒng)設計84.1概述84.2技術特點8技術概要8422人臉抓拍技術9423人臉識別技術.1.14.3系統(tǒng)結構1.2系統(tǒng)組網 124.4人像系統(tǒng)功能13人臉檢測抓拍 .13自動識別性別13圖像記錄防篡改功能 13高清錄像功能 14數據存儲功能14448數據FTP傳輸與斷點續(xù)傳功能 1 4449遠程系統(tǒng)管理維護功能 1.4五、后端管理平臺 155.1系統(tǒng)框架155.2后端服務器簡介 1.65.3客戶端功能介紹 1.8功能架構18客戶端主要功能介紹 1.8視頻播放 185.322歷史視頻查詢185.323圖片

2、和事件信息顯示 19圖片和事件關聯視頻查詢 19建立重要案事件視頻庫 19黑布控報警 20模糊圖像處理20系統(tǒng)設備狀態(tài)監(jiān)測 20六、系統(tǒng)應用 2.16.1人臉抓拍應用216.2人像比對應用226.3條件檢索應用226.4視頻關聯人臉應用 236.5黑布控應用24Word專業(yè)資料一、系統(tǒng)概述“人車抓拍卡口系統(tǒng)”的出現，使對車輛和人員的監(jiān)控實現實時報警成為了 可能，不但可以對車輛進行監(jiān)控管理， 而且同時對人員進行了有效監(jiān)控管理， 對 于城市中心區(qū)域、城市城中村及中小城市的治安管理系統(tǒng)建設更具有現實作用和 意義。同時該系統(tǒng)在機制上實現了無效數據的屏蔽從而可以有效地降低中心存儲 的壓力，該系統(tǒng)的數據采

3、集方式可以實現多級檢索，大大提高了系統(tǒng)的使用效率、 節(jié)省了查詢時間、減少了警力的占用。該系統(tǒng)響應了公安部的要求，符合當前實 際的需要，具有時效性及高科技的特點，減少了大系統(tǒng)建設的后顧之憂，必將在 推廣后成為公共安全的得力助手，達到“科技強警”的目標。二、系統(tǒng)優(yōu)勢1、視頻觸發(fā)，應用靈活、方便，不需要破路埋設線圈，系統(tǒng)建設簡單、維 護方便。2、前端采用高清一體網絡攝像機作為圖像采集設備， 成像質量高達300萬 像素，圖片質量高。一臺高清攝像機可實現對車輛的抓拍、完成號牌識別、行人 抓拍、視頻記錄。設備構成簡單，系統(tǒng)建設、應用簡便，工控機用作前端存儲。3、系統(tǒng)支持后期人臉比對擴展功能，可將前端抓拍人

4、像與人像庫進行實時 比對，當比對相似度達到一定閥值，則會自動報警。也支持遺留物檢測、固定物 檢測等擴展功能。4、可以實現對重點區(qū)域同時提供高清的人像照片、車輛照片和有效高清視 頻錄像，實現對重點區(qū)域的全天候、大圍的管理要求，提高了管理水平，在一定 程度上極大的制止了不法行為的發(fā)生，同時也為相關安全部門的調查取證創(chuàng)造了 條件，為后期的案件處理提供可靠、有效的線索和依據。5、領先的車牌識別技術：準確率很高，車牌識別種類齊全，可準確識別車 牌字體和車牌底色。6、系統(tǒng)操作簡便、人機界面友好，易于維護。7、多目標系統(tǒng)對地鐵出入口的廣場進行一個全局的監(jiān)控和細節(jié)目標的檢測 跟蹤。8、人群密度統(tǒng)計，對廣場區(qū)域

5、人群密度進行分析統(tǒng)計，已 4種顏色表示密 度，但密度超過設定值，立即進行報警。三、應用場景目前本系統(tǒng)主要應用在以下幾個方面：地鐵站、機場、車站、高速路收費站、城中村、小區(qū)等重要的出入口;公路卡口點、社區(qū)、景區(qū)、工業(yè)園區(qū)、政府、軍隊等場所；四、系統(tǒng)設計4.1概述系統(tǒng)是我司自主開發(fā)設計的新一代智能卡口系統(tǒng)， 同時具有車輛監(jiān)控管理和 人員監(jiān)控管理功能。它融合了多項專利技術，融合先進的計算機視覺技術、高清 視頻圖像處理和神經網絡等關鍵技術于一體，結合網絡和自動控制技術，利用高 清晰一體攝像機做檢測傳感器，對進入鏡頭的過往車輛、人員進行實時抓拍，攝 像機置軟件進行分析處理。它既可進行本地獨立工作，也可聯

6、網組成一個強大的 安防系統(tǒng)。同時結合多目標系統(tǒng)和人群密度統(tǒng)計分析系統(tǒng)， 對廣場區(qū)域進行一個全覆蓋 的監(jiān)控以及對人群密度的分析統(tǒng)計。4.2技術特點421技術概要? 系統(tǒng)結構簡潔，高度集成化，前端高清一體攝像機采集車輛、人臉圖片；攝 像機置軟件完成分析、識別，具有高度集成性，有效降低使用與維護成本。? 可針對性全捕獲機動車、人像，實現過往目標的全面管控。? 夜間智能補光，白天無逆光，全天候清晰成像。? 號牌識別平均有效率，在車牌圖像滿足國標要求 120像素一180像素的情況 下，識別率可達到95%。? 識別車牌大小圍可達到70像素到250像素；識別車牌亮度、對比度動態(tài)圍大。? 人臉抓拍大小圍可達到

7、80像素到500像素。準確率高達92% 。領先的傾斜車牌識別技術，支持識別車牌一定程度的傾斜，傾斜30。以?系統(tǒng)具備高清錄像功能，錄像的幀率30Fps/秒。422人臉抓拍技術人臉檢測是指對于任意一幅給定的圖像，采用一定的策略對其進行搜索以確 定其中是否含有人臉，如果是則返回人臉的位置、大小和姿態(tài)。人臉抓拍的實現 需要人臉檢測算法作為支撐，判斷圖像中是否存在人臉。這一項技術最初伴隨人 臉識別的研究而逐步發(fā)展。人臉檢測是人臉識別智能系統(tǒng)中非常重要的一個環(huán)節(jié)，只有首先保證人臉抓 拍圖像的高效率、高質量，才能在人臉識別系統(tǒng)中做好良好鋪墊。 在其他領域也 可以用來作為輔助手段，例如，公安機關案件偵查、監(jiān)

8、控系統(tǒng)輔助抓拍等。人臉檢測是一個復雜的具有挑戰(zhàn)性的模式檢測問題，其主要的難點有兩方面，一方面是由于人臉在的變化所引起：? 人臉具有相當復雜的細節(jié)變化，不同的外貌如臉形、膚色等，不同的表情如 眼、嘴的開與閉等；? 人臉的遮擋，如眼鏡、頭發(fā)和頭部飾物以及其他外部物體等；另外一方面由于外在條件變化所引起：? 由于成像角度的不同造成人臉的多姿態(tài)，如平面旋轉、深度旋轉以及上下旋 轉，其中深度旋轉影響較大；? 光照的影響，如圖像中的亮度、對比度的變化和陰影等。? 圖像的成像條件，如攝像設備的焦距、成像距離，圖像獲得的途徑等等。這些困難都為解決人臉問題造成了難度。如果能找到一些相關的算法并能在 應用過程中達

9、到實時，將為成功構造出具有實際應用價值的人臉檢測與跟蹤系統(tǒng)提供保證。國外對人臉檢測問題的研究很多，比較著名的有MIT,CMU等；國的清華大 學、中科院計算所和自動化所、理工大學、北京工業(yè)大學等都有人員從事人臉檢 測相關的研究。而且，MPEG7標準組織已經建立了人臉識別草案小組，人臉檢 測算法也是一項征集的容。隨著人臉檢測研究的深入，國際上發(fā)表的有關論文數 量也大幅度增長，如IEEE的FG、ICIP'CVPR等重要國際會議上每年都有大量 關于人臉檢測的論文，占有關人臉研究論文的1/3之多。由此可以看到世界對人 臉檢測技術的重視。人臉檢測算法種類較多，目前國常用的人臉檢測算法，總的來說主要

10、有子空 間法（PCA、ICA）、神經網絡法、SVM、haar/hog/LBP+AdaBoost 方法，并將 該方法用于其他方面的檢測，比如多視角的人臉檢測，以上研究代表了目前人臉檢測研究的最高水平。但常用的這些算法主要包括檢測速率較慢以及魯棒性差易 受環(huán)境變化而檢測效果較差等缺點，而難以很好的應用于實際的系統(tǒng)之中。目前，我們采用的是最新的檢測技術，歸一化像素差分法（Normalized PixelDifferenee）或NPD，其特征公式如下：f（x,y） 3x y該方法特征描述相對簡單，計算復雜度也比其他算法低很多，在檢測效果以及檢 測速度上是其他算法無法比及的。目前算法通過對大量正負樣本進

11、行特征提取、機器學習而實現，對于實際應用場景中人臉偏轉角度小于30。以的人臉都能準確快速的檢測，我們通過對200萬包含正負樣本的測試樣本集進行檢驗，其中FRR（漏檢率）可以達到 0.01%（萬級別），FAR（誤檢率）可以達到0.001% （十萬級別），對于大小為640*480 的圖片，檢測平均速度可以達到 70ms，在國處于頂尖水平。423人臉識別技術人臉識別，是基于人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術，通常也叫做人像識別、面部識別。人臉與人體的其它生物特征（指紋、虹

12、膜等）一樣與生俱來，它的唯一 性和不易被復制的良好特性為身份鑒別提供了必要的前提，與其它類型的生物識別比較人臉識別具有如下特點：? 非強制性：用戶不需要專門配合人臉采集設備，幾乎可以在無意識的狀態(tài)下就可獲取人臉圖像，這樣的取樣方式沒有“強制性”；? 非接觸性：用戶不需要和設備直接接觸就能獲取人臉圖像；? 并發(fā)性：在實際應用場景下可以進行多個人臉的分揀、判斷及識別；? 除此之外，還符合視覺特性：“以貌識人”的特性，以及操作簡單、結果直觀、隱蔽性好等特點。人臉特征點提取是指對給定且已經對齊的人臉圖片自動的計算出經過抽象且?guī)в蓄悇e區(qū)分性以及類間區(qū)分性的特征。 人臉特征的好壞是整個人臉識別中最 重要因

13、素。相似性計算是指計算數據庫中模板人臉與當前抓怕人臉的距離，取一定閾值的距離來作為判斷同一個人的依據。人臉對齊是指通過給定的人臉區(qū)域自動的計算出人眼睛，鼻子，嘴巴以及臉部輪廓的位置，計算出人臉偏轉的角度然后自動的把人臉矯正到正臉位置。人臉對齊的準確性是影響人臉比對成功率的一個重要因子。我們使用了基于深度學習的人臉識別算法，整個訓練集達到10萬人次總計800萬訓練樣本。在LFW人臉識別數據庫上，實現了 99.2%以上國頂尖的準確 率。4.3系統(tǒng)結構系統(tǒng)組網系統(tǒng)由前端信息采集抓拍子系統(tǒng)、網絡傳輸子系統(tǒng)和后端平臺組成。實現對 通行車輛信息的采集、傳輸、處理、分析與集中管理，亦實現對過往行人的人像 采

14、集、處理、分析等。（1）前端信息采集抓拍子系統(tǒng)前端攝像機實現對車輛、人像綜合信息的采集，包括車輛特征照片、車牌與 顏色、車身顏色、過往人像面部特征等。攝像機置軟件完成圖片信息識別、據緩 存以及網傳等功能。工控主機用作數據存儲。（2）網絡傳輸子系統(tǒng)完成系統(tǒng)數據信息的傳輸與交換?？赏ㄟ^ FTP方式將車輛圖片、人臉圖片、 車輛行人通過信息（時間、地點、車牌、車身顏色等）、設備監(jiān)測數據等上傳到 中心管理系統(tǒng)。（3）后端平臺完成數據信息的接入、比對、記錄、分析與共享，亦可實現查詢統(tǒng)計功能。由服務器安裝平臺軟件模塊組成，包括：數據庫服務器、管理服務器、應用服務 器、Web服務器和時鐘服務器，圖片通過視頻存

15、儲服務器進行集中存儲。其中， 數據庫服務器安裝數據庫軟件保存系統(tǒng)各類數據信息；管理服務器安裝管理模塊 負責系統(tǒng)綜合管理；應用服務器安裝應用處理模塊負責數據處理、布控、比對、 報警轉發(fā)、上下級通訊等； Web服務器安裝Web Server負責向B/S用戶提供訪問服務；時鐘服務器安裝 GPS加NTP校時軟件負責全網設備統(tǒng)一校時前端系統(tǒng)傳輸網絡網絡傳輸系統(tǒng)視頻監(jiān)控系統(tǒng)平臺中心存儲單元管理平臺客戶端后端中心平臺4.4人像系統(tǒng)功能441人臉檢測抓拍在人行通道出入口架設人臉抓拍一體化攝像機， 前端攝像機對通過監(jiān)測區(qū)域 的過往行人會自動抓拍一人像，并會通過自主制定的優(yōu)選策略選擇角度最佳、圖像最清晰的人臉并且

16、截取標準人像。 同時人像信息會寫入關聯數據庫。人像抓拍 準確率高達95%。自動識別性別前端攝像機對通過監(jiān)測區(qū)域的過往行人抓拍人像后，置識別軟件可自動識別男女性別，并將識別結果通過網絡發(fā)送至后端平臺。圖像記錄防篡改功能系統(tǒng)在前端攝像機對圖片進行水印加密， 也就是從數據的源頭加密，防止在 傳輸、存儲、處理等過程中被人為修改，斷絕了數據篡改的可能性。圖片通過網 絡傳輸到中心管理服務器，中心管理軟件自動對每一圖片進行水印驗證，以保證 數據的安全性和真實性。446高清錄像功能系統(tǒng)在支持抓拍高分辨率圖片的同時，能實現 24小時高清視頻錄像功能，分辨率不低于1920*1080 。視頻和人像、車輛信息關聯，可

17、以通過視頻檢索到人像和車輛圖片，也可以 通過人像和車輛檢索到視頻。數據存儲功能系統(tǒng)采集的車輛圖片、人臉圖片、高清錄像等數據支持前端存儲和中心集中 存儲。前端存儲設備包括抓拍攝像機置的 SD卡和智能終端管理設備置的大容量硬 盤，系統(tǒng)在前端即可實現數據的備份存儲功能。中心存儲是將數據保存在位于后端中心的集中存儲系統(tǒng)，如大容量磁盤陣列等。數據FTP傳輸與斷點續(xù)傳功能系統(tǒng)支持多種方式的數據傳輸：可通過 FTP方式將車輛圖片、人臉圖片、 車輛行人通過信息（時間、地點、車牌、車身顏色等）、設備監(jiān)測數據等上傳到 中心管理系統(tǒng)；也可在中心通過網絡調用或下載操控前端設備存儲的數據。系統(tǒng)支持數據的斷點續(xù)傳：如因網

18、絡中斷或其它故障，數據無法上傳至管理 中心時，可暫時將數據存儲在前端，待網絡恢復后前端存儲設備自動上傳網絡中 斷期間的數據至管理中心。遠程系統(tǒng)管理維護功能系統(tǒng)具備故障自動檢測功能，能通過軟硬件自動檢測系統(tǒng)故障并恢復正常工作。具有斷電自動重啟動、自動偵錯報錯、自動監(jiān)測主要設備和主要運行軟件的 工作狀態(tài)等功能。系統(tǒng)具備權限管理功能，能夠對不同對象分配不同類型的使用權限。系統(tǒng)具備日志記錄功能。可記錄主要設備、網絡狀態(tài)和主要運行軟件的工作 日志，還能記錄設備或者網絡狀態(tài)改變（重啟、或者重新連接） 、主要軟件發(fā)生 重啟或故障等事件日志。系統(tǒng)具有主動校時功能，24h設備的計時誤差不超過1.0s。系統(tǒng)具備遠

19、程維護及參數的設置等功能。五、后端管理平臺5.1系統(tǒng)框架后端管理平臺中心業(yè)務處理框架圖如下，數據從前端接收進來后分別由以下 服務器進行處理，然后經由客戶端進行最終的操作：視裁存儲魔務器魏據接收服務器比時朋努器智能分析聽務器客戶端5.2后端服務器簡介1）視頻存儲服務器前端高清攝像碼流通過數字網絡傳輸， 在視頻監(jiān)控平臺軟件的管理下，直接 傳輸至視頻網絡存儲服務器；視頻網絡存儲服務器置第三方流媒體模塊和錄像 模塊，實現前端攝像機的直寫錄像存儲模式。 同時視頻網絡存儲服務器支持置第 三方回放模塊，可以接收瀏覽客戶端的回放指令并檢索歷史視頻，然后通過以太 網絡發(fā)送給客戶端回放。2）數據接收服務器接收前端

20、設備發(fā)送回來的車牌、人像數據和圖片，保存到數據庫中。3）比對服務器當中心系統(tǒng)的數據接收服務器收到各個監(jiān)控點發(fā)送回來的車輛車牌及人像 后，實時地將數據進行融合存入比對服務器中， 自動進行比對報警。如果比對符 合，則向客戶端發(fā)送報警信息。4 ）智能分析服務器實時視頻分析：系統(tǒng)前端視頻分析主機即可對多目標智能跟蹤系統(tǒng)前端設備 采集的圖像進行智能分析，當某些監(jiān)控點是普通監(jiān)控設備，本系統(tǒng)后端管理平臺 亦可支持對普通當中心系統(tǒng)的數據接收服務器收到各個監(jiān)控點發(fā)送回來的數據 后，實時地將數據進行融合存入智能分析服務器中，智能分析服務器會對監(jiān)控數 據進行分析，能自動分析出各種異常行為，包括非法闖入禁區(qū)檢測、異常

21、奔跑檢 測、非法逆行檢測、物品遺留檢測、行為驟變檢測、倒地檢測、打架斗毆、人群 非法聚集等，如分析出行為類型，將會將結果向客戶端發(fā)出報警信息。回放視頻分析：系統(tǒng)支持對原始視頻進行濃縮，實現快速的錄像檢索回放。 通過設置濃縮規(guī)則，智能分析如禁區(qū)入侵、通過絆線、人臉出現等行為，對原始 視頻進行濃縮，并生成事件。滿足設定規(guī)則的視頻保留，沒有發(fā)生事件的視頻剔 除。并支持視頻濃縮播放，對發(fā)生了制定規(guī)則事件的視頻正常播放，對沒有發(fā)生 事件的視頻快速播放，具體的播放速度可以定制。5）客戶端顯示服務器傳回的數據處理結果，并進行操作。5.3客戶端功能介紹531功能架構客戶端功能圖片圖片黑名嶽E5史視和的和斛單磁

22、設備狀m3信息顯關Wffl軽詢報善像處理態(tài)曲測客戶端主要功能介紹視頻播放系統(tǒng)支持播放前端傳回的實時視頻， 也可支持回放任意時間段、任意地點的視頻。并可根據不同的檢索方式搜索視頻?？梢园捶诸愡x擇只有車、只有人、有車又有人的方式查看視頻記錄5.322歷史視頻查詢系統(tǒng)支持查詢歷史視頻?？蛇x擇歷史視頻對某一監(jiān)控點視頻進行歷史視頻回 放。首先選擇需要回放的攝像機，然后選擇回放時間段，該時間段不宜過長，最 好時半小時以，然后逐段視頻進行回放。點擊確定后，系統(tǒng)會把該時間段的時間片段全部取出5.323圖片和事件信息顯示系統(tǒng)支持可根據圖片查詢到對應事件的信息，并在界面上顯示事件詳細信 息，如事件發(fā)生地點、時間、

23、事件類型等。通過此功能可快速提取關鍵圖片方便 公安刑偵人員對對應事件進行查看，快速尋找案件線索。5.324圖片和事件關聯視頻查詢同時支持事件縮略圖瀏覽，點擊縮略圖，可查看對應時間的原始關聯圖片和 關聯小段視頻。通過此功能可以有效較少冗余視頻， 快速提取關鍵視頻方便公安 刑偵人員對視頻進行回放，快速尋找案件線索。建立重要案事件視頻庫監(jiān)控圖像信息與案事件信息有機組織構成案事件管理業(yè)務，方便案事件信息 與媒體信息、報警信息的對應關聯與檢索，為大情報分析、案事件等相關系統(tǒng)提 供基礎資源以及組織方式。將與案件有關的重要案件視頻錄像和抓拍圖片和案件卷宗相關聯，統(tǒng)一集中存儲到公安案事件視頻庫中，案事件視頻資

24、料來源于接警記錄、歷史案件視頻分 析記錄，支持通過案件關鍵信息進行檢索和調閱， 為公安各項警務工作提供輔助 研判資源和工具。5.326黑布控報警系統(tǒng)可以手工錄入或導入黑數據進行布控，當中心系統(tǒng)的數據接收服務器 收到前端發(fā)送回來的車輛車牌及人像后，實時地將數據進行融合存入數據庫服務 器中，與數據庫和重點人員人像庫搜索比對， 若發(fā)現是黑車牌或嫌疑人，則向指 定客戶端發(fā)送告警信息包，并聯動報警。真正做到嫌疑人與嫌疑車輛在城市里無 立足之處。5.327模糊圖像處理使視頻偵查過程中細節(jié)特征更清晰，系統(tǒng)支持視頻圖像增強功能，可選擇突 出或抑制圖像中的部分特征，通過低照度增強、去噪、去模糊、去霧等功能，使 圖像與視覺