智能監(jiān)控_視頻分析中異常事件分析應用.docx

智能監(jiān)控 視頻分析中異常事件分析應用2014-09-16D1Net視頻監(jiān)控安防點擊上方藍色字體關注。您還可以搜索公眾號“D1net“選擇關注D1net旗下的各領域（包括云計算，智慧城市，數(shù)據(jù)中心，大數(shù)據(jù)，視頻會議，視頻監(jiān)控，服務器，存儲，虛擬化，軟件等）的子公眾號。=當今社會是一個人口密集、高度復雜和流動性大的社會，面臨的突發(fā)事件和異常事件越來越多，其監(jiān)控的難度和重要性也越來越突出?，F(xiàn)有的視頻監(jiān)控系統(tǒng)大多數(shù)只是對場景內運動目標的監(jiān)測和跟蹤，進行進一步識別與行為理解等很少。雖然人們不斷建造越來越大的視頻監(jiān)控系統(tǒng)，但這些監(jiān)控系統(tǒng)仍只是提供事后取證錄像的工具。然而，監(jiān)控的目的就是對監(jiān)視場景中的異常事件或監(jiān)控對象的行為進行檢測與分析。而在長時間視頻序列中采用人工的方法處理此類工作既不實用也不經濟，因此在視頻序列中利用計算機進行視頻智能自動檢測就顯得十分重要。據(jù)了解，就目前較成熟的視頻異常行為智能檢測包括雙向越界、單向越界、進入禁區(qū)、離開禁區(qū)、徘徊、無人值守、驟變、人員聚集、煙霧檢測、快速運動、逆行、打架等事件。而異常行為檢測的實現(xiàn)方法通常有兩類：1、把小概率行為或與先驗規(guī)則相反的行為看作異常行為。2、把與已知正常行為的模式不匹配的行為看作異常行為。核心算法智能視頻分析技術對異常事件進行分析需要核心的算法和技術做支撐，這些核心算法包括：(1) 將人類行為進行建模的虛擬現(xiàn)實的技術；(2)3D建模技術，通過對攝像機場景的實際參照標定構建場景的三維模型，從而能夠準確計算出場景中任意物體的高度及任意兩點之間的距離，為威脅目標分析提供準確的依據(jù)；(3)基于對象的標簽分類，能夠準確區(qū)分人、交通工具和其他對象；(4)基于環(huán)境變化的自學習自適應，理解和鑒別行為模式，自學習自適應環(huán)境，內置多種環(huán)境模型(街道、圍墻、水面、雨雪霧天氣等等)，能夠根據(jù)環(huán)境的變化自動調節(jié)；(5)自檢測自保護，在環(huán)境能見度低、視場受阻、攝像機角度偏移、視頻信號故障、低信號或無信號等異常情況時，立即發(fā)出報警；(6)敏感度自適應，根據(jù)場景環(huán)境持續(xù)自學習和自調節(jié)參數(shù)，確保外部敏感度自適應能力達到724全天候(在各種惡劣環(huán)境和照明條件下提供高可靠性的檢測，無需外部人工干預調節(jié))。相關技術如下：圖像異常檢測算法(1)圖像信號丟失、被遮擋：檢測圖像方差。如果方差很小，可以認為圖像丟失或者鏡頭被蓋住等現(xiàn)象發(fā)生。(2)相機被扭轉到新方向： 通過和指定背景進行比對來檢測是否發(fā)生扭轉。(3)圖像信號質量下降，如有大量噪點，周期性干擾(橫紋等)：對幀差信號進行方差、FFT分析。圖像增強算法(1)超分辨率技術，就是使用多張同一物體的低分辨率圖像整合成一張高分辨率圖像?，F(xiàn)在主要應用在公安偵破案件上。例如還原一張較為模糊的車牌或者人臉等。(2)對比度增強、去霧化技術。對于一些“霧蒙蒙”的圖像，可以簡單地通過直方圖平衡或者通過對顏色中的散射成分進行過濾從而提高圖像的“清晰度”。應該注意到這些技術手段并沒有從源頭增強有用信號，而是選取了適合人眼觀測習慣的表達方式。所以這些過濾后的信號適合提供給監(jiān)控人員觀看，而不是作為智能視頻監(jiān)控系統(tǒng)的輸入。(3)防抖動技術。相機抖動通常是由風吹而引起。在采用長焦鏡頭的時候，圖像抖動更為明顯。防抖動有兩種思路， 一種是對檢測到的抖動進行平滑；另外一種就是爭取將圖像象釘子釘住一樣一動不動。前一種技術適合過濾給監(jiān)控人員直接觀看的信號，后一種是智能視頻分析系統(tǒng)所需要的。主流的基于背景建模的運動檢測方法需要穩(wěn)定的輸入信號，否則容易在對比強烈的邊緣等處產生誤報警。運動檢測算法(1)固定相機的運動檢測：這是主流應用。通常是通過將當前幀和背景模型之間進行比對，發(fā)現(xiàn)的差異作為可能的運動物體輸入給跟蹤模塊。算法的差異主要集中在背景模型如何建立，選擇何種特征進行前景和背景的比對?；旌细咚故墙浀涞谋尘澳Ｐ?，簡單，有一定的自適應性，現(xiàn)在市場上的產品主要采用此方法。在一些特殊場合，例如水面波浪，樹枝擺動等場景，混合高斯不一定可以有效處理。這時候就需要采用動態(tài)背景或者其他技術手段來更好地進行背景建模，代價是計算量大大增加。采用像素灰度值作為特征進行比對是主流應用。出于過濾陰影、提高信噪比的考慮，也可以使用彩色像素值，但是數(shù)據(jù)量增大很多。另外也有采用紋理、梯度等特征進行前景、背景比對的。它們對光照突變、陰影不敏感，有助于消除誤報警。(2)運動相機(云臺)的運動檢測：據(jù)了解，目前在國內安防領域還沒有商業(yè)應用。在國外的一些高端監(jiān)控系統(tǒng)和實驗系統(tǒng)上已經有一些嘗試。主要是和云臺跟蹤相配合，甚至是多云臺相機之間的配合中采用此技術。跟蹤技術(1)單目標跟蹤技術：單目標跟蹤本質上就是定義、提取目標特征，并預測最新待選區(qū)域及目標特征，進而通過尋找匹配極值來鎖定目標的過程。目標特征可以選用像素值，Blob幾何特征，像素分布特征(直方圖、HOG等)，目標的預測、更新過程可以靠Kalman濾波、粒子濾波等過程來驅動。尋找最佳匹配可以通過Camshift，甚至窮盡搜索等方法。(2)多目標跟蹤技術：簡單地使用“貪婪”匹配就可以完成大多數(shù)運動物體的跟蹤。但是有時候會出現(xiàn)多個物體和多個Blobs匹配的情況。這時候要按照全局優(yōu)化的原則來完成多對多的匹配。(3)云臺相機的跟蹤技術：云臺相機跟蹤最大的難度來源于運動物體的縮放以及模型的更新。 即使是同一物體，在鏡頭拉近拉遠情況下物體的形態(tài)、顏色等特征有很大的差別。容易造成在縮放過程中丟失對運動物體的跟蹤。在物體大小基本保持不變的情況下，現(xiàn)在有Camshift，HOG等較為有效的跟蹤手段。(4)計數(shù)：計數(shù)的技術基礎是跟蹤。難度主要來源于較為擁擠情況下，尤其是對Blob融合、分割需要考慮周全。模式識別技術(1)目標分類技術：主要是識別運動物體是人、人群、自行車(助力車)、汽車還是噪聲等種類。典型的手段是通過訓練對目標種類形成一些模型定義，然后將新發(fā)現(xiàn)的運動物體與模型比對。通用的方法有支持向量機、決策樹、神經網絡等。當然在上述常見的種類之外，用戶可以指定某種特殊物體，如渣土車等，在完成專門訓練后就可以進行有針對性的檢測。(2)行為識別技術：主要是識別打架、奔跑、跌倒、徘徊、哨兵離崗等簡單異常行為。 也可能是收銀員的異常操作等較為復雜的行為。主要算法可以是非常有針對性的特定行為的檢測；也可以較為通用的方法，如隱形馬爾科夫過程等。(3) 車牌識別、集裝箱號識別：由于實際應用時間較長，這類技術相對于上述技術而言更成熟些。通常采用決策樹、神經網絡或者組合技術。應用力求突破在平安城市建設的推動下，安防視頻監(jiān)控應用日趨普及。隨著智能化技術的普及使用，市場漸漸不再滿足于現(xiàn)有的智能視頻分析技術種類，而是尋求更新的算法、更豐富的業(yè)務應用、更整體化的系統(tǒng)應用，力求實現(xiàn)在應用的廣度、深度上的突破。為此，安防行業(yè)已經開始進行對新一代智能視頻分析技術的研究，提出了一些新的產品形態(tài)、新的應用模式、新的系統(tǒng)架構。這些新技術、新產品正在逐漸與市場結合，探求新的發(fā)展空間。一些廠家將一些簡單的功能，如跨線、區(qū)域入侵、人臉檢測等算法直接嵌入到芯片中，從而降低相關產品的開發(fā)門檻，進而推動智能視頻分析的分布式應用，對網絡帶寬占用、視頻存儲空間的降低等方面均會有一定的改觀。面臨問題目前來看，雖然近年智能視頻分析技術迅速發(fā)展，應用范圍也在不斷擴展，市場上已經有了網絡監(jiān)控的各種產品，如網絡攝像機、網絡矩陣等，但由于這些產品的質量還有待提高，圖像看起來有明顯的延遲、跳動、不夠清晰等缺陷，由于硬件本身性能不夠穩(wěn)定，易出現(xiàn)死機、重啟、誤漏報等問題。而智能視頻分析本身算法的局限，在理想環(huán)境下才可實現(xiàn)其全部功能，所以在實際應用中，只能初步實現(xiàn)較簡單的功能。目前智能視頻分析主要面臨以下幾個方面問題：第一是技術層面：室外夜間光照不足、惡劣天氣、圖像壓縮處理、網絡傳輸鏈路帶寬受限等因素造成圖像質量下降，給安防智能視頻分析帶來先天困難；目標與背景相似或背景雜亂等導致目標分割以及特征信息提取困難；針對復雜異常行為、事件建模困難，相應的智能分析算法識別性能不高。上述因素容易造成虛假報警、漏報警、跟蹤困難等不良后果，制約了智能視頻分析應用系統(tǒng)實戰(zhàn)性能的提升。第二是產業(yè)層面：主要的困惑還是客戶對智能視頻分析產品的過高期望與該技術的性能表現(xiàn)易受使用條件的限制。由于用戶對智能分析這類產品接觸不多，對這類產品的效果有疑問。而有的廠家為了能夠吸引客戶進行夸大宣傳，結果實際使用效果與宣傳效果不符，使得這些客戶對智能視頻分析產品再無好感。廠商對產品大部分用戶沒有認真梳理應用需求；產品研發(fā)部門缺乏對安防行業(yè)的深入理解，導致智能視頻分析產品功能千遍一律，缺乏針對性。再者，缺少權威的標準認證體系，導致用戶對產品的性能無法有效把控。第三是市場層面：目前很多智能視頻分析產品多是自主研發(fā)，而這類企業(yè)就需要攤薄早期的開發(fā)成本。因此，這類產品在定價方面可能要高于一般客戶的承受能力，這也就決定了智能分析產品尤其是行為分析產品只能在監(jiān)獄、高檔小區(qū)或者機關重地等具有嚴格、精準監(jiān)控需求的地方。只有開展基礎、共性的關鍵技術攻關，為突破智能視頻分析深度應用創(chuàng)造條件；做好典型項目的示范作用，引導用戶從管理流程上重視智能視頻分析提供的信息；深化行業(yè)的智能應用，建立“研發(fā)+集成商+行業(yè)用戶”的合作機制，為研發(fā)和應用提供一個互動平臺；加快制定標準和規(guī)范，提高智能視頻分析產品性能鑒定的權威性和可操作性，才能為智能視頻分析應用推廣“保駕護航”，智能視頻分析也才能在更多行業(yè)、領域得到應用。智能視頻分析作為一項仍在不斷發(fā)展與完善的新技術，如果企業(yè)不能迅速建立自己獨具特色的核心競爭力和核心產品，想要取得市場的話語權和持續(xù)性的發(fā)展不是一件容易的事情。目前智能視頻分析技術仍處于成長階段，最大的挑戰(zhàn)其實還是來自于技術，這是一個需要能夠靜下來專心研究做產品和價值的行業(yè)，作為產業(yè)鏈底層的技術供應商，最終還是需要靠產品說話。作為視頻監(jiān)控未來發(fā)展的必然方向，智能化雖然現(xiàn)在還存在一些問題，但隨著計算機技術以及智能技術的發(fā)展，這些問題都會得到很好的解決，智能化視頻技術將得到更為廣泛的應用。1圖像異常檢測算法當今社會是一個人口密集、高度復雜和流動性大的社會，面臨的突發(fā)事件和異常事件越來越多，其監(jiān)控的難度和重要性也越來越突出。現(xiàn)有的視頻監(jiān)控系統(tǒng)大多數(shù)只是對場景內運動目標的監(jiān)測和跟蹤，進行進一步識別與行為理解等很少。雖然人們不斷建造越來越大的視頻監(jiān)控系統(tǒng)，但這些監(jiān)控系統(tǒng)仍只是提供事后取證錄像的工具。然而，監(jiān)控的目的就是對監(jiān)視場景中的異常事件或監(jiān)控對象的行為進行檢測與分析。而在長時間視頻序列中采用人工的方法處理此類工作既不實用也不經濟，因此在視頻序列中利用計算機進行視頻智能自動檢測就顯得十分重要。據(jù)了解，就目前較成熟的視頻異常行為智能檢測包括雙向越界、單向越界、進入禁區(qū)、離開禁區(qū)、徘徊、無人值守、驟變、人員聚集、煙霧檢測、快速運動、逆行、打架等事件。而異常行為檢測的實現(xiàn)方法通常有兩類：1、把小概率行為或與先驗規(guī)則相反的行為看作異常行為。2、把與已知正常行為的模式不匹配的行為看作異常行為。核心算法智能視頻分析技術對異常事件進行分析需要核心的算法和技術做支撐，這些核心算法包括：(1) 將人類行為進行建模的虛擬現(xiàn)實的技術；(2)3D建模技術，通過對攝像機場景的實際參照標定構建場景的三維模型，從而能夠準確計算出場景中任意物體的高度及任意兩點之間的距離，為威脅目標分析提供準確的依據(jù)；(3)基于對象的標簽分類，能夠準確區(qū)分人、交通工具和其他對象；(4)基于環(huán)境變化的自學習自適應，理解和鑒別行為模式，自學習自適應環(huán)境，內置多種環(huán)境模型(街道、圍墻、水面、雨雪霧天氣等等)，能夠根據(jù)環(huán)境的變化自動調節(jié)；(5)自檢測自保護，在環(huán)境能見度低、視場受阻、攝像機角度偏移、視頻信號故障、低信號或無信號等異常情況時，立即發(fā)出報警；(6)敏感度自適應，根據(jù)場景環(huán)境持續(xù)自學習和自調節(jié)參數(shù)，確保外部敏感度自適應能力達到724全天候(在各種惡劣環(huán)境和照明條件下提供高可靠性的檢測，無需外部人工干預調節(jié))。相關技術如下：圖像異常檢測算法(1)圖像信號丟失、被遮擋：檢測圖像方差。如果方差很小，可以認為圖像丟失或者鏡頭被蓋住等現(xiàn)象發(fā)生。(2)相機被扭轉到新方向： 通過和指定背景進行比對來檢測是否發(fā)生扭轉。(3)圖像信號質量下降，如有大量噪點，周期性干擾(橫紋等)：對幀差信號進行方差、FFT分析。圖像增強算法(1)超分辨率技術，就是使用多張同一物體的低分辨率圖像整合成一張高分辨率圖像?，F(xiàn)在主要應用在公安偵破案件上。例如還原一張較為模糊的車牌或者人臉等。(2)對比度增強、去霧化技術。對于一些“霧蒙蒙”的圖像，可以簡單地通過直方圖平衡或者通過對顏色中的散射成分進行過濾從而提高圖像的“清晰度”。應該注意到這些技術手段并沒有從源頭增強有用信號，而是選取了適合人眼觀測習慣的表達方式。所以這些過濾后的信號適合提供給監(jiān)控人員觀看，而不是作為智能視頻監(jiān)控系統(tǒng)的輸入。(3)防抖動技術。相機抖動通常是由風吹而引起。在采用長焦鏡頭的時候，圖像抖動更為明顯。防抖動有兩種思路， 一種是對檢測到的抖動進行平滑；另外一種就是爭取將圖像象釘子釘住一樣一動不動。前一種技術適合過濾給監(jiān)控人員直接觀看的信號，后一種是智能視頻分析系統(tǒng)所需要的。主流的基于背景建模的運動檢測方法需要穩(wěn)定的輸入信號，否則容易在對比強烈的邊緣等處產生誤報警。運動檢測算法(1)固定相機的運動檢測：這是主流應用。通常是通過將當前幀和背景模型之間進行比對，發(fā)現(xiàn)的差異作為可能的運動物體輸入給跟蹤模塊。算法的差異主要集中在背景模型如何建立，選擇何種特征進行前景和背景的比對?；旌细咚故墙浀涞谋尘澳Ｐ?，簡單，有一定的自適應性，現(xiàn)在市場上的產品主要采用此方法。在一些特殊場合，例如水面波浪，樹枝擺動等場景，混合高斯不一定可以有效處理。這時候就需要采用動態(tài)背景或者其他技術手段來更好地進行背景建模，代價是計算量大大增加。采用像素灰度值作為特征進行比對是主流應用。出于過濾陰影、提高信噪比的考慮，也可以使用彩色像素值，但是數(shù)據(jù)量增大很多。另外也有采用紋理、梯度等特征進行前景、背景比對的。它們對光照突變、陰影不敏感，有助于消除誤報警。(2)運動相機(云臺)的運動檢測：據(jù)了解，目前在國內安防領域還沒有商業(yè)應用。在國外的一些高端監(jiān)控系統(tǒng)和實驗系統(tǒng)上已經有一些嘗試。主要是和云臺跟蹤相配合，甚至是多云臺相機之間的配合中采用此技術。跟蹤技術(1)單目標跟蹤技術：單目標跟蹤本質上就是定義、提取目標特征，并預測最新待選區(qū)域及目標特征，進而通過尋找匹配極值來鎖定目標的過程。目標特征可以選用像素值，Blob幾何特征，像素分布特征(直方圖、HOG等)，目標的預測、更新過程可以靠Kalman濾波、粒子濾波等過程來驅動。尋找最佳匹配可以通過Camshift，甚至窮盡搜索等方法。(2)多目標跟蹤技術：簡單地使用“貪婪”匹配就可以完成大多數(shù)運動物體的跟蹤。但是有時候會出現(xiàn)多個物體和多個Blobs匹配的情況。這時候要按照全局優(yōu)化的原則來完成多對多的匹配。(3)云臺相機的跟蹤技術：云臺相機跟蹤最大的難度來源于運動物體的縮放以及模型的更新。 即使是同一物體，在鏡頭拉近拉遠情況下物體的形態(tài)、顏色等特征有很大的差別。容易造成在縮放過程中丟失對運動物體的跟蹤。在物體大小基本保持不變的情況下，現(xiàn)在有Camshift，HOG等較為有效的跟蹤手段。(4)計數(shù)：計數(shù)的技術基礎是跟蹤。難度主要來源于較為擁擠情況下，尤其是對Blob融合、分割需要考慮周全。模式識別技術(1)目標分類技術：主要是識別運動物體是人、人群、自行車(助力車)、汽車還是噪聲等種類。典型的手段是通過訓練對目標種類形成一些模型定義，然后將新發(fā)現(xiàn)的運動物體與模型比對。通用的方法有支持向量機、決策樹、神經網絡等。當然在上述常見的種類之外，用戶可以指定某種特殊物體，如渣土車等，在完成專門訓練后就可以進行有針對性的檢測。(2)行為識別技術：主要是識別打架、奔跑、跌倒、徘徊、哨兵離崗等簡單異常行為。 也可能是收銀員的異常操作等較為復雜的行為。主要算法可以是非常有針對性的特定行為的檢測；也可以較為通用的方法，如隱形馬爾科夫過程等。(3) 車牌識別、集裝箱號識別：由于實際應用時間較長，這類技術相對于上述技術而言更成熟些。通常采用決策樹、神經網絡或者組合技術。2應用力求突破應用力求突破在平安城市建設的推動下，安防視頻監(jiān)控應用日趨普及。隨著智能化技術的普及使用，市場漸漸不再滿足于現(xiàn)有的智能視頻分析技術種類，而是尋求更新的算法、更豐富的業(yè)務應用、更整體化的系統(tǒng)應用，力求實現(xiàn)在應用的廣度、深度上的突破。為此，安防行業(yè)已經開始進行對新一代智能視頻分析技術的研究，提出了一些新的產品形態(tài)、新的應用模式、新的系統(tǒng)架構。這些新技術、新產品正在逐漸與市場結合，探求新的發(fā)展空間。一些廠家將一些簡單的功能，如跨線、區(qū)域入侵、人臉檢測等算法直接嵌入到芯片中，從而降低相關產品的開發(fā)門檻，進而推動智能視頻分析的分布式應用，對網絡帶寬占用、視頻存儲空間的降低等方面均會有一定的改觀。面臨問題目前來看，雖然近年智能視頻分析技術迅速發(fā)展，應用范圍也在不斷擴展，市場上已經有了網絡監(jiān)控的各種產品，如網絡攝像機、網絡矩陣等，但由于這些產品的質量還有待提高，圖像看起來有明顯的延遲、跳動、不夠清晰等缺陷，由于硬件本身性能不夠穩(wěn)定，易出現(xiàn)死機、重啟、誤漏報等問題。而智能視頻分析本身算法的局限，在理想環(huán)境下才可實現(xiàn)其全部功能，所以在實際應用中，只能初步實現(xiàn)較簡單的功能。目前智能視頻分析主要面臨以下幾個方面問題：第一是技術層面：室外夜間光照不足、惡劣天氣、圖像壓縮處理、網絡傳輸鏈路帶寬受限等因素造成圖像質量下降，給安防智能視頻分析帶來先天困難；目標與背景相似或背景雜亂等導致目標分割以及特征信息提取困難；針對復雜異常行為、事件建模困難，相應的智能分析算法識別性能不高。上述因素容易造成虛假報警、漏報警、跟蹤困難