智能視頻監(jiān)控設(shè)計和實現(xiàn)分析研究 電氣自動化專業(yè)

目錄TOC\o"1-3"\h\u摘要 2第一章緒論 291.1選題背景 291.2研究意義 291.3國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢 291.3.1國內(nèi)外現(xiàn)狀 291.3.2發(fā)展趨勢 32第二章視頻監(jiān)控系統(tǒng)的幾個關(guān)鍵技術(shù) 332.1自動人臉識別 342.2視頻增強 352.3視頻編碼優(yōu)化 35第三章視頻監(jiān)控中人臉特征描述方法研究 363.1視頻監(jiān)控中的人臉識別 363.2基于輪廓波變換的光照魯棒人臉特征描述方法 36第四章視頻監(jiān)控中視頻增強方法研究 374.1引言 374.2算法描述 394.2.1RGB色彩空間與YCbCr色彩空間的轉(zhuǎn)換 404.2.2小波變換與數(shù)字圖像處理 414.2.3背景估計和運動區(qū)域檢測 414.2.4算法流程 42第五章視頻監(jiān)控中視頻編碼快速算法研究 445.1H.264/AVC視頻編碼 445.2可伸縮視頻編碼 45第六章總結(jié)與展望 466.1工作總結(jié) 466.2展望 46參考文獻 47致謝 48摘要：伴隨著我國城市化的發(fā)展，城市中攝像頭安裝數(shù)量的不斷增加，人們對智慧城市和公共安全的需求不斷增長，現(xiàn)有的人工視頻監(jiān)控方法遠(yuǎn)遠(yuǎn)不能滿足需求，因此智能視頻監(jiān)控技術(shù)應(yīng)該會誕生并迅速成為研究熱點。智能視頻監(jiān)控技術(shù)是一個跨學(xué)科的研究方向，具有豐富的研究內(nèi)容和廣泛的應(yīng)用領(lǐng)域。本文綜述了知能視頻監(jiān)控技術(shù)的發(fā)展歷史、研究現(xiàn)狀和典型算法的研究現(xiàn)狀。首先，對智能視頻監(jiān)控技術(shù)從國內(nèi)外相關(guān)研究進行了探討，分析了視頻監(jiān)控系統(tǒng)否關(guān)鍵技術(shù)、人臉識別的技術(shù)方法和視頻監(jiān)控中視頻增強方法和視頻編碼快速算法的的研究。關(guān)鍵字：智能視頻監(jiān)控；城市化；安全性；物聯(lián)網(wǎng)Abstract：WiththedevelopmentofChina'surbanizationandtheincreasingnumberofcamerasinstalledincities,people'sdemandforsmartcitiesandpublicsecurityisgrowing.Theexistingartificialvideomonitoringmethodisfarfrommeetingthedemand,sotheintelligentvideomonitoringtechnologyshouldbebornandquicklybecomearesearchhotspot.Intelligentvideomonitoringtechnologyisaninterdisciplinaryresearchdirection,withrichresearchcontentandextensiveapplicationfields.Thispaperreviewsthedevelopmenthistory,researchstatusandtypicalalgorithmsofvideomonitoringtechnology.Firstly,thispaperdiscussestheintelligentvideomonitoringtechnologyfromdomesticandforeignrelatedresearch,analyzesthekeytechnologyofvideomonitoringsystem,facerecognitiontechnology,videoenhancementmethodandvideocodingfastalgorithminvideomonitoring.Keyword：Intelligentvideomonitoring;Smartcity;Publicsafety;TheInternetofthings緒論1.1選題背景現(xiàn)在的社會人口眾多。對安保的要求也越來越高。隨著對安全和經(jīng)濟條件的要求增加，閉路電視的數(shù)量增加，其范圍也越來越大?，F(xiàn)有的視頻監(jiān)控只提供錄像的收集、記憶、再生等簡單功能，從而起到警告或警告的作用。為了進行實時異常的監(jiān)視、采取有效的措施，監(jiān)視要員必須觀看全部圖像。這種情況下，管理者很容易疲勞。特別是，在多部影像監(jiān)控面前，管理者常常感到沉重的負(fù)擔(dān)，不能異常及時地作出反應(yīng)。因此需要可以幫助監(jiān)督者的智能視頻監(jiān)視。1.2研究意義無數(shù)攝像機和巨大的監(jiān)視網(wǎng)絡(luò)瞬間產(chǎn)生大量的影像數(shù)據(jù)。如何從如此龐大的數(shù)據(jù)中提取有效、有益的信息，是智能視頻監(jiān)控技術(shù)亟待解決的課題。具體來說，智能視頻監(jiān)視技術(shù)的目的是讓電腦在人腦、像攝像機頭一樣的人的眼睛里看到。計算機能夠智能地分析攝像機獲取的圖像序列，理解監(jiān)視場景的內(nèi)容，并對異常行為執(zhí)行自動警告和警告。智能視頻監(jiān)控技術(shù)是第一個適用于物質(zhì)網(wǎng)絡(luò)的重要技術(shù)之一，將受到物聯(lián)網(wǎng)的很大影響。智能視覺監(jiān)視技術(shù)涉及多個研究領(lǐng)域，例如圖像處理、圖像分析、機器視覺、模式識別、人工智能。作為新一代視頻監(jiān)控的趨勢，智能視頻監(jiān)控技術(shù)具有廣泛的發(fā)展空間。1.3國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢1.3.1國內(nèi)外現(xiàn)狀20世紀(jì)末以后，隨著計算機視覺的發(fā)展，智能影像監(jiān)視技術(shù)受到廣泛關(guān)注并進行研究。智能視頻監(jiān)測包括對底層動態(tài)場景中感興趣的對象的檢測、分類、跟蹤和識別，以及對主要級別感興趣的對象的行為的識別、分析和理解。智能視頻監(jiān)控技術(shù)可以廣泛應(yīng)用,公共安全監(jiān)控產(chǎn)業(yè)現(xiàn)場監(jiān)視控制和狀態(tài)監(jiān)視、交通、居住地區(qū)的景觀等各種各樣的主管,識別犯罪的預(yù)防和控制交通控制、事故預(yù)防、老少疾病的剩余風(fēng)扇和檢查測試主管和其他功能,可以顯著改善控制效果,低集控制、廣義的研究和應(yīng)用的前景。視頻監(jiān)控系統(tǒng),即商業(yè)、軍事、生活等領(lǐng)域的應(yīng)用需求的增加,特別是在“911”事件之后,引起了西方主要發(fā)達(dá)國家的高度重視,投入了大量的資金科學(xué)家和廣泛深入的討論,各種面向復(fù)雜應(yīng)用背景的視頻監(jiān)控系統(tǒng)也這也有可能將批量生產(chǎn)。美國國防高級研究計劃局(高級研究機構(gòu)，DARPA)下設(shè)信息系統(tǒng)辦公室。Office由卡內(nèi)基梅隆大學(xué)(CMU)和Sarnoff公司領(lǐng)先，與監(jiān)視錄像相關(guān)的大規(guī)模研究項目“VSAM”，其研究成果為軍民兩用智能錄像監(jiān)視相關(guān)的技術(shù)。2000年，美國國防高等研究計劃局還支持了“HID(HumanIdentificationataDistance)”計劃。該程序的目的是實現(xiàn)對遠(yuǎn)程條件中的人物的驗證、分類、身份認(rèn)證。在產(chǎn)業(yè)界，美國ISS公司開發(fā)出了為北美鐵路運輸提供視頻監(jiān)控服務(wù)的大型地區(qū)視頻監(jiān)控系統(tǒng)“AUTOSCOPE2004”。美國Honeywell公司主要提供智能家庭系統(tǒng)的解決方案。全世界有超過1億戶的家庭和500萬套以上的大型建筑在利用Honeywell公司的建筑和住宅產(chǎn)品、技術(shù)，這些系統(tǒng)的最重要功能之一就是顯示器。ibmt.j.智能美國systemwatson研究中心開發(fā)的ibm系統(tǒng)(s3)的新一代視頻監(jiān)控系統(tǒng)的代表,其系統(tǒng)架構(gòu)的圖一樣,看到s3系統(tǒng)、影像壓縮和編碼為基礎(chǔ),智能視頻處理為特色,開放的系統(tǒng)架構(gòu)采用了,非常方便的實現(xiàn)系統(tǒng)集成和擴大。近年來，日本重點開展分散型視頻監(jiān)測項目“CDVP”，以監(jiān)視公共安全與居民小區(qū)安全。據(jù)相關(guān)報道，日本是世界上設(shè)有最多視頻監(jiān)控裝置的國家之一，高密度影像監(jiān)控應(yīng)用是日本社會犯罪率低的重要原因。國內(nèi)視頻監(jiān)控相關(guān)的研究比西方發(fā)達(dá)國家晚,整體研究水平與西方發(fā)達(dá)國家相比也有差異,但發(fā)展很快,研究人員集中文科大學(xué)、上海交通大學(xué)、浙江大學(xué)、南京大學(xué)、中國科學(xué)技術(shù)大學(xué)、哈爾濱工業(yè)、華中科技大學(xué)、北京郵電大學(xué)、四川、電子科技大學(xué)、重慶大學(xué)、西南交通大學(xué)等重點高校和中國科學(xué)院計算,自動所等研究所和一些風(fēng)險投資企業(yè)的?？低暤?。在國家自然保護基金、國家863計劃等項目的支持下，我國在模式識別、圖像處理、視頻編碼等領(lǐng)域取得了多項突破。中國科學(xué)院自動化智能視頻監(jiān)測系統(tǒng)是這方面研究成果杰出的代表。相當(dāng)于,滿足各領(lǐng)域的需要,我國近年來的視頻監(jiān)控系統(tǒng)、數(shù)字視頻監(jiān)控系統(tǒng)作為基礎(chǔ)設(shè)施的建設(shè)本身是在2005年,中國公安部城市網(wǎng)絡(luò)運行和監(jiān)視報警系統(tǒng)的建設(shè)的“3111工程”,計劃在全國省市縣三級報警,監(jiān)控系統(tǒng)的測試中推進“平安城市”的建設(shè);2007年，中國電信啟動了電信級視頻監(jiān)測系統(tǒng)“全球之眼”業(yè)務(wù)，可以滿足跨地區(qū)用戶綜合視頻監(jiān)測的需要。2008年，面部識別技術(shù)首次在奧運會亮相，標(biāo)志著我國對面部識別理論和方法的研究水平，以及圖像監(jiān)控應(yīng)用已達(dá)到國際先進水平。2010年，在上海舉辦的世博會是視頻監(jiān)測市場的強大推動力。2012年國內(nèi)鐵路部門在車站安檢區(qū)域設(shè)立基于人臉識別的安全檢驗身份認(rèn)證系統(tǒng)，可以識別人臉動態(tài)動態(tài);2013年，全國很多省份在高考中引進視頻監(jiān)控系統(tǒng)，監(jiān)控所有考生的考試、考生操作、考試業(yè)務(wù)實施情況。不管怎樣,近年來視頻監(jiān)控發(fā)展迅速,計算機處理為核心,它融合了許多領(lǐng)域的電子信息技術(shù),研究范圍涵蓋了信息理論、通信理論、編碼理論、視頻/圖像處理和理解,機器視覺、模式識別、信息安全、網(wǎng)絡(luò)工程、光學(xué)工程、等,是一個多學(xué)科交叉領(lǐng)域的應(yīng)用研究,不僅具有較高的實用價值,也具有很高的學(xué)術(shù)研究價值，并吸引了眾多研究者進入該領(lǐng)域，成為當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界的研究熱點，各方面的研究成果層出不窮。2000年，國際頂級期刊《計算機視覺》和IEEE模式分析與機器智能會刊相繼出版了視頻監(jiān)控?？?，掀起了視頻監(jiān)控及其關(guān)鍵技術(shù)的研究熱潮，極大地促進了視頻監(jiān)控的應(yīng)用。計算機械協(xié)會(ACM)多年來發(fā)表了許多關(guān)于視頻監(jiān)控的文章。施普林格、SPIE、Elsevier和IEICE的相關(guān)期刊也有很多報道。在世界各地已經(jīng)召開了許多關(guān)于視頻監(jiān)控的國際會議。這些國際會議都涉及視頻和圖像處理的前沿研究，因此視頻監(jiān)控往往被作為會議討論的主題之一，為該領(lǐng)域的科學(xué)家和技術(shù)人員提供了廣泛的交流與合作機會。國內(nèi)著名學(xué)術(shù)期刊《自動化在2003年出版了一本特殊視覺監(jiān)控問題,“中國科學(xué)E系列”、“計算機科學(xué)與技術(shù)”、“通信雜志,電子雜志,雜志的軟件,計算機研究與發(fā)展》、《電子與信息學(xué)報,《計算機與光電子、激光和其他重要學(xué)術(shù)期刊經(jīng)常報道一些關(guān)鍵技術(shù)在視頻監(jiān)控系統(tǒng)中。2002年、2003年和2011年分別召開了全國智能視覺監(jiān)控學(xué)術(shù)會議，使視頻監(jiān)控研究受到廣泛關(guān)注。2013年3月在深圳召開的院士論壇會議以“華山論劍”為主題，“華山論劍”是中國視頻監(jiān)控領(lǐng)域的領(lǐng)軍人物。涉及的主題包括智能視頻監(jiān)控、圖像/視頻識別與檢索、智能城市駕駛、圖像與視頻理解、視頻分析和新一代視頻編碼。1.3.2發(fā)展趨勢目前，新一代視頻監(jiān)測技術(shù)尚處于初級階段，數(shù)字化、智能化、網(wǎng)絡(luò)化、系統(tǒng)集約化是未來視頻監(jiān)測的必然發(fā)展趨勢。1.數(shù)字化數(shù)字視頻監(jiān)視系統(tǒng)完全數(shù)字化，而不是模擬視頻監(jiān)視系統(tǒng)。數(shù)字視頻監(jiān)控允許在沒有重疊布線的情況下易于受到距離限制和干擾，并且增強了在圖像的視覺質(zhì)量和視頻監(jiān)視系統(tǒng)中處理視頻圖像信息的能力。2.智能化視覺是數(shù)碼化的基礎(chǔ)上,計算機技術(shù)的發(fā)展和視頻監(jiān)控的應(yīng)用,視頻監(jiān)控系統(tǒng)最主要的發(fā)展方向之一是,傳統(tǒng)的視頻監(jiān)控系統(tǒng),智能圖像理解技術(shù),提取相關(guān)信息監(jiān)測數(shù)據(jù)并作相應(yīng)的處理,增強視頻監(jiān)控中興趣和警報功能識別區(qū)域的跟蹤,相關(guān)人士的輔助工具。3.網(wǎng)絡(luò)化國家制定了“對安全視頻監(jiān)控網(wǎng)絡(luò)系統(tǒng)信息的傳送、交換、控制技術(shù)的要求”標(biāo)準(zhǔn)，標(biāo)志著2013年將成為基于互聯(lián)網(wǎng)的視頻監(jiān)控系統(tǒng)全面普及的時代。隨著因特網(wǎng)通信技術(shù)的發(fā)展，視頻監(jiān)控系統(tǒng)能夠通過因特網(wǎng)遠(yuǎn)程地傳送視頻數(shù)據(jù)，從而實現(xiàn)遠(yuǎn)程監(jiān)控功能。網(wǎng)絡(luò)化的趨勢是視頻的數(shù)據(jù)量越來越大,系統(tǒng)更強烈的記憶、搜索、備份等功能的要求。另外,龐大的視頻數(shù)據(jù),也ビデオモニタリングシステム的數(shù)碼化,智能化發(fā)展提出了新的要求。4.系統(tǒng)的集成化除了應(yīng)用程序所需的復(fù)雜化以及用戶的多樣化以及視頻監(jiān)控本身的特征之外，視頻監(jiān)測必然朝著系統(tǒng)化、集約化的方向發(fā)展。視頻監(jiān)視系統(tǒng)是兼容的且可擴展的。開放的系統(tǒng)架構(gòu),如果招聘門禁、身份認(rèn)證、警告、mis系統(tǒng)等的主功能更加專業(yè)化,實現(xiàn)無縫融合后,被合并的操作系統(tǒng)上容易管理及控制,可以實現(xiàn)。此外，熱圖像處理技術(shù)、云計算和高分辨率圖像處理的研究和應(yīng)用推動了視頻監(jiān)測的發(fā)展。目前，新一代的視頻監(jiān)控技術(shù)尚處于起步階段，數(shù)字化、智能化、網(wǎng)絡(luò)化、系統(tǒng)集成化是未來視頻監(jiān)控的必然發(fā)展趨勢。第二章視頻監(jiān)控系統(tǒng)的幾個關(guān)鍵技術(shù)現(xiàn)在的視頻監(jiān)控系統(tǒng)，在功能上取得了很大的發(fā)展，性能上也有了很大的提高，但是受到了幾項固有要素和技術(shù)發(fā)展的限制，安全性和實用性沒有得到完善，存在缺陷。學(xué)術(shù)界和產(chǎn)業(yè)界為了解決在影像監(jiān)控系統(tǒng)實施時遇到的各種問題，正在積極地進行研究。在視頻監(jiān)控領(lǐng)域研究和探討的問題，事實上是開放和無止境的。當(dāng)代的5大類的視頻監(jiān)控系統(tǒng)的主要關(guān)鍵技術(shù),包括數(shù)字視頻壓縮技術(shù)和代碼、數(shù)字視頻的網(wǎng)絡(luò)傳輸技術(shù),個視頻數(shù)據(jù)的保存技術(shù),視頻搜索和監(jiān)控場景的人/物體的識別和追蹤技術(shù),視頻監(jiān)控場景的運動檢測報告警技術(shù),這也一定程度上反映了目前的視頻監(jiān)控系統(tǒng),向數(shù)碼化和網(wǎng)絡(luò)化,智能系統(tǒng)集成化發(fā)展的趨勢。如上文所描述，對視頻信息的智能分析和處理、對視頻信息的壓縮和傳送是最重要的核心支持技術(shù)。本文只探討了這兩個方面的幾個重要問題。下文中，將主要結(jié)合視頻監(jiān)視中的自動臉識別、視頻強調(diào)及視頻編碼優(yōu)化的三個方面分別進行描述。2.1自動人臉識別目前公共安全問題不斷被強調(diào)，犯罪活動的技術(shù)越來越高，被要求加快開發(fā)以主動警告為主、基于生物學(xué)特征進行身份認(rèn)證的視頻監(jiān)控系統(tǒng)。在新生物識別技術(shù)(Biometrics)中，生物的特征主要有兩種。所謂人的臉、指紋、虹膜、手掌紋、行動、耳朵、靜脈、嘴唇、腦波、DNA、體臭等行為的特征，就是筆跡、點擊習(xí)慣、行動、聲音等。，表1-1是最主要的生物特征的比較。表1-1的幾種最重要的生物特征均具有人體固有的特性和不可復(fù)制的唯一性，非常適合人物的身份認(rèn)證。其中，DNA、指紋和虹膜,那是人的一生不變的生物特征,個體應(yīng)積極采集,采集虹膜是根據(jù)需要近距離,才能采集和DNA分析都有一定的難度,語音視頻監(jiān)控的主要信息采集，這就限制了以上生物特征在視頻監(jiān)控領(lǐng)域的應(yīng)用。與其它生物特征識別技術(shù)相比，每個人的臉部都暴露在公共環(huán)境中，易于非接觸性獲取的特點使得監(jiān)控更隱蔽，因此人臉識別最適合視頻監(jiān)控應(yīng)用。如果將特定人的臉部特征信息儲存在數(shù)據(jù)庫里作為識別的依據(jù)，在此基礎(chǔ)上采用中遠(yuǎn)距離的人臉檢測與識別技術(shù)，基于眾多公共攝像頭采集的視頻信息，很容易實現(xiàn)視頻監(jiān)控中目標(biāo)人物的身份認(rèn)證和系統(tǒng)準(zhǔn)入。例如，利用人臉識別技術(shù)對廣泛使用的安防視頻監(jiān)控系統(tǒng)進行監(jiān)控，有利于提高工作效率，可以大大提高傳統(tǒng)視頻監(jiān)控系統(tǒng)的預(yù)警功能和情報程度，對反恐、刑事偵查等具有重要意義。2012年，震驚全國的周克華案就使用了視頻監(jiān)控中的人臉識別技術(shù)。然而，視頻監(jiān)控系統(tǒng)具有全天候運行的特點，人臉圖像采集不可避免地會受到光照變化的影響。相關(guān)研究表明，同一個人在不同光照條件下的人臉圖像差異要大于不同人在相同光照條件下的人臉圖像差異。因此，光照魯棒人臉識別的研究成為視頻監(jiān)控領(lǐng)域的一個熱點。2.2視頻增強視頻監(jiān)控系統(tǒng)特別注意圖像的清晰度。正常情況下，視頻監(jiān)控系統(tǒng)需要全天24小時工作，因此視頻信息采集設(shè)備易受各種環(huán)境因素引起的噪聲影響，給后續(xù)分析處理帶來很大困難。因此，旨在提高視頻視覺質(zhì)量或便于后續(xù)識別分析處理的視頻增強技術(shù)具有越來越多的研究價值。通常，在安靜的夜晚，視頻監(jiān)控系統(tǒng)更為重要。但由于夜間光照不足，監(jiān)控視頻質(zhì)量較低，不利于進一步分析。因此，對夜間視頻增強的研究是非常有價值的。2.3視頻編碼優(yōu)化視頻壓縮編碼技術(shù)的主要目的是壓縮數(shù)字視頻信息，有效利用存儲和網(wǎng)絡(luò)傳輸資源，提供更高的視頻重建質(zhì)量。視頻編碼及其優(yōu)化是視頻監(jiān)控系統(tǒng)中最重要的核心技術(shù)之一，為視頻監(jiān)控系統(tǒng)在視頻圖像傳輸和存儲方面帶來了巨大的好處。然而，在視頻監(jiān)控系統(tǒng)的開發(fā)中存在兩個問題:（1）基于網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)已得到廣泛部署，海量的數(shù)字視頻信息處理成為現(xiàn)實需求，無線傳輸將是下一代視頻監(jiān)控系統(tǒng)的主要渠道，數(shù)據(jù)存貯與網(wǎng)絡(luò)傳輸資源的有限性和客戶對視頻質(zhì)量需求提高的矛盾成為了視頻壓縮與編碼發(fā)展的動力；（2）目前的視頻監(jiān)控系統(tǒng)中往往有實時性的視頻編解碼處理需求，而現(xiàn)今的視頻監(jiān)控系統(tǒng)常用的視頻信息采集和處理設(shè)備是計算能力和資源受限的移動設(shè)備或嵌入式系統(tǒng)（EmbeddedSystem），這對視頻處理的實時性（Real-Time）提出了嚴(yán)峻挑戰(zhàn)。第三章視頻監(jiān)控中人臉特征描述方法研究3.1視頻監(jiān)控中的人臉識別人臉識別以其高精度、非侵入性、低成本、攝像機分布廣等優(yōu)點，在視頻監(jiān)控系統(tǒng)中得到了廣泛的應(yīng)用。視頻監(jiān)控系統(tǒng)需要對視頻中的人臉圖像進行分析和識別。技術(shù)實施可分為以下步驟:(1)用相機采集人臉圖像或用照片形成人臉圖像文件，處理后生成人臉數(shù)據(jù)庫作為識別的基礎(chǔ);(2)利用攝像機獲取監(jiān)控場景的視頻，利用人臉檢測算法獲取視頻流中的人臉圖像，并記錄相應(yīng)的位置、時間等信息;(3)將當(dāng)前人臉圖像與數(shù)據(jù)庫中存儲的數(shù)據(jù)進行比較。綜上所述，視頻監(jiān)控系統(tǒng)中的人臉識別過程一般包括圖像采集、人臉檢測與定位、圖像預(yù)處理以及特征提取與識別等幾個步驟。3.2基于輪廓波變換的光照魯棒人臉特征描述方法由于小波分析具有“自適應(yīng)性”和“數(shù)學(xué)顯微鏡的特性”等優(yōu)點，自誕生以來就成為許多學(xué)科的研究熱點和研究人員喜愛的分析工具，極大地促進了理論科學(xué)、應(yīng)用科學(xué)，特別是信息科學(xué)的發(fā)展。小波變換能在空間和頻域上提供良好的局部信息，因此在數(shù)字圖像處理中得到了廣泛的應(yīng)用。受生理學(xué)家對人類視覺系統(tǒng)（HumanVisualSystem，HVS）和自然圖像統(tǒng)計模型的研究成果啟發(fā)，圖像的最優(yōu)化表征方法應(yīng)該具有如下5種特性：（1）多分辨特性：對圖像以多種不同的分辨率進行連續(xù)的逼近；（2）局部化特性：表示圖像的基函數(shù)在空域和頻域是局部支撐的；（3）嚴(yán)格采樣性：表示圖像的基函數(shù)或框架冗余較??；（4）方向性：圖像用不同方向的基函數(shù)來表示；(5)各向異性:表示圖像的基函數(shù)具有不同方向和比例的拉伸形狀。但在這些期望的性質(zhì)中，小波變換只滿足前三個性質(zhì)，而不具備后兩個性質(zhì)。小波變換的缺陷迫使科學(xué)家們尋找一種更有效的圖像表示工具，多尺度幾何分析理論發(fā)展迅速隨著小波變換的發(fā)展，輪廓變換可以代替小波變換應(yīng)用于圖像處理的許多領(lǐng)域。與小波變換相比，輪廓變換具有更好的方向性和各向異性，在圖像去噪、增強等方面的應(yīng)用更加有效。第四章視頻監(jiān)控中視頻增強方法研究視頻增強是一項旨在提高視頻人/機器視覺感知質(zhì)量的計算機視覺任務(wù)。本章針對視頻監(jiān)控中夜間亮度不足導(dǎo)致視頻監(jiān)控質(zhì)量低下的問題，提出了一種基于小波變換融合的夜間視頻增強算法。利用同一場景中的白天視頻內(nèi)容，達(dá)到增強夜間視頻的目的。4.1引言視頻信息的獲取容易受到環(huán)境因素和噪聲的影響，給后續(xù)的視頻分析和識別帶來很大的困難。因此，提高視頻人/機視覺感知質(zhì)量的視頻增強技術(shù)顯得越來越重要。視頻監(jiān)控系統(tǒng)具有全天候工作的特點，往往能在深夜發(fā)揮更重要的作用，圖4-1是具有相同背景和相同角度的監(jiān)控視頻的某一幀。可以看出，由于夜間光照不足，光照條件發(fā)生很大的變化，使得監(jiān)控視頻的對比度嚴(yán)重下降，顏色也發(fā)生退化，夜間視頻的質(zhì)量比白天的監(jiān)控視頻差很多，不利于使用該視頻作進一步分析。因此，夜間視頻的增強問題就非常有研究價值。根據(jù)Marr關(guān)于視覺的計算理論，視頻增強是最基本的圖像處理技術(shù)，目的是把原來不清楚的視頻圖像變得更清晰、或者強調(diào)感興趣的區(qū)域和強化特征以便后續(xù)處理。因此，傳統(tǒng)意義上的夜間視頻增強主要來自于圖像處理中的圖像增強技術(shù)。近年來，隨著視頻監(jiān)控的普及，不斷有新方法提出。目前，夜間視頻增強的主要方法可以分為以下兩類：1.基于視頻本身的增強方法。這種方法是圖像增強的結(jié)果，圖像增強)技術(shù)，傳統(tǒng)上對圖像增強的許多基本方法，如直方圖均衡化、伽馬校正、對數(shù)變換、色調(diào)映射等。可用于夜間視頻增強，在此方法的基礎(chǔ)上，結(jié)合一些有價值的改進方法，如自適應(yīng)直方圖均衡化(AdaptiveHistogramEqualization,AHE)、加權(quán)閾值直方圖均衡化(Weightedthreshold-dedHistogramEqualization,WTHE)和Arici等提出了一種改進的直方圖均衡化。然而，這些方法主要用于圖像增強。Bennett等人提出了一種視頻增強方法，并通過實驗驗證了其有效性。這種方法的特點是,無論在圖像像素水平,增強或整個水平,或在變換域中,不要依賴增強目標(biāo)視頻的任何信息,除了晚上視頻的一部分,因為信息丟失的光太暗,增強效應(yīng)可能出現(xiàn)不和諧甚至無法改善的情況,所以這種方法并不總是有效的。2.基于視頻融合的增強方法這種方法比較新穎，主要來源于圖像融合技術(shù)，其實質(zhì)是利用相關(guān)信息對目標(biāo)視頻進行融合增強。利用紅外成像進行融合增強是一種自然的思路，但在視頻監(jiān)控系統(tǒng)中推廣應(yīng)用并不容易?？紤]到視頻監(jiān)控系統(tǒng)對同一場景的白天和夜間監(jiān)控視頻都很容易獲取，因此在白天使用同一場景的高質(zhì)量圖像來提高夜間視頻質(zhì)量的想法是非?？尚械?。國外學(xué)者提出了一種基于梯度域的白天視頻和晚上視頻融合方法，但是基于梯度的圖像重建方法可能會導(dǎo)致顏色偏移，這極大地限制了該方法的應(yīng)用。文獻中提出了一種基于圖像融合的視頻增強方法，但該方法的融合規(guī)則依賴于多個參數(shù)，很難在所有情況下都有效。受相關(guān)研究啟發(fā)，可以認(rèn)為利用同一場景的白天視頻信息幫助提高夜間視頻質(zhì)量的思路是有效的，但改進的關(guān)鍵包括：（1）如何更有效的提取光照信息；（2）如何使融合后的視頻更加自然、協(xié)調(diào)。本章針對視頻監(jiān)控中夜間視頻亮度低和質(zhì)量差的問題，提出一種使用小波變換的夜間視頻增強算法，該算法把光照成分和反射成分進行分離，并采用“動”（運動檢測）“靜”（背景估計）結(jié)合的策略，在此基礎(chǔ)上提出了一種新的基于光照的融合規(guī)則來增強夜間視頻。實驗表明，該算法能有效提高夜間視頻的亮度，并且色彩信息比較自然協(xié)調(diào)。下文是對這種算法和相關(guān)內(nèi)容的詳細(xì)介紹。4.2算法描述為了提高視頻監(jiān)控中的夜間視頻質(zhì)量，本章提出了一種基于小波變換的夜間視頻增強算法。該算法使用一種新的彩色圖像分離算法提取相應(yīng)的光照明形象,監(jiān)視視頻序列和背景估計和運動區(qū)域檢測,白天在視頻信息的幫助下,用一個新的圖像融合規(guī)則的運動區(qū)域和背景區(qū)域分別增加,然后使用方法高斯低通濾波器平滑運動區(qū)域的邊界,最后重建彩色圖像和視頻。從理論上講，本章算法利用夜間視頻中的時域、空域和頻域信息，提取白天視頻的相關(guān)內(nèi)容作為補充，是提高增強效果的重要保證。本章算法也使用更有效的淺色圖像分離算法,該算法基于小波變換和顏色空間轉(zhuǎn)換的原理是輸入視頻圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間,提取后Y分量圖像使用光分離方法基于小波去噪圖像進一步分解為光和反射圖像。此外，本章算法還根據(jù)增強背景的相同比例對運動區(qū)域進行了增強。為了解決運動區(qū)域的模糊和不一致問題，該算法還采用了低通高斯濾波器，使增強后的視頻各區(qū)域的光照強度一致，效果良好。這種基于小波變換和融合的夜間視頻增強算法主要包括以下技術(shù):(1)RGB顏色空間與YCbCr顏色空間的轉(zhuǎn)換;(2)基于小波變換的光圖像分離;(3)背景估計和運動檢測;(4)基于圖像融合的增強方法;(5)重建彩色圖像，輸出增強視頻。4.2.1RGB色彩空間與YCbCr色彩空間的轉(zhuǎn)換顏色是由人眼感知不同頻率光的方式造成的。根據(jù)計算機顏色理論，某一種顏色在計算機上有不同的組織和表示，這就是所謂的顏色系統(tǒng)。常見的顏色空間包括RGB、歸一化RGB、XYZ、HSV、YCbCr、CMYK等，可以在各種顏色空間之間進行轉(zhuǎn)換。相機采集的視頻大多采用RGB色彩空間，這也是最常用的色彩空間。顧名思義,RGB顏色空間是由紅色、綠色和藍(lán)色的組件,其標(biāo)準(zhǔn)的國際照明委員會(任命國際歌DEL'EclairageCIE),原則上是將紅、綠、藍(lán)三種單色光選為三個主要的顏色,數(shù)字圖像中每個像素的顏色可以用于三維空間的一個點在第一象限。YCbCr色彩空間是另一種常見而重要的色彩空間，廣泛應(yīng)用于電信技術(shù)等領(lǐng)域。YCbCr顏色空間由亮度分量和色度分量組成:Y表示亮度分量，Cb表示藍(lán)色色度分量，Cr表示紅色色度分量。本章算法采用YCbCr顏色空間，具有以下優(yōu)點:(1)YCbCr顏色空間和RGB顏色空間是線性變換關(guān)系，彼此之間容易變換，復(fù)雜性不大。(2)ycbcr顏色空間,是人類的視覺感知過程具有類似的機制,相關(guān)的研究中,動態(tài)檢測和動態(tài)投影抑制的適用,另外,正規(guī)化,另外,xyzhsv等其他相比,ycbcr顏色空間得到更出色的效果——成為了可能。(3)YCbCr顏色空間中色度分量和亮度分量彼此獨立。由于上述方法的隨后處理主要基于光照圖像處理，所以視頻對光照信息的處理對于RGB顏色空間的對應(yīng)顏色分量影響，但是在YCbCr顏色空間中的光照信息處理中沒有改變。(4)YCbCr顏色空間廣泛應(yīng)用于諸如電視顯示的區(qū)域，并且是在一般視頻編碼標(biāo)準(zhǔn)中采用的顏色顯示格式。由于視頻監(jiān)視系統(tǒng)中的每一模塊必須與視頻壓縮和編碼模塊協(xié)作，所以利用YCbCr色彩空間以促進每一模塊的交互變得更加方便。4.2.2小波變換與數(shù)字圖像處理小波的數(shù)學(xué)基礎(chǔ)是fourier變換進行了分析,并通過一些簡單運算的伸縮和平(等)的轉(zhuǎn)移函數(shù)和適應(yīng)對信號的多尺度分析,可以同時滿足信號時域和頻率領(lǐng)域,為了處理的必要的“數(shù)學(xué)顯微鏡”的美稱,fourier變換后在科學(xué)方法上的重大突破,當(dāng)前的應(yīng)用數(shù)學(xué)和工程學(xué)科的研究熱點話題有問題。許多實際應(yīng)用都是可以歸納為信號處理問題的，小波分析適當(dāng)?shù)貜男盘栔刑崛⌒畔?，所以它取得了電子信息產(chǎn)業(yè)領(lǐng)域矚目的成果。圖像處理,小波變換是實際應(yīng)用的一個非常重要的方面,強調(diào)圖像的圖像除噪,數(shù)字水印的信息隱蔽,模式識別等領(lǐng)域的研究中,科學(xué)意義和應(yīng)用價值的成果獲得了很多。4.2.3背景估計和運動區(qū)域檢測首先,為了獲得日間和夜間背景,使用圖像平均模型的方法在這一章,原理是將一系列的視頻幀平均像素值后的積累,因為很長一段時間后平均的總和,在單幀圖像運動的影響,區(qū)域價值平均將變得非常小,可以使運動區(qū)域的誤差可以忽略的水平,和更準(zhǔn)確的背景估計。目前常用的運動檢測方法有幀間差分法、背景差分法和光流法。幀間差分法是從兩幅連續(xù)圖像的差值中獲取運動區(qū)域的信息，但由于運動區(qū)域內(nèi)可能沒有明顯的差異，通常只能得到運動區(qū)域的一部分。背景差分法主要根據(jù)運動信息將前景與背景分離，從而檢測運動前景。然而，當(dāng)運動區(qū)域與背景之間的差異不明顯時，該方法容易產(chǎn)生誤差。光流法的優(yōu)點是無需先驗信息即可檢測出獨立的運動區(qū)域，缺點是計算量大，難以滿足實時性的要求。因此，根據(jù)以上分析，可以認(rèn)為單純使用某種方法很難達(dá)到理想的運動檢測效果。運動檢測方法主要是基于高斯混合模型,為了進一步處理,第一個幀的提取運動區(qū)域?qū)?yīng)的二進制圖像,但圖像可能是空的,邊緣有亮點,所以用數(shù)學(xué)形態(tài)學(xué)方法對二進制圖像腐蝕、擴張和填充處理,以獲得優(yōu)化的二進制圖像,在后續(xù)的處理步驟中可以使用二進制圖像作為分割前景和背景視頻幀的基礎(chǔ)。4.2.4算法流程根據(jù)前文所述，本章提出了一種新的夜間視頻增強算法，其處理過程如圖所示。從圖可以看出，該算法的輸入為白天和夜間采集的兩組相同場景的視頻，輸出為增強后的夜間視頻，處理流程為：（1）分別對白天和夜間視頻做背景估計以獲得白天和夜間的背景圖像，然后利用基于PCA的圖像融合方法對夜間背景圖像進行增強；（2）對夜間視頻做運動檢測，獲取二值圖像作為后續(xù)處理的基礎(chǔ)；（3）利用本章提出的基于小波變換和色彩空間轉(zhuǎn)換的彩色圖像光照分離子算法，按需要提取相應(yīng)的光照圖像；（4）利用本章提出的基于光照的融合規(guī)則對夜間視頻亮度進行增強，并使用低通高斯濾波器作平滑處理；重構(gòu)彩色圖像，并輸出彩色視頻。第五章視頻監(jiān)控中視頻編碼快速算法研究5.1H.264/AVC視頻編碼2003年，itu-t與ISO/IEC聯(lián)合組建的視頻聯(lián)合視頻團隊(JVT)發(fā)布了新一代視頻編碼標(biāo)準(zhǔn)h.264/AVC，該標(biāo)準(zhǔn)具有較好的壓縮性能和網(wǎng)絡(luò)親和力。因此，它受到了廣泛的關(guān)注和歡迎，被普遍認(rèn)為是最有影響力的視頻編碼標(biāo)準(zhǔn)。圖5-1顯示了h.264/AVC的編碼框架。可以看出H.264/AVC編碼主要包括:編碼控制、幀間/幀間預(yù)測、變換與逆變換、量化與反量化、環(huán)路濾波、熵編碼、運動估計(MC)和運動估計(ME)。為了實現(xiàn)高效的視頻壓縮，充分考慮多媒體和通信對視頻編解碼的需要，H.264/AVC標(biāo)準(zhǔn)集中了以往標(biāo)準(zhǔn)的優(yōu)點，吸收了視頻編碼領(lǐng)域的許多先進技術(shù)。引進了許多新的技術(shù)和方法后,H.264/AVC的編碼和解碼性能質(zhì)量大大提高,但增加了編碼的計算復(fù)雜度,也限制了H.264/AVC應(yīng)用程序?qū)崟r視頻處理,從而提高基于H.264/AVC視頻編碼速度的研究價值,它也成為近年來研究的熱點。5.2可伸縮視頻編碼可伸縮視頻編碼標(biāo)準(zhǔn)，它主要通過時間、空間和質(zhì)量等方面的可伸縮機制，靈活多變的自適應(yīng)異構(gòu)網(wǎng)絡(luò)的動態(tài)變化和用戶的不同需求，具有很高的編碼效率。由于從不同攝像機得到的視頻可能有不同的分辨率和不同的視頻質(zhì)量，因此可伸縮視頻編碼非常適合應(yīng)用于視頻監(jiān)視系統(tǒng)中。可伸縮視頻編碼的可伸縮性包括多個方面，其中最重要的是以下三個方面：（1）時間可伸縮性（TemporalScalability）；（2）空間可伸縮性（SpatialScalability）；（3）質(zhì)量可伸縮性（QualityScalability）；它也可以是上述的組合?？缮炜s視頻編碼繼承了h.264/AVC的先進編碼技術(shù)，其編碼效率也非常高，采用了許多高復(fù)雜度的方法來有效地實現(xiàn)編碼的可擴展性，使得可伸縮編碼更加復(fù)雜。因此，研究如何提高編碼速度是非常必要的。本文只研究了高質(zhì)量可伸縮編碼的快速編碼算法。簡而言之，質(zhì)量可擴展性是指視頻序列可以在相同分辨率和幀率的前提下重構(gòu)不同質(zhì)量級別的視頻。如圖所示，可以看出左右視頻(幀率相同)的分辨率是一樣的，但是左右視頻的質(zhì)量更高。第六章總結(jié)與展望6.1工作總結(jié)視頻的智能分析與處理、視頻的壓縮與傳輸是視頻監(jiān)控系統(tǒng)的兩個最重要的方面，也是下一代視頻監(jiān)控系統(tǒng)開發(fā)的基礎(chǔ)和研究重點。本文僅對視頻監(jiān)控中光照魯棒性人臉自動識別問題、低照度夜間視頻增強問題和視頻編碼速度優(yōu)化問題進行了深入研究。在研究過程中，完成了以下幾項工作：(1)提出了一種利用小波變換的輪廓線，并基于光照不變特征描述的人臉光照模型，該方法是基于輪廓線的系數(shù)在小波變換域內(nèi)進行處理，提取出的特征光不敏感，計算過程簡單，耶魯大學(xué)B和CMUPIE數(shù)據(jù)庫實驗表明，該方法能有效改善人臉識別率條件下的光照變化，對光線具有良好的魯棒性。(2)提出了一種基于融合的夜間視頻增強方法。該方法首先采用基于小波變換和顏色空間變換的光照分離算法，然后分別對背景區(qū)域和運動區(qū)域進行增強。實驗表明，該方法能有效提高夜間視頻質(zhì)量。6.2展望在視頻監(jiān)控這一快速發(fā)展、影響深遠(yuǎn)的領(lǐng)域，一篇論文不能涵蓋所有方面。本文僅對幾個關(guān)鍵問題進行了研究。下一步是在現(xiàn)有工作的基礎(chǔ)上進一步研究，可以從以下幾個方面進行:1.人臉識別技術(shù)已廣泛應(yīng)用于視頻監(jiān)控系統(tǒng)的身份認(rèn)證中。由于小波多尺度分析的原理符合人類的視覺感知機制，筆者將在多尺度分析理論最新研究成果的基礎(chǔ)上，進一步優(yōu)化人臉識別的特征提取和特征分類，提高識別的魯棒性。另一方面，視頻監(jiān)控中的行為識別研究正在興起，對于異常事件預(yù)測和發(fā)現(xiàn)的應(yīng)用具有更大的研究價值。此外，根據(jù)最新的文獻發(fā)現(xiàn)，目前越來越多從事人臉識別研究的學(xué)者正逐步轉(zhuǎn)向這一研究領(lǐng)域。本文將重點對人的行為特征進行描述和識別，并結(jié)合多種生物特征識別身份認(rèn)證方法，從而更好地拓展視頻監(jiān)控系統(tǒng)在智能分析中的應(yīng)用前景。2.本文提出一種視頻基于小波變換的增強方法是晚上一個更復(fù)雜