（電路與系統(tǒng)專業(yè)論文）人臉檢測算法及其應用研究.pdf

f ：漁夫學頗卜學位論立 人臉 考= 測算注及其應用研究 摘要 人臉檢測是計算機視覺、模式識別、人機交互研究中一個很受關注的研究熱 點，在自動人臉識別系統(tǒng)、視覺監(jiān)控、基于內容的檢索等領域都有著廣泛的應用。 由于人臉模式錯綜復雜、易受干擾，所以人臉檢測又是一個很有挑戰(zhàn)性的課題。 目前的人臉檢測算法一般都存在計算量大、速度慢、誤報率高的弱點。 本文著重研究了一種適合在考勤系統(tǒng)和安保系統(tǒng)等應用領域的自動人臉檢 測算法，同時設計了兩套基于該人臉檢測算法的應用工程系統(tǒng)的框架結構。人臉 匹配的確是考勤系統(tǒng)在檢測得到人臉后需要做的一項重要工作。由于時間關系， 本文對人臉匹配方面只是做了初步的理論探討，沒有做實驗驗證。 其中，人臉檢測算法針對工程應用的特點對圖像采集做了一些合理的約束， 使之具有良好的魯棒性和實時性，能夠滿足實際需要。人臉檢測算法的主要思路 為利用序列圖像的差分信息檢測運動目標，對運動目標圖像實施膚色檢測，生成 候選人臉區(qū)域，然后利用眼睛特征驗證候選人臉并提取人臉特征，同時分割出人 臉部準確區(qū)域。實驗表明本算法能夠很好地適應不同的環(huán)境光照條件，在上述領 域內具有良好的檢測性能。 本文主要依照系統(tǒng)設計并人臉檢測的順序來進行論文結構安排。最后，本文 對論文的工作做了總結并對存在的若干問題做了說明。 關鍵詞： 運動檢測，膚色模型，人臉檢湖 上海大學碩士學位論文 人臉檢測算法及其應用研究 a b s t r a c t f a c ed e t e c t i o nh a sb e e nar e s e a r c hf o c u so fc o m p u t e rv i s i o n ，p a t t e mr e c o g n i t i o n a n dh u m a n - c o m p u t e ri n t e r a c t i o nf o ral o n gt i m e i ta l s oh a st h ea p p l i c a t i o ni naw i d e r a n g e o ff i e l d ss u c ha sa u t o m a t i c f a c e r e c o g n i t i o n ，v i s i o n s u r v e i l l a n c ea n d c o n t e x t - b a s e dr e t r i e v a l h o w e v e r ，f a c ed e t e c t i o ni sam o s tc h a l l e n g i n gt a s kb e c a u s eo f t h ew e a k n e s so fl a r g ec o m p u t a t i o n ，l o we f f i c i e n c ya n dm a n yf a l s er e p o r t sa m o n gt h e d e t e c t i o nr e s u l t i nt h et h e s i s ，a na u t o m a t i cf a c ed e t e c t i o nm e t h o di sp r e s e n t e d ，a n dt w oa p p l i c a t i o n s y s t e m sb a s e d t h em e t h o da r ed e s i g n e d a l t h o u g hf a c em a t c h i n gi si n d e e do n eo ft h e i m p o r t a n ts t e p si nt h ee m p l o y e e - c h e c k i n gs y s t e m ，i ti sj u s td i s c u s s e ds i m p l ya n dn o e x p e r i m e n ti sd o n ed u e t ot h el i m i t e dt i m e s o m er e a s o n a b l er e s t r i c t i o n sa r em a d ew i t ht h ec a p t u r e di m a g e si no r d e rt o g e t t h es t e a d ya n dr e a l t i m em e t h o do ff a c ed e t e c t i o na n dm e e tw i t ht h ea c t u a ld e m a n d s t h em e t h o df i r s t l yd e t e c t st h em o t i o nr e g i o nf r o mt h em o t i o ni m a g es e q u e n c eb a s e d o n i m a g e d i f f e r e n c ea n d g e t st h es u b i m a g eo fc o n t a i n i n g t h em o t i o n t a r g e t s t h e nt h e s u b i m a g ei sd e t e c t e da n dm a p p e di n t oab i n a r yi m a g eb yt h es k i nc o l o rm o d u l e s r e s p e c t i v e l y as e r i e so fp o s tt r e a t m e n t sa r ed o n et og e tt h eb i n a r yi m a g eo ff a c e c a n d i d a t e a n dt h e ne a c hf a c ec a n d i d a t ei sv e r i f i e da n dt w oe y e sa r ed e t e c t e db yu s e o fs o m em e a n s a t l a s t ，t h ee x a c tf a c ei sl o c a l i z e da c c o r d i n gt h er u l eo ff a c es t r u c t u r e e t c e x p e r i m e n t sm a k e i tc l e a rt h a tt h em e t h o dc a l la d a p tt ot h ed i f f e r e n ti l l u m i n a t i o n w e l la n dh a v eg o o dd e t e c t i o na b i l i t yi nt h ea b o v ef i e l d s t h i sp a p e ri s m a i n l ya r r a n g e db y t h eo r d e ro f s y s t e md e s i g na n dh o w t od e t e c t h u m a nf a c e f i l m i l y , a l lo v e r v i e wo f t h ep a p e ri sp r e s e n t e da n dt h ee x i s t i n gp r o b l e m s a r ed i s c l _ u s s e d k e yw o r d ：m o t i o nd e t e c t i o n ，s k i n c o l o rm o d e l ，f a c ed e t e c t i o n 圭堡查堂堡! ：堡三! ； 叁墮堡嬰竺堡塾莖墮里望絲一 1 1 研究背景與意義 第一章前言 人臉檢測問題最初來源于人臉識別，而人臉識別的研究可以追溯到2 0 世紀 七十年代，經(jīng)過幾十年的曲折發(fā)展己日趨成熟。一個完整的人臉自動識別系統(tǒng)一 般包括人臉自動檢測，特征提取和匹配識別等幾個部分。其中，作為人臉識別的 1 第一步，自動檢測起著至關重要的作用，但是早期的人臉識別研究主要針對具有 較強約束條件的人臉圖像( 如無背景的圖像) ，往往假設人臉的位置己經(jīng)知道或者 很容易獲得，因此人臉檢測問題并未受到重視。近幾年隨著電子商務，視覺監(jiān)測 等應用的發(fā)展，人臉識別成為最有潛力的生物身份驗證手段，這種應用背景要求 自動人臉識別系統(tǒng)能夠對一股環(huán)境圖像具有一定的適應能力。由此，所面臨的一 系列問題使得人臉檢測成為一項十分重要而又基礎性的技術，近年來成為模式識 別與計算機視覺領域內一項受到普遍重視、研究十分活躍的課題。當然，人臉檢 測的應用背景如今已經(jīng)遠遠超出了人臉識別系統(tǒng)的范疇，在基于內容的檢索、數(shù) 字視頻處理、視覺監(jiān)測等方面同樣有著重要的應用價值。 本文所提到的人臉檢測( f a c ed e t e c t i o r i ) 是指在輸入圖像中確定所有人臉( 如 果存在) 的位置與大小，同時定位人臉的有關特征。 人臉作為人類自身再熟悉不過的一個組成部分，其檢測問題卻是一個極具挑 戰(zhàn)性的課題。首先人臉是一個包含五官、毛發(fā)等的極不規(guī)則的復雜待測目標，不 同的人臉在形狀、大小、顏色、質地等方面都有很大的變化性；其次為了實現(xiàn)檢 測方法的穩(wěn)定可靠性，我們要考慮人臉在各種復雜的背景中，不同的方向、角度、 尺度等情況下所展現(xiàn)出來的不同表象：再次，我們所基于的檢測對象或稱環(huán)境大 多是由圖像捕捉設備所采集的數(shù)字圖像或視頻流中的數(shù)字圖像序列，所以采集條 件特別是光照條件包括光源的方向、明暗、色彩等都會對圖像的效果產生很大的 影響，進而影響我們對人臉的檢測；另外，人臉上還可能長有胡須、戴有眼鏡或 其他裝飾品等，這些也同樣是我們設計實際應用系統(tǒng)的人臉檢測算法時不可忽視 卜海大學碩t 論文 入臉檢測算法及其應用研究 的因素。盡管人臉檢測有一定的難度和復雜性，但是通過合理地規(guī)劃約束有關應 用系統(tǒng)，我們相信可以設計出一種具有良好性能的實用人臉檢測算法。基于該項 技術，我們可以開發(fā)不同形式的應用系統(tǒng)( 如入臉特征考勤系統(tǒng)，住宅小區(qū)安全 管理系統(tǒng)等) ，運用于社會相關機構、單位和企業(yè)。一方面促進社會的安全、穩(wěn) 定和發(fā)展，同時還可以取得良好的經(jīng)濟效益。 1 2 人臉檢測方法綜述 正如前面提到的。人臉檢測問題在近十年中得到了廣泛的關注和長足的發(fā) 展，我們對現(xiàn)有檢測算法的學習和總結必將給我們尋求種在某些應用領域內的 有效人臉檢測方法的研究帶來啟發(fā)和幫助。 在總結現(xiàn)有人臉檢測算法之前，我們首先對不同檢測算法所用到的人臉模 式特征做一個簡要介紹?？偨Y發(fā)現(xiàn)，在不同的人臉檢測方法中，人臉模式的特征 無外乎膚色特征和灰度特征兩個方面。其中，膚色是人臉的重要信息，其不依賴 于面部的細節(jié)特征，對于旋轉、表情等變化情況都能適應具有相對的穩(wěn)定性并 且和大部分背景物體的顏色相區(qū)別。因此膚色特征在人臉檢測中成為最常用的一 種特征。此外，灰度特征包括人臉輪廓特征、人臉灰度分布特征( 鑲嵌圖特征、 直方圖特征等) 、器官特征( 對稱性、空間分布等) 、模板特征等?；叶忍卣骺梢?提供更細致和更精確的人臉信息。這些特征在人臉真?zhèn)未_認、特征提取以及人臉 匹配等方面具有更大的優(yōu)勢。本節(jié)的以下內容是從方法論的角度概要性地總結一 下現(xiàn)有的幾種主要的人臉檢測思想，當然這種分類的界限并不是絕對的，而且結 合幾種思想于一體的檢測方法也普遍存在。 1 2 1 基于知識的自頂向下的方法 這種方法是基于我們在認識人臉的過程中所總結出來的一些先驗知識，把人 臉特征和相應的關系歸結成為一些復雜程度由簡而繁的規(guī)則。例如：“f 面人臉 都包括兩只位置相互對稱的眼睛，鼻子和嘴等”、“灰度圖像中眼睛要比臉上其他 地方睹”等。先提取輸入圖像中的人臉特征，隨后運用這些規(guī)則對這些候選的特 征進行鑒定。為了減少錯誤檢測率，通常還進行一定驗證后續(xù)處理，從而搜索出 彳：；合規(guī)律的人臉區(qū)域。 e 海大學碗 論文 人臉撿測算法及其應用研究 1 2 2 基于人臉特征的自底向上的方法 這種思想首先用各種數(shù)字圖像的處理辦法對輸入圖像進行處理，根據(jù)處理結 果提取出來的某些特征與人臉的某些共性特征進行比較，借此來判斷某一區(qū)域是 否為人臉。舉例來說，我們可以用數(shù)字圖像處理中常用的提取邊界的方法在輸入 圖像中尋找邊界，然后試探哪些邊界能像正面人臉的左邊界線、右邊界線和發(fā)髻 線那樣構成入瞼輪廓：還可以利用從圖像中提取出來的色彩和紋理信息與人臉的 色彩和紋理模型進行比較，得出可能的人臉區(qū)域。當然各種人臉特征的綜合運用 對于提高檢測算法的性能會有很大幫助。 1 2 3 模板匹配的方法 該方法首先建立并存儲一些人臉模板作為標準，可以包括正面人臉或是單獨 的眼睛、鼻子、嘴。利用一些算法柬計算各待測區(qū)域與標準模板的相似程度或稱 相關性。利用這一相似程度來判決某一區(qū)域是否為人臉。這個方法的優(yōu)點是使用 簡單，但是它不能很好地處理尺度、方位、形狀等因素不同變化，導致實際檢測 效果不是很理想。針對這些缺點，一些研究人員提出了采用多分辨率、多尺度、 局部模板和可變模板的人臉模板匹配檢測方法。 1 2 4 基于人臉外觀的方法 這種思想是指通過搜集大量的人臉和非人臉樣本作為訓練集，用人工神經(jīng)元 網(wǎng)絡、支持向量機( s v m ) 等方法訓練出一個分類器來檢測人臉。這種思想與 ， 其他思想的不同之處在于，它并不首先人工的對人臉進行分析或是抽取模板，也 不對輸入圖像進行復雜的處理；而是利用大量的人臉整體外觀用結構化的方法來 訓練出人臉檢測的分類器。這個分類器通常表述為某一特征描述函數(shù)或特征分布 模型，從而通過這個分類器區(qū)分出入臉和非人臉。該方法往往要考慮減少用于表 征人臉的特征空間維數(shù)，以便降低計算復雜度和提高人臉檢測效率。在這類方 法中，特征向量、統(tǒng)計學、信息學等思想也得到了運用。 可見，由于人臉檢測問題的復雜性，上述各種方法都存在著自身的優(yōu)缺點和 適用領域，無論那一類方法都無法適應所有的情況。目前，可行的辦法是針對人 上海大學碩士論文 人臉檢測算法及其應用研究 臉檢測應用領域內某個或某些特定的問題相應地提出一種有效的人臉檢測算法。 1 3 人臉檢測的有關應用 本論文的工作來源于上海市教委的一個課題，該課題的目的是研究一種有效 的人臉檢測技術，同時開發(fā)基于該技術的相關應用系統(tǒng)?？紤]到實際情況，我們 設想將人臉檢測技術應用于單位考勤，安全接入控制和住宅小區(qū)人員車輛管理等 方面。在實際應用中系統(tǒng)的規(guī)劃設計是基礎性的，合理的規(guī)劃設計是系統(tǒng)順利 實現(xiàn)的一個重要因素，可以有效地降低系統(tǒng)費用和實腌難度。 在研究和實踐過程中，我們發(fā)現(xiàn)在很多情況下單憑一種信息或某一種方法很 難得到滿意的檢測結果因此，在構造實際系統(tǒng)時，應優(yōu)先考慮使用能夠反映人 臉不同特征的多源信息，并通過對多源信息的融合處理以提高檢測的可靠性和魯 棒性另外，在很多場合，要求系統(tǒng)能快速地從圖像中檢測出目標物體此時， 在不影響系統(tǒng)總體性能的前提下，可以考慮對問題作必要的和合理的簡化處理以 便開發(fā)出相應的快速算法以滿足實際系統(tǒng)對實時性的要求 在研究過程中，我們將系統(tǒng)設計和算法研究綜合考慮，以便增強算法的有效 性和應用系統(tǒng)的擴展性。由此，在人臉檢測算法研究過程中，我們充分考慮實際 應用環(huán)境和有關要求，注重提高算法在上述應用領域的有效性和實時性。本文提 出一種人臉檢測算法。其主要思路是利用視頻序列圖像的差分信息得到運動目標 的子圖像；采用兩種膚色模型判決該包括運動目標的彩色圖像，經(jīng)過處理得到人 臉候選區(qū)域；隨后利用眼睛部位的特點對候選人臉進行驗證，確認該區(qū)域是否為 人臉；最后采用基于臉部邊緣和h o u g h 變換檢測橢圓或者采用基于人臉特征空 間幾何分布關系分割人臉，從而得到人臉的準確區(qū)域。 1 4 論文的主要內容 本文就針對單位考勤，視頻監(jiān)測控制等領域的人臉檢測算法進行了研究，同 時規(guī)劃設計了基于這項技術的有關應用系統(tǒng)。文章的主要結構安排如下：第一章 主要介紹了人臉檢測的研究意義和研究現(xiàn)狀，同時對本文的主要工作和結構安排 做了一個簡要說明；第二章首先介紹了在有關應用系統(tǒng)實現(xiàn)時需要解決的一些問 題，然后提出了兩套應用系統(tǒng)的規(guī)劃設計，并相應地說明了系統(tǒng)的工作流程；第 e 海大學頌士論文人臉檢測算法及其應用研究 三章主要介紹了如何檢測運動目標區(qū)域，提出了一種基于序列圖像差分的運動目 標檢測方法，這是本文所提出的人臉檢測算法的第一步；第四章主要介紹了兩個 膚色模型和各自的優(yōu)缺點，我們提出了綜合利用兩者的優(yōu)點來獲取較好的人臉候 選區(qū)域判決結果以及有關處理策略；第五章主要介紹了本文采用的人臉驗證和人 臉分割辦法，解決如何確認人臉候選區(qū)域的真?zhèn)尾⒌玫饺四樀臏蚀_區(qū)域；第六章 對論文馓了總結，并指出若干有待解決的問題。 海大學碩士論文 人臉檢測算法及其應用研究 第二章人臉檢測應用系統(tǒng)的規(guī)劃 2 1 引言 前言已經(jīng)提到一種可以適應所有情況的人臉檢測算法是不切實際的，但是 在現(xiàn)有研究和實驗的基礎上，針對某些領域內尋求一種有效的人臉檢測方法卻 是現(xiàn)實可行的。大量的工程實踐經(jīng)驗表明在系統(tǒng)設計中對一些環(huán)境進行合理的 約束不會對系統(tǒng)的功能產生過多的影響，但是它可以大幅度地降低系統(tǒng)實現(xiàn)的 復雜度和造價成本。因此，我們在研究人臉檢測算法時充分考慮有關系統(tǒng)的特 點，從而提高算法的實用性和有效性。 基于各方面的原因，我們優(yōu)先考慮解決單位考勤，安保監(jiān)控和身份鑒定接 入等應用領域的人臉檢測問題。這些實用系統(tǒng)對算法的實時性和可靠性要求高 于其他系統(tǒng)，因此，在設計算法的過程中，我們必須充分考慮系統(tǒng)特點和要求， 權衡取舍不同的性能指標，使得系統(tǒng)在全局達到最優(yōu)。多方面的因素都有可能 影響到人臉檢測算法的性能，包括光照情況，場景變化，人體的姿態(tài)，臉部表 情等等。人臉檢測算法方案可以尋求不同的解決途徑，因為不同的檢測途徑可 能在小同的檢測應用場合具有優(yōu)良的性能。首要考慮的問題是上述系統(tǒng)選取怎 樣的檢測方案和人臉特征。在科研實踐中，理論研究成果能夠被投入實際應用 是一件令人興奮的事情，我們期待在理論實踐過程中不斷提高研究水平和完善 系統(tǒng)性能?；诂F(xiàn)有的實驗條件和研究成果，我們設計出了部分應用系統(tǒng)方案， 同時研究了有效，穩(wěn)定的人臉檢測算法。 2 2 系統(tǒng)規(guī)劃設計 存現(xiàn)有技術條件下，設計實現(xiàn)一個或多個應用系統(tǒng)，為社會各應用領域 提供史好的服務是本課題研究目的之。本章節(jié)，我們對兩套有關的應用系統(tǒng) 方案將做較詳細的描述介紹。 t 簿大學頒十論文 人臉檢測算法及其應用研究 2 2 1 系統(tǒng)規(guī)劃設計一 系統(tǒng)名稱：基于人臉檢測和人臉匹配的考勤系統(tǒng) 系統(tǒng)功能：本系統(tǒng)能夠自動采集人員圖像，檢測得到人臉，同時獲取人員 身份# 信息，將采集得到的人臉和存儲在系統(tǒng)中與身份卡對應的人臉進行匹 配，確認人員身份的真?zhèn)危瓿梢粚σ坏纳矸蒡炞C工作。此外，該系統(tǒng)具有相 應的數(shù)據(jù)庫管理功能和出錯報警功能等，可以廣泛運用于工礦企業(yè)和各事業(yè)單 位完成員工考勤等工作或其他身份驗證接入控制，具有廣闊的市場應用前景。 本系統(tǒng)主要由計算機軟件處理平臺和用于信息采集的硬件設備組成。除了 軟件系統(tǒng)之外，系統(tǒng)需要的硬件設備：一臺微機，一部身份信息讀卡機，一部 彩色工業(yè)攝像頭，一部紅外傳感器和其他設備連接器。其中，當系統(tǒng)需要同時 處理多個考勤點時可能額外需要一塊擴展串口卡和相應的信息采集設備。系統(tǒng) 結構框圖參見圖2 一l ： c 圖2 一l ：基于人臉檢測和人臉匹配的考勤系統(tǒng)結構框圖 工作流程：人員手持身份信息卡走近考勤信息讀卡機，觸發(fā)紅外傳感器， 啟動攝像機攝取運動目標圖片序列。讀卡機提取用戶信息，利用用戶信息提取 出存儲于軟件管理系統(tǒng)的標準臉部圖像；與此同時，軟件系統(tǒng)從圖片序列中檢 測人臉部圖像，提取出準確的人臉區(qū)域和人臉特征，利用相應的匹配算法衡量 兩者的相似度量。若相似度量大于某個閾值，系統(tǒng)判定實際持卡人和考勤卡注 冊信息吻合，否則系統(tǒng)判定人員信息不匹配，同時通知有關人員進行其他處理。 個q 選方案是將人員的標準臉部圖像存儲于用戶信息卡，讀卡機提取人員身 份信息同時讀出內部臉部圖像特征數(shù)據(jù)，進行相應的匹配判決處理。這些可選 【：海人學順十論文 人臉檢測算法及其應用研究 方案司以依據(jù)不同的實際情況加于選擇，為系統(tǒng)實現(xiàn)提供了更大的選擇空間 具有更好的靈活性。系統(tǒng)的流程框圖參見圖2 - - 2 ： 圖2 2 ：基于人臉檢測和人臉匹配的考勤系統(tǒng)的流程框圖 2 2 2 系統(tǒng)規(guī)劃設計二 系統(tǒng)名稱：住宅小區(qū)人員車輛進出檢測系統(tǒng) 系統(tǒng)功能：本系統(tǒng)可以自動采集運動目標圖像，通過人臉檢測算法判別運 動目標類型，即人員和車輛。若運動目標為人員，則檢測出人臉區(qū)域，將臉部 - 圖像存儲到數(shù)據(jù)庫。假如運動目標屬于車輛等，則系統(tǒng)轉到車輛處理單元，提 取有關車輛信息例如車牌等特征，同時將有關信息保存到數(shù)據(jù)庫。該系統(tǒng)可以 減少存儲圖片數(shù)據(jù)量，節(jié)省系統(tǒng)資源，同時可以對進出住宅小區(qū)的人員車輛監(jiān) 控，可以隨時查看住宅小區(qū)的進出人員車輛信息，增強小區(qū)的安全保障能力。 類似，本系統(tǒng)也主要由計算機軟件處理平臺和用于信息采集的硬件設備組 成。除了軟件系統(tǒng)，系統(tǒng)還需要的硬件設備包括：臺微機，一部彩色工業(yè)攝 像頭，兩部紅外傳感器，一部地感線圈，一塊串口擴展卡和其他設備連接器。 住宅小區(qū)的進口和出口應該分開處理，即采用兩套系統(tǒng)，分別管理進口或 出口。當然軟件系統(tǒng)的功能是完全相同的，區(qū)別在于圖像采集設備的安裝位置 不一樣。進出 分開管理的目的是為了可以采集到清晰的視頻圖像，保證系統(tǒng) 能夠及時處理進出目標，同時可以降低軟件實現(xiàn)的難度。軟件系統(tǒng)采用模塊化 結構，多個模塊分別處理不同的事務增強系統(tǒng)的可擴展性。目前系統(tǒng)主要設 計兩大模塊：一部分處理車輛管理，包括車牌的檢測和識別等，( 利用本實驗 室的已有研究成果) ，另外一。部分處理人員管理，包括人臉的檢測等。在此條 件下，人臉識別受到各方面因素的限制目前很難達到實用要求。主要原因在于 特定人臉圖像和存儲在數(shù)據(jù)庫內的大量人臉圖像進行窮盡搜索匹配，時間是無 人臉檢測算法及其應用研究 法控制的：此外，進出人員可以是一個或多個，包括多人臉檢測問題，同時識 別也是不現(xiàn)實的。系統(tǒng)結構框圖參見圖2 3 ： 圖2 3 ：住宅小區(qū)人員車輛進出檢測系統(tǒng)結構框圖 工作流程：當人員和車輛出入住宅小區(qū)時，紅外傳感器或地感線圈被觸發(fā) 從而啟動圖像采集設備捕捉圖像序列。我們通過序列圖像差分檢測得到包括運 動目標的子圖像，對得到的子圖像進行人臉的粗檢。假如粗檢結果不包括候選 人臉則判為非人員目標，系統(tǒng)轉入車輛檢測處理模塊，否則轉入人臉檢測模塊， 進行人臉的進一步檢測。當然，假如人臉的進一步檢測得到否定結果則系統(tǒng)重 新轉入車輛檢測處理模塊。最后，系統(tǒng)將得到的人臉和車輛信息保存到數(shù)據(jù)庫， 以便系統(tǒng)隨時可以進行查詢。系統(tǒng)的流程框圖參見圖2 4 ： 一一 f 開始1 熱拋毒 上海大學碩士論文 人臉檢測算法及其應用研究 圖2 - - 4 ：住宅小區(qū)人員車輛進出檢測系統(tǒng)流程框圖 2 3 應用系統(tǒng)與視頻采集模塊的接口 由攝像機采集的數(shù)字視頻序列通過u s b 接口或圖像采集卡輸入現(xiàn)場微機 現(xiàn)場討算機需要提供相應的函數(shù)接口來進行實時處理。 2 3 1v c + + 6 0 提供的視頻采集接口 w i n d o w s 下視頻編程接口( v f w ) 是一個關于數(shù)字視頻的軟件包，它使得視 頻數(shù)據(jù)的采集和編輯得以簡化。v f w 提供了v b x 和a v i c a p 窗口類等主要 編輯工具，只需通過發(fā)送消息或設置屬性等簡單的操作就可以完成視頻采集及 編輯工作。為了支持v f w ，v c + + 6 o 提供了許多專門的庫文件，如：v f w 3 2 1 j b 、 m s a c m 3 2 1 i b 和w i n m m 1 i b 等，特別是它提供了功能強大、操作簡單類似于 m c i w n d 的窗口類a v i c a p 。 a v i c a p 窗1 3 類提供的幾個關鍵的宏及函數(shù) 采集窗口也就是被采集的視頻圖像的預覽窗口。 用函數(shù)g h w n d c a p = c a p c r e a t e c a p t u r e w i n d o w 0 返回采集窗1 3 的句柄 ( g h w n d c a p ) 。隨后用c a p d r i v e r c o n n e c t ( g h w n d c a p ，i n d e x ) t i p 可實現(xiàn)采集窗 口和指定的采集設備( 即攝像頭) 的連接( i n d e x 是指定的采集設備的號碼， 本系統(tǒng)設為0 ) ； 用c a p c a p t u r e g e t s e t u p c a p c a p t u r e s e t s e t u p 即可獲取設置當前采集參 數(shù)：c a p g e t v i d e o f o r m a t c a p s e t v i d e o f o r m a t 用于獲取設置視頻格式。如可設 置視頻采集幀速、幀分辨率、采集方式等。 a v i c a p 窗口類提供了七種回調函數(shù)來對不同的事件進行處理。用 c a p s e t c a l i b a c k o n f r a m e 登記注冊的回調函數(shù)在每采集完一幀數(shù)據(jù)時被調用， 通過這個回凋函數(shù)即可獲得采集到的數(shù)據(jù)并對它進行處理。 2 3 2 軟件具體實現(xiàn) 在v c + + 6 0 開發(fā)環(huán)境中創(chuàng)建名為f a c e d e t e c t 的工程，假定已經(jīng)將攝像頭 ! 塑查堂墮；! ：絲莖 壁羔墮塑墅查墨望壟型旦! ! ! l 通過圖像采集卡或u s b 接口與系統(tǒng)計算機相互連接。 在f a c e d e t e e t v i e w c p p 文件中定義g l o b a l 變量： h w n d g h w n d c a p ； l p b l t m a p i n f 0 l p b i ； i n tn w i d t h ； i n tn h e i g h t ； 初始化程睜段如下： g h w n d c a p = c a p c r e a ， i ， ，, t e c a p t ，u r e w i n d ，o w ( - n u m l - h lw s _ ，v i s i b l e w s child0,0 n w i d t h n h e i g h t t h i sw n d i d _ c a f w n d ) ； c a p s e t c a l l b a e k o n f r a m e ( g h w n d c a p ，& c a p p r o c ) ； c a p p r e v i e w r a t e ( g h w n d c a p ，2 5 0 ) ； c a p d r i v e r c o n n e c t ( g h w n d c a p ，o ) ； d w o r d d w s i z e = c a p g e t v i d e o f o r m a t s i z e ( g h w n d c a p ) ； i p b i = ( l p b i t m a p i n f o ) n e u n s i g n e dc h a r d w s i z e ； c a p g e t v i d e o f o r m a t ( g h w n d c a p ，l p b i ，d w s i z e ) ； l p b i 一 b m i h e a d e r o b i w i d t h = 3 2 0 ； - l p b i b m i h e a d e r b i h e i g h t = 16 0 ； l p b i b m i h e a d e r b i b i t c o u n t = 2 4 l ； l p b i 一 b m i h e a d e r b i c o m p r e s s i o n = 0 l ； l p b i - b m i h e a d e r b i s i z e l m a g e = ( i o n 曲( 3 2 0 2 4 0 。3 ) ； l p b i 一 b m i h e a d e r b i c i r u s e d = ( i o n 勘( 2 5 6 。2 5 6 。2 5 6 ) ； i p b i - b m i h e a d e r b i c i r l m p o r t a n t = 0 l ； i f ( ! c a p s e t v i d e o f o r m a t ( g h w n d c a p ，l p b i ，d w s i z e ) ) m e s s a g e b o x ( “u n s u p p o r t e dm o d e ”) ； r e t u r n ； 上海大學壩上論文 人臉檢測算法及其應用研究 其中c a p p r o c 為回調函數(shù)，每次圖像采集結束后，即會調用此函數(shù)。人臉 檢測算法的運動目標檢測，人臉區(qū)域檢測和特征提取以及人臉匹配等操作都可 以在此函數(shù)內實現(xiàn)，其原型為： l r e s u l tc a l l b a c k c a p p r o e ( h w n d h w n d l p v i d e o h d r l p v h d r ) i f ( 1 p v h d r - d w f l a g s v h d r - d o n e ) 視頻緩存已經(jīng)裝滿 此處l p v h d r - l p d a t a 中存放的即為捕捉的一幀視頻數(shù)據(jù) 此處進行各種處理 r e t u r n ( l r e s u l t ) t r u e ； ) ) 海大學碩士論文 人臉檢測算法及其應用研究 第三章運動目標的檢測算法研究 3 1 運動檢測概述 運動檢測可以進行目標跟蹤和目標提取等，同時很多應用場合可以用于簡化 后續(xù)處理，優(yōu)化改善系統(tǒng)引猜。尤其當今計算機性能的迅速提升，視頻和序列圖 像的處理已經(jīng)不夠成技術障礙，因此運動檢測得到越來越廣泛的應用。目前，運 動目標檢測算法多種多樣，譬如光流檢測、基于m p e g 2 4 的宏塊檢測算法、基 于固定背景的運動差分和基于序列圖像的差分方法等。 本文提出一種基于序列圖像差分的運動目標檢測方法。序列圖像差分相對 m p e g 2 4 宏塊檢測方法而言算法簡單、容易實現(xiàn)，同時避免了固定背景差分法 棘手的背景有效更新問題。由于相鄰幾幀序列圖像是在很短時間內拍攝得到的， 一般情況下環(huán)境及光照變化很小，通過一定的處理后可認為前后幀背景保持一 致。因此通過序列圖像差分，我們可以有效地提取運動信息，尤其可以檢測出運 動遮擋和顯露區(qū)域，其中也包括運動重疊區(qū)域。由于相鄰兩幀進行差分處理而且 目標運動速度不高，運動目標可以被認為在較小空間范圍內變化。根據(jù)運動信息， 。 我們可以檢測出目標的大致位置，分割生成一幅包括運動目標的子圖像。這樣處 理有兩個好處：一方面可以剔除大部分靜止背景，減少后續(xù)人臉檢測的背景干擾， 有助于提高人臉檢測的準確度；另外由于后續(xù)檢測算法僅需處理包括運動目標的 局部圖像，運算數(shù)據(jù)量大為減少，有助于提高算法的實時性能。 3 2 圖像差分檢測算法 令：s = ( 習，眈j 飄1 為長度等于一的圖像序列 令6 s l j 。i5 一一5 了j ：& ，o s ：8 s = ( 6 s i jil i ，j n ，5 s i j 為圖像序列 中第i ，j 兩幅圖像差值的絕對值圖像，6 s 為差圖像的集合。 上海大學碩： ：論文 人臉檢測算法及其應用研究 令v6 s i j ( n ) = 芝蕊( m ，n ) ，h6 s i j ( m ) 2 蕊( m ，n ) 分別為差圖像6 s i j 在水 m = l ”2 i 平軸上的垂直投影和在垂直軸上的水平投影( 為圖像的高度，為圖像的寬度) 。 令v6 s = v6 s i ji6 s i j 6 s ) 和h6 s2 h5 s i j5 s i j e5 s 分別為差分圖 像的垂直投影集合和水平投影集合。 參考文獻 4 的方法是先將差分圖像閾值化分割生成二值圖像，然后對其采 用統(tǒng)計非零像素方法做垂直和水平投影v5 s ij ( n ) 和h6 s ( m ) ，而本文在此基礎 上改進為在做垂真和水平投影v6 s i ( n ) 和h6 s ij ( m ) 時直接統(tǒng)計灰度差分圖像 s ij 的灰度值，即6 s ii 缸而為差分圖像的灰度值。改進后的優(yōu)點：- n 避免求取 閾值的過程，減少了運算量；另外，由于在差分圖像中運動目標的顯露和遮擋部 分灰度變化更大，差分灰度值相應也較大，因此在做灰度統(tǒng)計的垂直投影和水平 投影時得到更加明顯的邊界躍變。 從圖3 一l ( c ) 和圖3 - 3 ( a ) ( b ) 可以看出，差分圖像在運動區(qū)域內水平投影( h6 s ii ) 和垂直投影( v6 s i ) 有較大的幅值，并在運動邊界部分有明顯的峰值，而在 靜止部分，水平投影和垂直投影的幅值很小。若運動目標為進出人員或考勤人員， 通常我們依據(jù)水平投影和垂直投影確定上部邊界( 頭頂) 和左右邊界( 身體的兩 側) ，從而可以得到包括運動目標的子圖像。當然，在不同的應用場合，分割得到 的子圖像包含個數(shù)不確定的運動目標。在考勤系統(tǒng)中，由于運動目標唯一，我們 可以依據(jù)人體的幾何比例進一步確定一個下邊界，得到一個頭肩部圖像，從而進 一步減少候選對象區(qū)域，參見文獻 1 9 。在多運動目標情況下，系統(tǒng)不能夠僅僅 通過一個簡單的幾何比例確定子圖像的下邊界，通常依據(jù)水平投影的另外一個峰 值或者直接以原始圖像的下邊界來確定子圖像的下邊界。然而，在運動目標為汽 車時，通常我們可以僅確定左邊界或右邊界，通常上下邊界需要保持原始圖像的 上下邊界，另外一個左右邊界可以依據(jù)一個比例粗略確定。上述圖像差分處理 過程見圖3 一l 所示： 上海大學碩士論文 人臉檢測算法及其應用研究 ( c ) ( d ) 圖3 1 ：序列圖像差分檢測運動目標的處理過程 ( a ) 序列圖像的第1 幀彩色圖像的灰度圖像；( b ) 序列圖圖像的第j 幀彩色圖像的灰度 圖像；( c ) 第1 j 幀灰度圖像的差分灰度圖像：( d ) 差分灰度的二值圖像( 僅用于說明差分 圖像包含的信息，本文采用直接統(tǒng)計灰度的方法) 實驗結果表明；為了得到良好、穩(wěn)定的運動判決結果，我們需要依據(jù)運動目 標的速度來考慮采集間隔，否則由于相鄰兩幀之間可能無明顯的運動導致無法檢 測出運動目標，常出現(xiàn)在人員低速進出的情況。為了提高運動目標檢測的可靠性， 我們采用多幀圖像差分疊加的統(tǒng)計方法，可以提高方法的適應性和魯棒性，有效 地降低了運動檢測失敗概率。如攝像頭視頻采集速度為2 5 幀秒，我們采用連續(xù) 五幀圖像( 即艫5 ) ，存：竺堅善塑其中掇。；：i s ，一$ 5 1 ，舔：。：i s ：一s 。 ，通過對癟 2 進行水平及垂直投影確定最后的邊界，用得到的邊界對圖像& 進行圖像分割得 到運動目標子圖像。此方法在提高檢測的魯幫性能同時在一定程度上消除了噪聲 的影響。為了消除沖激噪聲的干擾，我們對投影曲線進行曲線擬合，類似進行部 分平滑處理，這與所采用的邊界確定方法有關，邊界確定方法將在下一節(jié)介紹。 上海大學碩士論文 人臉檢測算法及其應用研究 ( e )( f ) 圖3 2 ：兩幀圖像差分和多幀圖像差分疊加的比較 ( a ) 第1 ，j 幀圖像的差分灰度圖像；( b ) 圖像( a ) 的二值圖像；( c ) 第1 + l ，j + l 幀圖像 的差分灰度圖像：( d ) 圖像( c ) 的二值圖像；( e ) 差分灰度圖像( a ) ，( c ) 的疊加圖像：( f ) 疊 加圖像( e ) 的二值圖像；注：( b ) ，( d ) ，( f ) 均為用來止讀者更清晰地看到處理地差別 3 3 邊界自動提取 自動提取運動目標邊界方法可能多種多樣，本文曾參考了文獻 2 n n n n 部邊界辦法，即依據(jù)梯度變化規(guī)律尋找某些曲線拐點位置。實驗表明：在后續(xù)人 臉部邊界檢測中，該方法在頭部姿態(tài)比較端正的情況下可以取得較好的檢測效 果，但是當人臉傾斜度o l o 。，算法通常無法檢測出實際位置，算法失效。通 人臉檢測算法發(fā)其應用研究 過觀察實驗得到的大量垂直和水平投影曲線的分布特征，我們決定采用一個比較 簡潔工程方法，即相對全局最大值而言，取某個比例所處的位置為運動邊界。上 一節(jié)，我們已經(jīng)提到像素投影圖在運動邊界附近具有峰值( 即運動目標的左右邊 界分別對n ! 投影圖的兩個波峰) ，因此我們通過確定波峰的上升和下降的某個閾 值點可以得到粗略的運動邊界。實驗表明該方法具有魯棒性強，運算簡單等多個 優(yōu)點，不過算法的性能與所選取的閩值有較大關系。我們采用不同的閩值進行邊 界檢測實驗結果表明閩值取t = 00 5 左右可以得到滿意的分割結果，良好地均衡 了算法抗十擾能力和邊界檢測準確性之間的沖突。邊界檢測算法如下： h“ 令y 沏) = d ( m ，) ，( h ) = d ( m ，n ) 分別表示差分圖像d ( m ”) 的垂直投 n = lm = 【 影曲線和水平投影曲線，其中w ，h 為圖像的寬度和高度。同時，令 v ；n “= m a x ( v ( m ) ) ，h m x _ m a x ( h ( n ) ) 為垂直投影曲線和水平投影曲線的4 嗥值。由 于礦) ，i t ( n ) 均為一維變量數(shù)組，故得到的礦，h 一為一個大于零的常量。 對于f 7 ( ) 選取l _ w 方向依次尋找某一位置m ，若對應的像素值乓掣r ， p 則可以認為m l 為運動目標的左邊界( 翔= m 1 ) ；然后從寸m t 方向依次尋找某 一位置。，若對應的像素值；嬰生f ，則可以認為，為運動目標的右邊界 ， ( m = m 2 ) 。其中f 為檢測設定的閾值。由此，我們可以得到運動目標左右邊界。 同理，對于( 月) 選取1 一h 方向依次尋找某一位置”，若對應的像素值型f 爿m 、 則可以認為n l 為運動目標的上邊界( 即頂部位置n = h 1 ) ；從斗n l 方向依次尋 找某位置月! ，若對應的像素值嘗竺蘭f ，則可以認為n 2 為運動目標的下邊界 ，i i n a x ( 即底部位置h = n 2 ) 。似如搜索過程沒有找到有效位置，可能意味目標沒有完 全進入攝像機的場景( 常出現(xiàn)于車輛情況中) ，算法自動保留原始圖像的對應邊 界。上述閩值參數(shù)f 在本算法中取值為0 0 5 即r = 0 0 5 。由于上述步驟的目的為 耜略檢測運動物體區(qū)域，減少后續(xù)處理的搜索范圍，本文所提出的算法可以取得 令人滿意的邊界儉測結果。邊界確定方法和最后的分割結果如圖3 3 所示： 圭查查蘭堡主笙塞 塵墮絲型蘭鯊墨苧堡旦! ! ! l ( a ) ( b ) ( c )( d ) 圖3 3 ：確定運動邊界和運動目標分割結果 ( a ) 差分圖像往水平方向x 軸的灰度投影圖，其中x l ，x r 分別為算法確定的運動區(qū)域的 左右邊界：( b ) 差分圖像往垂直方向y 軸的灰度投影圖，其中y t o p 為算法確定的運動區(qū) 域的上邊界，并保留原始圖像的下邊界：( c ) 待檢測的原始彩色圖像；( d ) 經(jīng)運動目標檢 測后去除了大部分靜止背景的運動目標彩色子圖像，此圖像將用于后續(xù)的膚色檢測等處理 1 8 上海大學碩上論文 臉檢測算法及其應用研究 第四章膚色模型和膚色檢測 4 1 膚色檢測綜述 我們在人臉檢測算法中加入對膚色信息的應用，其目的是希望通過在圖像中 i 進行是否是膚色的預先判斷，從而排除非膚色區(qū)域即不可能存在人臉的區(qū)域，達 到減小搜索空間、提高人臉檢測算法的時間效率和降低誤報率的作用。 大量的研究表明無論圖像的亮度信息變化情況下，人體膚色在色度空間內分 布穩(wěn)定，聚集在色度平面內一個狹窄區(qū)域，麗且歐洲、非洲和亞洲等種族人群膚 色象素均分布在色度空間的同一個區(qū)域。依據(jù)人體膚色聚集分布特性，不同研究 人員在各個彩色空間內建立了大量的膚色聚類模型。在此，我們對常用的色彩空 間和膚色模型分別做一個簡要介紹： 4 1 1 常用的色彩空間 根據(jù)計算機色彩理論，對種顏色而言，在計算機中有不同的表達方式， 這樣就形成了各種不同的色彩空間。當然各種色彩空間只不過是顏色在計算機內 不同的表達形式而已，每一種色彩空間也都有其各自的產生背景、應用領域等等。 主要的色彩空間有以下幾種： 1 r g b 格式( 紅、綠、藍三基色模型) 出于彩色圖像是多光譜圖像的一種特殊情況，對應于人類視覺的三基色即 紅、綠、藍三個波段，是對人眼的光譜量化性質的近似。因此利用r 、g 、b 三 基色這三個分量來表征顏色是很自然的一種格式。而且多數(shù)的圖像采集設備都是 以c c d 技術為核心，直接感知色彩的r 、g 、b 三個分量，這也使得三基色模烈 成為圖像成像、顯示、打印等設備的基礎，具有十分重要的作用。 2 h s i 格式( 色度、飽和度、亮度模型) ， 這是m u n s e u 提出的色彩系統(tǒng)模型，經(jīng)常為藝術家所使用。這種格式反映了 人類艦察色彩的方式，同時也有利于圖像處理。在對色彩信息的利用中，這種格 e 海大學碩l j 淪文 人臉檢測算法及其應用研究 式的優(yōu)點在于它將亮度( i ) 與反映色彩本質特性的兩個參數(shù)色度( h ) 和飽和度 ( s ) 有效地區(qū)分。我們提取一類物體( 比如現(xiàn)在研究的人臉) 在色彩方面的特 性時經(jīng)常需要了解其在菜一色彩空間的聚類特性，而這一聚類特性往往體現(xiàn)在 色彩的本質特性上，而又經(jīng)常受到光照明暗等條件的干擾影響。光照明暗給物體 顏色帶來的直接影響就是亮度分量( i ) ，所以若能將亮度分量從色彩中提取出去， 而只用反映色彩本質特性的色度、飽和度來進行聚類分析，會獲得比較好的效果 這也f 是h s i 格式在彩色圖像處理和計算機視覺的研究中經(jīng)常被使用的原因。 3 y c b c r ( y u v ) 格式 這種色彩空間是以演播室質量標準為目標的c c i r 6 0 1 編碼方案中采用的彩 色表示模型，