人臉特征提取與識別(參考)

1、 本科生畢業(yè)設計（論文）文獻綜述題 目： 人臉特征提取與識別 姓 名： 學 號： 學 院： 專 業(yè)： 年 級： 指導教師： （簽名）系主任（或教研室主任）： （簽章）目錄1前言12人臉特征提取與識別方法12.1 基于幾何特征的方法12.2 基于特征臉的方法22.3 局部特征分析 LFA方法32.4 基于彈性模型的方法42.5 神經(jīng)網(wǎng)絡方法42.6 其他方法53總結5致謝：6參考文獻：6文獻綜述：人臉特征提取與識別人臉特征提取與識別1 前言近年來，Internet和多媒體技術飛速發(fā)展，多媒體（包括圖像、視頻等）數(shù)據(jù)規(guī)模急劇膨脹。為了快速、準確地找到感興趣的圖像或視頻，人們提出了基于內(nèi)容的圖像檢索

2、(content-based image retrieval，簡稱CBIR)技術，研究讓計算機對圖像進行分類和檢索的算法。CBIR涉及圖像內(nèi)容表示、相似性度量、高維索引技術等方面。1圖像內(nèi)容的表示是需要首先解決的問題。為了實現(xiàn)對圖像內(nèi)容的存取、訪問和檢索，MPEG-7提出了圖像內(nèi)容描述子的概念，例如顏色描述子、紋理描述子、形狀描述子等。圖像顏色內(nèi)容通常用顏色直方圖來表示，紋理特征以紋理模式區(qū)分圖像，形狀特征用于包含特定形狀對象的圖像檢索。顏色直方圖（或稱為顏色譜）因其簡單、有效的性能而在大多數(shù)CBIR系統(tǒng)中得到應用，但是顏色直方圖對紋理圖像的檢索效果不好。不同的紋理圖像可能有非常相似的顏色直方

3、圖。所謂圖像紋理，它反映的是圖像的一種局部結構化特征，具體表現(xiàn)為圖像像素點某鄰域內(nèi)像素點灰度級或者顏色的某種變化，而且這種變化是空間統(tǒng)計相關的，它由紋理基元和基元的排列兩個要素構成。紋理分析方法有統(tǒng)計方法、結構方法和基于模型的方法。2 人臉特征提取與識別方法 人臉識別本質上是三維塑性物體二維投影圖像的匹配問題，它的困難體現(xiàn)在：(1)人臉塑性變形(如表情等)的不確定性；(2)人臉模式的多樣性(如胡須、發(fā)型、眼鏡、化妝等)；(3)圖像獲取過程中的不確定性(如光照的強度、光源方向等)。識別人臉主要依靠人臉上的特征。也就是說依據(jù)那些在不同個體上存在的較大差異而對同一個人則比較穩(wěn)定的度量。由于人臉變化復

4、雜，因此特征表述和特征提取十分困難。 在對人臉圖像進行特征提取和分類之前一般需要做幾何歸一化和灰度歸一化。幾何歸一化是指根據(jù)人臉定位結果將圖像中人臉變換到同一位置和同樣大小，灰度歸一化是指對圖像進行光照補償?shù)忍幚?，光照補償能夠一定程度地克服光照變化的影響而提高識別率。 2.1 基于幾何特征的方法 人臉由眼睛、鼻子、嘴巴、下巴等部件構成，正因為這些部件的形狀、大小和結構上的各種差異才使得世界上每個人臉干差萬別，因此對這些部件的形狀和結構關系的幾何描述，可以作為人臉識別的重要特征。幾何特征最早是用于人臉側面輪廓的描述與識別，首先根據(jù)側面輪廓曲線確定若干顯著點，并由這些顯著點導出一組用于識別的特征度

5、量如距離、角度等。Jia等由正面灰度圖中線附近的積分投影模擬側面輪廓圖是一種很有新意的方法。2 采用幾何特征進行正面人臉識別一般是通過提取人眼、口、鼻等重要特征點的位置和眼睛等重要器官的幾何形狀作為分類特征，但Roder對幾何特征提取的精確性進行了實驗性的研究，結果不容樂觀。3可變形模板法可以視為幾何特征方法的一種改進，其基本思想是：設計一個參數(shù)可調的器官模型(即可變形模板，如圖2-1，圖2-2所示)，定義一個能量函數(shù)，通過調整模型參數(shù)使能量函數(shù)最小化，此時的模型參數(shù)即做為該器官的幾何特征。這種方法思想很好，但是存在兩個問題，一是能量函數(shù)中各種代價的加權系數(shù)只能由經(jīng)驗確定，難以推廣；二是能量函

6、數(shù)優(yōu)化過程十分耗時，難以實際應用。4圖2-1 可變形模板法的眼模型圖2-2 可變形模板法的嘴模型 基于參數(shù)的人臉表示可以實現(xiàn)對人臉顯著特征的一個高效描述，但它需要大量的前處理和精細的參數(shù)選擇。同時，采用一般幾何特征只描述了部件的基本形狀與結構關系，忽略了局部細微特征，造成部分信息的丟失，更適合于做粗分類，而且目前已有的特征點檢測技術在精確率上還遠不能滿足要求，計算量也較大。2.2 基于特征臉的方法 Turk和Pentland提出特征臉的方法，它根據(jù)一組人臉訓練圖像構造主元子空間，由于主元具有臉的形狀，也稱為特征臉(如圖 2-3所示)。識別時將測試圖像投影到主元子空間上，得到一組投影系數(shù)，和各個

7、己知的人臉圖像比較進行識別。Pentland 等報告了相當好的結果，在200個人的3000幅圖像中得到95的正確識別率，在FERET數(shù)據(jù)庫上對150幅正面人臉象只有一個誤識別。但系統(tǒng)在進行特征臉方法之前需要作大量預處理工作，如歸一化等。 圖2-3 Pentland 得到的特征臉(主特征向量) 在傳統(tǒng)特征臉的基礎上，研究者注意到特征值大的特征人臉識向量(即特征臉)并不一定是分類性能好的方向，據(jù)此發(fā)展了多種特征（子空間）選擇方法，如Peng的雙子空間方法、Weng的線性歧義分析方法、Belhumeur的 FisherFace方法等。事實上，特征臉方法是一種顯式主元分析人臉建模，一些線性自聯(lián)想、線性

8、壓縮型BP網(wǎng)則為隱式的主元分析方法。它們都是把人臉表示為一些向量的加權和，這些向量是訓練集叉積陣的主特征向量，Valetin對此作了詳細討論?？傊?，特征臉方法是一種簡單、快速、實用的基于變換系數(shù)特征的算法，但由于它在本質上依賴于訓練集和測試集圖像的灰度相關性，所以還有著很大的局限性。 52.3 局部特征分析 LFA方法 主元子空間的表示是緊湊的，特征維數(shù)大大降低，但它是非局部化的，其核函數(shù)的支集擴展在整個坐標空間中，同時它是非拓撲的，某個軸投影后鄰近的點與原圖像空間中點的鄰近性沒有任何關系，而局部性和拓撲性對模式分析和分割是理想的特性，似乎這更符合神經(jīng)信息處理的機制，因此尋找具有這種特性的表達

9、十分重要?；谶@種考慮，Atick提出基于局部特征的人臉特征提取與識別方法。這種方法在實際應用取得了很好的效果，它構成了Facelt軟件的基礎。 局部特征分析（Local Feature Analysis，LFA）是一種基于特征表示的面像識別技術，源于類似搭建積木的局部統(tǒng)計的原理。LFA 基于所有的面像(包括各種復雜的式樣)都可以從由很多不能再簡化的結構單元子集綜合而成。這些單元使用復雜的統(tǒng)計技術而形成，它們代表了整個面像，通?？缭蕉鄠€像素（在局部區(qū)域內(nèi)）并代表了普遍的面部形狀，但并不是通常意義上的面部特征。實際上，面部結構單元比面像的部位要多得多。 然而，要綜合形成一張精確逼真的面像，只需要

10、整個可用集合中很少的單元子集(1240特征單元)。要確定身份不僅僅取決于特性單元，還決定于它們的幾何結構(比如它們的相關位置)。通過這種方式，LFA 將個人的特性對應成一種復雜的數(shù)字表達方式，可以進行對比和識別?！懊婕y”編碼方式是根據(jù)臉部的本質特征和形狀來工作的，它可以抵抗光線、皮膚色調、面部毛發(fā)、發(fā)型、眼鏡、表情和姿態(tài)的變化，具有強大的可靠性，使它可以從百萬人中精確地辨認出一個人。銀晨面像識別系統(tǒng)用的就是這種方法。 2.4 基于彈性模型的方法 Lades等人針對畸變不變性的物體識別提出了動態(tài)鏈接模型（DLA）6，將物體用稀疏圖形來描述，其頂點用局部能量的多尺度描述來標記，邊則表示拓撲連接關系

11、并用幾何距離來標記，然后應用塑性圖形匹配技術來尋找最近的己知圖形。Wiscott等人在此基礎上作了改進，用FERET等圖像庫做實驗，用300幅人臉圖像和另外300幅圖像作比較，準確率達到97.3；此方法的缺點是計算量非常巨大。 Nastar將人臉圖像I(x，y)建模為可變形的3D網(wǎng)格表面(x，y，I(x, y)，從而將人臉匹配問題轉化為可變形曲面的彈性匹配問題N1。利用有限元分析的方法進行曲面變形，并根據(jù)變形的情況判斷兩張圖片是否為同一個人。這種方法的特點在于將空間(x，y)和灰度 I(x，y)放在了一個 3D 空間中同時考慮，實驗表明識別結果明顯優(yōu)于特征臉方法。 Lanitis等提出靈活表現(xiàn)

12、模型方法，通過自動定位人臉的顯著特征，將人臉編碼為 83 個模型參數(shù)，并利用辨別分析的方法進行基于形狀的人臉識別。2.5 神經(jīng)網(wǎng)絡方法 目前神經(jīng)網(wǎng)絡方法在人臉識別中的研究方興未艾。Valentin 提出一種方法，首先提取人臉的 50 個主元，然后用自相關神經(jīng)網(wǎng)絡將它映射到 5 維空間中，再用一個普通的多層感知器進行判別，對一些簡單的測試圖像效果較好；Intrator等提出了一種混合型神經(jīng)網(wǎng)絡來進行人臉識別，其中非監(jiān)督神經(jīng)網(wǎng)絡用于特征提取，而監(jiān)督神經(jīng)網(wǎng)絡用于分類。Lee等將人臉的特點用六條規(guī)則描述，然后根據(jù)這六條規(guī)則進行五官的定位，將五官之間的幾何距離輸入模糊神經(jīng)網(wǎng)絡進行識別，效果較一般的基于歐

13、氏距離的方法有較大改善；Laurence等采用卷積神經(jīng)網(wǎng)絡方法進行人臉識別，由于卷積神經(jīng)網(wǎng)絡中集成了相鄰像素之間的相關性知識，從而在一定程度上獲得了對圖像平移、旋轉和局部變形的不變性，因此得到非常理想的識別結果；Lin等提出了基于概率決策的神經(jīng)網(wǎng)絡方法(PDBNN)，其主要思想是采用虛擬(正反例)樣本進行強化和反強化學習，從而得到較為理想的概率估計結果，并采用模塊化的網(wǎng)絡結構(OCON)加快網(wǎng)絡的學習。這種方法在人臉檢測、人臉定位和人臉識別的各個步驟上都得到了較好的應用。其它研究還有：Dai等提出用Hopfield 網(wǎng)絡進行低分辨率人臉聯(lián)想與識別；Gutta等提出將 RBF 與樹型分類器結合起

14、來進行人臉識別的混合分類器模型；Phillips等人將Matching Pursuit濾波器用于人臉識別；還有人用統(tǒng)計學習理論中的支撐向量機（SVM）進行人臉分類。 7神經(jīng)網(wǎng)絡方法在人臉識別上的應用比起前述幾類方法來有一定的優(yōu)勢，因為對人臉識別的許多規(guī)律或規(guī)則進行顯性的描述是相當困難的，而神經(jīng)網(wǎng)絡方法則可以通過學習的過程獲得對這些規(guī)律和規(guī)則的隱性表達，它的適應性更強，一般也比較容易實現(xiàn)。2.6 其他方法 Brunelli等對模板匹配方法作了大量實驗，結果表明在尺度、光照、旋轉角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其他方法，但它對光照、旋轉和表情變化比較敏感，影響了它的直接使用。Goud

15、ail等人采用局部自相關性作為人臉識別的判斷依據(jù)，它具有平移不變性，在臉部表情變化時比較穩(wěn)定。在最近的一些工作中，Benarie等提出VFR的表示框架并將它用于人臉識別的工作中，Lam等人研究了不同視點下的人臉匹配和識別問題，Vetter 等人討論了由單幅人臉圖像生成其他視點的人臉圖像的可能性，Mirhosseini等則探討了多種信息融合的人臉識別方法。83 總結作為模式識別、圖像分析與理解等領域的典型研究課題，人臉識別不僅在理論上具有重要價值，而且在安全、金融等領域具有重要的應用前景，因此在學術界和產(chǎn)業(yè)界都受到了廣泛的關注，目前已經(jīng)出現(xiàn)了一些實用的商業(yè)系統(tǒng)。然而，由于圖像采集條件和人臉自身屬

16、性的變化，例如圖像采集時的光照、視角、攝像設備的變化，人臉的表情、化妝、年齡變化等，都可能使得同一人的不同照片表觀差別很大，造成識別上的困難。因此，提高人臉識別系統(tǒng)對這些變化的魯棒性成為該領域研究人員的重要目標之一。為實現(xiàn)魯棒的識別，可以從人臉建模、分類器設計等不同角度入手：前者試圖從尋求對各種外界條件導致的圖像變化具有不變性的人臉描述入手；而后者則試圖使得分類器對特征的變異有足夠的魯棒性。另外，也可以同時從兩個角度入手解決問題。在人臉識別的早期，基于表觀(appearance)的人臉識別方法往往直接采用圖像灰度作為特征進行分類或者特征選擇的基礎，如 Correlation，Eigenface

17、s，F(xiàn)isherfaces等。而近年來，對圖像灰度進行多尺度、多方向的Gabor 小波變換逐漸成為主流的思路之一，這主要是因為 Gabor 小波可以很好地模擬大腦皮層中單細胞感受野的輪廓，捕捉突出的視覺屬性，例如空間定位、方向選擇等。特別是 Gabor 小波可以提取圖像特定區(qū)域內(nèi)的多尺度、多方向空間頻率特征，像顯微鏡一樣放大灰度的變化，這樣，人臉圖像中的眼睛、鼻子和嘴以及其他一些局部特征被放大。因此，采用 Gabor 變換來處理人臉圖像，可以增強一些關鍵特征，以區(qū)分不同人臉圖像。Gabor 小波也因此在人臉識別中得到了廣泛的應用，如彈性圖匹配、基于 Gabor 特征的 Fisher 判別、基于

18、 AdaBoost的 Gabor 特征分類等。但是，由于多尺度、多方向的 Gabor 分解使得數(shù)據(jù)的維數(shù)大量增加，尤其當圖像尺寸偏大時更為嚴重，為避免維數(shù)災難問題必須進行降維。彈性圖匹配方法僅對人臉圖像中部分關鍵特征點進行Gabor 變換，并將人臉描述為以這些特征點位置為頂點、以其 Gabor 變換系數(shù)為頂點屬性、以其關鍵點位置關系為邊屬性的屬性圖，從而將人臉識別問題轉化為圖匹配問題，但該方法對特征點的選擇和配準有較高的要求。直接降維的方法是在 Gabor 變換系數(shù)下采樣，然后采用 Fisher 判別分析方法進一步提取特征，但簡單下采樣很可能造成一些重要信息的丟失。9近年來，基于局部二值模式(

19、local binary pattern,簡稱LBP)的人臉識別方法受到人們的關注，該方法來源于紋理分析領域。它首先計算圖像中每個像素與其局部鄰域點在亮度上的序關系，然后對二值序關系進行編碼形成局部二值模式，最后采用多區(qū)域直方圖作為圖像的特征描述。該方法在 FERET 人臉圖像數(shù)據(jù)庫上取得了很好的識別性能。 LBP 方法本質上提取的是圖像邊緣、角點等局部變化特征，它們對于區(qū)分不同的人臉是很重要的。但是，邊緣特征有方向性和尺度差異，角點特征也同樣有不同的尺度，或者說邊緣、角點等圖像特征的方向性和尺度包含了更多的可以區(qū)分不同人臉的細節(jié)信息。致謝： 感謝一直以來給予我指導的李劍敏老師，在這期間給老師添了不少麻煩。李老師總是在百忙之中盡量的抽出時間來給我們分析、解決研究和設計中所遇到的各種問題。謝謝所有幫助過我的人。參考文獻：1施智平，胡宏，李清勇，史忠植，段禪倫?；诩y理譜描述子的圖像檢索。北京：軟件學報，2005。2H.Zabrodsky et al. IEEE Trans.PAMI,1995,17:115411663張俊,何昕,李介谷.基于面部幾何特征點提取的人臉識別方法. 紅外與激光工程, 1999年8 月第28卷第4期4山世光.面部特征檢測與識別的研究與實現(xiàn).工