模式識別讀書報告

1、精品感謝下載載模式識別研讀報告學院：*姓名：*學號：*Support Vector論文出處：HongjunJiaandAleixM.Martinez. Proc. of CVPR,MachinesinFaceRecognitionwithOcclusions2009.基于SVM的閉塞人臉識別的研讀報告1、問題提出：作者提出支撐向量機（SVM）在人臉識別中是非常有用技術，但是作為定義樣本的特征向量丟失時，SVM不起作用。這篇文章提到，當人臉部分發(fā)生遮擋時，特征向量的數(shù)據(jù)就會丟失。支撐向量機的目標就是找到兩類之間的最大空白區(qū)域。由于不知道采取哪個子空間的測試矢量，這與最小化類超平面和子空間之間的重

2、疊區(qū)域是對等的。然而得到的解與獲得的使空白區(qū)域最大化的可視數(shù)據(jù)存在矛盾，為了解決這個問題，作者定義一個標準，最大化地減少重疊概率，并且有效解決優(yōu)化問題。作者還用豐富的實驗，證該方法在溫和條件下，能夠保證全局最小誤差。2、傳統(tǒng)人臉識別技術的缺陷：作者提出，基于外觀為基礎的人臉識別技術在計算機算法里已經(jīng)相當成功。支撐向量機（SVM）已經(jīng)作為一種將圖像的像素值重新形成向量，然后應用于因為在這種情況下，被遮擋的尺寸是未知的。作者提出了目前為止解決面部遮擋問題的方法并對他人的方法進行評價。即用沒有遮擋的臉部來學習臉部的外觀表示，當需要識別有遮擋的臉部時，僅識別可見的共同部分。這種方法可以通過子空間技術和

3、稀疏表達來實現(xiàn)。但是這種方法不能從閉塞的圖像中處理模型重建。為了說明情況，作者展示了3個場景中人臉識別應允的真實圖像。組1:研究最多的，即非閉塞面孔做訓練，閉塞圖像做測試。組2:閉塞和非閉塞面孔作為訓練。組3:僅僅是閉塞面孔作為訓練。作者的方法基于組3,即用閉塞面孔作為訓練3、作者算法的提由：這篇文章，作者推導出能適用以上3種情況的SVM判別準則。作者的方法與經(jīng)典SVM不同之處在于經(jīng)典的標準SVM在以上3中情況都不能被適用。因為經(jīng)典SVM假設所有特征可見。作者推導準則對缺失成分的樣本和測試特征向量適用，為了區(qū)分經(jīng)典SVM,作者命名為偏支撐向量機（PSVM）。與經(jīng)典SVM類似，PSVM的目標也是

4、盡可能區(qū)分超平面中兩類樣本。與傳統(tǒng)SVM不同的是PSVM會受到不完整數(shù)據(jù)的限制。在作者提出的PSVM中，作者將全部缺失訓練樣本的所有可能值作為特征空間中的一個映射空間，以此來設計使得仿射空間和分離平面重疊概率最小的判別準則。為了實現(xiàn)模型，作者將仿射空間和超平面之間的角度公式化。在溫和條件下，目標函數(shù)具有全局最優(yōu)解，前提是判別準則所定義的凸區(qū)域靠近原點。3.1作者算法的詳細過程：為了突出自己的算法，作者先簡單引述經(jīng)典SVM算法，并說明經(jīng)典SVM的不足，經(jīng)典SVM的約束條件為：1nmin-|w|2+Cw&b1一L=1納(wGib)21-8，i=1一兒,公式1作者指出，當一些特征丟失時，有些距離無法

5、計算，一種解決的辦法就是在使用SVM之前填補這些空白數(shù)據(jù)。然而由于這些數(shù)據(jù)無知，如果填補錯誤將導致更壞的結果。作者的思想就是將這些缺失的數(shù)據(jù)的所有可能情況作為一個單元，并能在映射空間中正確分類。這意味著超平面與所有的不完整數(shù)據(jù)組成的映射空問平行。/jAFigure 2. ClassicalSVMsolutionsfordifferent(potential)fillingins*pi,palandqijqsareinclassesIand2,respectively.Theincomplciefeaturevectorp：j=(3,*)Teclass1.為了說明以上觀點，作者用圖2進行說明，加

6、入的P3向量有一個數(shù)值丟失,丟失的數(shù)值可能是p31,p32,p33,對于經(jīng)典SVM,每個值都會給一個超平面。然而我們發(fā)現(xiàn)，任何一個給出的超平面都無法正確分類。為解決以上問題，作者側重于在概率條件下對正確部分數(shù)據(jù)進行分類。超平面和映射空間之間的夾角：特征向量所缺失的元素定義在映射空間中，在映射空間中能給正確分類的超平面概率依賴于：1、映射空間與超平面的關系；2、缺失元素分類結果(a)(b)Figure 3. TheProbabilityofCorrectClassification(PCC)ofahy-pcrplanc-(a)AssumingaGaussiandistributionof5,(b

7、)theanglebetweenSandhisproportionaltothedistanced(文:qo).作者用圖3說明，如果超平面和映射空間不平行，映射空間將被分為S1,S2,缺失的可能值在S1中會被正確歸類，而在S2中則錯誤歸類。因此可以計算在映射空間S中正確分類的超平面概率為：PCC區(qū)S)=p(q)4公式2qS.p(q)概率密度函數(shù)；基于上述模型，目標就是最小化類中樣本最有可能值間的重疊概率，阻止超平面割裂丟失項的值。為了計算概率，作者假設樣本數(shù)據(jù)服從高斯分布，P(q)CN(X,o)。最大化PCC等同于最大化D(X,Q0)。注意到，固定的樣本空間，超平面和映射子空間S的夾角9(S,

8、L)與D(X,Q0)成反比關系，因此9(S,L)與X向量丟失元素的可能值相關。目標函數(shù):為了解決數(shù)據(jù)不完整問題，作者先為每一個樣本向量定義閉塞遮掩GX”,如果中的特征被遮掩，則為0,否則為1。映射空間由所有不完整的樣本組成，超平面L區(qū)分兩類由約束：公式3wTx=儲wherew=(wj,.,力?)丁映射空間和超平面L之間的夾角9(,L)由下式給出:cosO(Sf/)=cos8(S；,w)=公式4將所有的夾角取權重和:,為權重值，當不完整時取正，否則為0o為了獲取最大可能的PCC,E?=i Iw?I /Mil應該最大化。類似經(jīng)典SVM算法，作者給出解模型：max-r+A)Kj-3|w|一|w|1=

9、15上l/i(WTX)1,，=17i%公式5其中K0是調(diào)整參數(shù)。在超平面的性能與不完整數(shù)據(jù)的正確分類間起到折中作用。以下的問題就是解公式5的問題了，由于公式5非線性，非二次，因此文章中對公式5進行變換:maxWl+KKd|w，|2ll|w|P公式6yj(wrxj6)1,ilj.得到以上解模型后，就是最優(yōu)化過程。作者分別討論了線性可分情況可非線性可分情況。1、線性可分情況:maxw.6%X；b)1,，=1.一.彳?,公式7通過公式7,可以解決線性情況問題。b值對凸狀區(qū)域無影響，因此分析中作者專注于Wo雖然W對目標函數(shù)是非凸的，但是利用W仍可以進一步優(yōu)化，假設1,2，有12,r1則:i工3火媼Wl

10、i+23(3-3(51+乙寧.=WEL嗎匯空嗎上公式表明，目標函數(shù)是經(jīng)過原點且單調(diào)遞增的。為了最大化目標函數(shù)的邊界下限，作者加入一個條件約束:I。+3%蛙”之1吟)之，口3(7%)時wl這樣就演變成問題：max7(9)Ed勺qp(7-Ui)wfLi=i這樣得到的目標函數(shù)和約束就成了凸規(guī)劃問題，保證了有全局最優(yōu)解，即:Jmax70=maxui,.一),(10是方程9的解。非線性可分問題求解：在分類問題中，大多數(shù)問題是非線性問題。在這種情況下，將松弛變量=|小，和調(diào)整參數(shù)co加入到公式6中，由于不完整的數(shù)據(jù)目前沒被正確分類，因此要根據(jù)松弛變量的值來調(diào)整角度權值，具體如下：maxi+K E 呂g(i

11、nc空E二ly, (wrXi - fe) 1 3 芯 0, i = 1,., n,由于sgn函數(shù)并不連續(xù)，作者通過一個價值函數(shù)進行優(yōu)化:maxW ,6s.t.ren1+K Efi|w|a 1 -品總 0.2 = 1,這樣就得到了作者的PSVM算法，模型描述如下:maxs.t.B 22i=i %加、丁七一 b)21 一&花之0, = 1公式11公式12(14)利用經(jīng)典SVM的解作為初始值，再進行迭代運算，就可以得到模型中有關W和的解。若固定，9(川、里可以像線性可分情況一樣得到最大化的解。若W固定，g(w,門就是一個簡單的凸規(guī)劃問題。至此作者已經(jīng)得到線性與非線性情況的模型解，可以用于對測試特征向

12、量分類。對于不完整的圖像，還需要去知道值的概率，為此作者要對數(shù)據(jù)進行重建。對于一幅測試圖像，用1=網(wǎng).J%去描述圖像所缺失的部分，表示M矩陣的第j行，有n個值，因此重建的特征模板L就有2種情況。假設可以對特征進行重建，那么可以分成2部分H不也l,H為測試圖像的觀察特征，ni為掩埋特征。這樣權值j*可以通過公式15求得。argmin，(15)(叫云j：怎JI將求得的權值去估計模板中丟失的部分04、實驗部分:為了展示PSVM算法，作者選取了既有人工合成遮掩和實際遮掩的人臉圖像作為測試，測試圖像來源AR人臉數(shù)據(jù)庫和FRGC數(shù)據(jù)庫。在實驗中，控制參數(shù)K均為1。遮擋部分，從獨立的人臉圖像中通過膚色檢測重

13、建。對于人工合成遮掩，直接在臉部打上一塊黑方塊，并且設置黑方塊的不同尺寸，測試在各種表情下的分類準確度，作者給出的結果如圖5顯示。100IOW：Jr：i9+12工I?曾第I一十二;190曲片m仔“、i.二-j_一g加T-FfcGlhT-FftGG3,一j-.(E50:T1j。槨3x3tiv6黯SFigure：5.ClassificationaccuracywithsyntheticocclusionsontheARdatabaseandtheFRGCddia-set.作者的實驗還將PSVM算法與他人的算法比較，結果顯示PSVM算法比他人的算法無論是在無遮掩還是有遮掩情況下都具有優(yōu)勢。當有這遮掩

14、時，優(yōu)勢更大Tniijuis覺tRstinSclPSVM引1kM的qtfl隔9B5,7_/ri9M打7口也r.e/ElK8282.0山小工渣內(nèi)Idl：5樂8520用力S3,575.5TableLExperimentalre&ultK(recognitionrateinpercentages)wiihavaiictyoftrainingandlestingsets.Ironing：力lastingSttPSVM閨NNX歸卬%.Or阻。145.口79.0k/7*3,47LC31,050,D他用地0P7工口31.7159.7kM58.747320332.7kJ57.0r55.C25.529.U曲，1

15、76231.356.5加再1務耳95.04H.5S3.DTable2.Ex.perinicrikdresults(rccognilioniilcinperccnlagcs)withincompletedatainthetrainingset.文章作者最后總結了自己的算法，認為改進的SVM算法對有遮掩的訓練樣本和測試樣本都是有效的，并且與參考文獻中其他人的算法相比，PSVM的識別準確率都要高。5研讀總結：這篇文章，作者的算法主要是針對丟失了部分數(shù)據(jù)的特征向量的分類問題。文章開頭，作者提出傳統(tǒng)SVM算法在缺失數(shù)據(jù)的特征向量中不起作用。為了解決這個不足，作者提出將全部缺失訓練樣本的所有可能值作為特征空間中的一個映射空間，以此來設計使得仿射空間和分離平面重疊概率最小的判別函數(shù)。然后作者給出一個概率模型，并結合SVM算法對模型進行優(yōu)化