表情識別技術(shù)綜述分析

1、CENTRAL SOUTH UNIVERSITY腦與認(rèn)知科學(xué)調(diào)研報告題 目人類表情識別技術(shù)學(xué)生姓名何偉峰學(xué)號0918140119專業(yè)班級智能科學(xué)與技術(shù)1401完成時間2015/10/27目錄人類表情識別技術(shù)一摘要：2二 前言：2三 表情識別2人臉檢測與定位2圖像預(yù)處理3面部表情特征的提取方法3表情分類與識別4四 應(yīng)用前景4五 面部表情識別的國內(nèi)外研究情況4六 目前存在的難點和問題5參考文獻(xiàn)：5人臉表情識別技術(shù)綜述一摘要：一直以來，表情是人類引以為傲的東西，這是我們和機(jī)器的一種本質(zhì)上的區(qū)別。隨著計算機(jī)的發(fā)展，我們更期盼人機(jī)之間的溝通交流，尤其是一種帶有感情的溝通交流。計算機(jī)在情感方面的成長經(jīng)歷也

2、類似于我們每個人的成長過程以觀察和辨別情感作為最終自然，親切，生動的交互的開始。在物聯(lián)網(wǎng)技術(shù)發(fā)展的今天，面部識別已經(jīng)不是什么太大的技術(shù)性問題，而對于人類表情識別來說，仍舊是一片空白。我們希望有一天機(jī)器可以讀懂我們的語言、知悉我們的表情，更好的為我們服務(wù)，或許這才是真正的物聯(lián)網(wǎng)時代。表情識別作為一種人機(jī)交互的方式，成為研究的熱點?；趯Ρ砬樽R別的基本分析，文章重點介紹了面部表情識別的國內(nèi)外研究情況和面部表情特征的提取方法和他的應(yīng)用前景。 關(guān)鍵詞：表情識別；特征提??；表情分類；應(yīng)用前景。二 前言：進(jìn)入21世紀(jì)，隨著計算機(jī)技術(shù)和人工智能技術(shù)及其相關(guān)學(xué)科的迅猛發(fā)展，整個社會的自動化程度不斷提高，人們對

3、類似于人和人交流方式的人機(jī)交互的需求日益強(qiáng)烈。計算機(jī)和機(jī)器人如果能夠像人類那樣具有理解和表達(dá)情感的能力，將從根本上改變?nèi)伺c計算機(jī)之間的關(guān)系，使計算機(jī)能夠更好地為人類服務(wù)。表情識別是情感理解的基礎(chǔ)，是計算機(jī)理解人們情感的前提，也是人們探索和理解智能的有效途徑。如果實現(xiàn)計算機(jī)對人臉表情的理解與識別將從根本上改變?nèi)伺c計算機(jī)的關(guān)系，這將對未來人機(jī)交互領(lǐng)域產(chǎn)生重大的意義。三 表情識別人臉表情識別系統(tǒng)主要包括人臉檢測與定位、圖像預(yù)處理、人臉表情特征提取和人臉表情分類識別。人臉檢測與定位人臉檢測與定位表情特征提取表情分類與識別圖像預(yù)處理 人臉檢測與定位可以基于Haar特征的特征提取方法和基于Adaboost

4、的分類方法進(jìn)行人臉檢測與定位 圖像預(yù)處理由于受圖像采集硬件條件或采集環(huán)境條件的影響，采集到的圖像會存在對比度不高、亮度不夠、圖片大小不定等問題，這些問題會對人臉識別產(chǎn)生影響，為了減少這些因素所產(chǎn)生的影響，對圖像進(jìn)行適當(dāng)?shù)念A(yù)處理是必不可少的。常用的圖像預(yù)處理方法包括幾何歸一化，亮度歸一化，直方圖均衡化，能量歸一化和圖像分割。 面部表情特征的提取方法 表情特征提取是表情識別系統(tǒng)中最重要的部分，有效的表情特征提取工作將使識別的性能大大提高，當(dāng)前的研究工作也大部分是針對表情特征的提取。目前為止的人臉面部表情特征提取方法大都是從人臉識別的特征提取方法別演變而來，所用到的識別特征主要有:灰度特征、運動特征

5、和頻率特征三種閻?；叶忍卣魇菑谋砬閳D像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據(jù)。運動特征利用了不同表情情況下人臉的主要表情點的運動信息來進(jìn)行識別。頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。在具體的表情識別方法上，分類方向主要有三個:整體識別法和局部識別法、形變提取法和運動提取法、幾何特征法和容貌特征法。整體識別法中，無論是從臉部的變形出發(fā)還是從臉部的運動出發(fā)，都是將表情人臉作為一個整體來分析，找出各種表情下的圖像差別。其中典型的方法有:基于特征臉的主成分分析(prineipalComponentAnalysis，pCA)法、獨立分量分析法(In

6、dendent ComPonent Analysis，ICA)、Fisher線性判別法(Fishers Linear Discriminants，F(xiàn)LD)、局部特征分析 (LoealFeatureAnalysis，LFA)、Fishe誕動法(Fisherctions)、隱馬爾科夫模型法(HideMarkovModel，HMM)，聚類分析法和流形法。局部識別法就是將人臉的各個部位在識別時分開，也就是說各個部位的重要性是不一樣。比如說在表情識別時，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運動表示了豐富的面部表情。相比較而言，鼻子的運動就較少，這樣在識別時就可以盡量少的對鼻子進(jìn)行分析，能加快

7、速度和提高準(zhǔn)確性。其中最典型的方法就是臉部運動編碼分析法(FacialAetionseodesystem，F(xiàn)Aes)和MPEe一4中的臉部運動參數(shù)法其他的還有局部主分量分析法 (LocalPCA)、Gabor小波法和神經(jīng)網(wǎng)絡(luò)法。形變提取法是根據(jù)人臉在表達(dá)各種表情時的各個部位的變形情況來識別的，主要的方法有:主分量分析法(PeA)、o汕or小波、運動模板法 (Aetivesh叩 eModel，AsM)6和點分布模型(PointDistributionModel，PDM)法。運動法是根據(jù)人臉在表達(dá)各種特定的表情時一些特定的特征部位都會作相應(yīng)的運動這一原理來識別的。典型的識別方法有:光流法 (OPt

8、icalFlow)78和MPEG一4中的臉部運動參數(shù)法 (FaceAnimationparameterFAp)。 幾何特征法是根據(jù)人的面部的各個部分的形狀和位置(包括嘴、眼睛、眉毛、鼻子)來提取特征矢量，這個特征矢量來代表人臉的幾何特征。根據(jù)這個特征矢量的不同就可以識別不同的表情。重要的方法是:基于運動單元(AU)的主分量分析法。 在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor小波。當(dāng)然，這三個發(fā)展方向不是嚴(yán)格獨立，它們只是從不同側(cè)面來提取所需要的表情特征，都只是提供了一種分析表情的思路，相互聯(lián)系，相互影響。有很多種方法是介于兩者甚至是三

9、者之間。例如說面部運動編碼系統(tǒng)法是局部法的一種，同時也是從臉部運動上考慮的等等。所以，接下來的分析將不從這三個方向上去說明，而是直接簡單描述各種主要的算法。 流形學(xué)習(xí)算法在實現(xiàn)降維的過程中，較好的保留了本樣本間的非線性結(jié)構(gòu)，這對于靜態(tài)表情圖像和序列表情圖像的分析都有獨特的優(yōu)勢。但是，用流形學(xué)習(xí)算法來處理表情特征有個問題需要解決：意思大多數(shù)流形學(xué)習(xí)算法不像線性降維法那樣，可從訓(xùn)練集中得到適用于待測樣本的投影向量，只能以批處理的方式進(jìn)行。為了得到某些待測樣本的流形嵌入向量，必須要將該樣本加入其中。表情分類與識別在人臉表情特征提取階段，要準(zhǔn)確提取出人類表情圖像中最能有效表征表情信息的特征，表情識別的

10、準(zhǔn)確與否講直接影響后續(xù)的表情分類結(jié)果。在表情分類識別階段根據(jù)表情特征提取階段提取的表情特征進(jìn)行分類，分類方法的好壞及分類結(jié)果的準(zhǔn)確程度也將影響表情分類結(jié)果。四 應(yīng)用前景.表情檢測防疲勞駕駛百度移動部門技術(shù)工程師整合百度“表情識別 LBS 百度云”等基礎(chǔ)技術(shù)，研發(fā)出一款提示“疲勞駕駛”的解決方案，可以對接在汽車開放平臺上使用，不過目前尚在概念階段。通過用攝像頭實時捕捉駕駛者的面部表情特征，解析表情背后的人物狀態(tài)。一旦發(fā)現(xiàn)司機(jī)有可能疲勞駕駛（閉眼超時、眉頭下垂、睜眼被動等），后臺技術(shù)會做出判斷，觸發(fā)啟動一系列干預(yù)手段：語音播報提示，播放嘹亮音樂為駕駛者提神；發(fā)送短信給駕駛者事先設(shè)定的緊急聯(lián)系人，請

11、求幫助喚醒或解救（有可能司機(jī)的異常狀態(tài)實為心臟病等突發(fā)疾病導(dǎo)致）；LBS技術(shù)獲取車主地理位置，以“云推送”方式通知周邊車輛注意避讓。五 面部表情識別的國內(nèi)外研究情況面部表情識別技術(shù)是近幾十年來才逐漸發(fā)展起來的，由于面部表情的多樣性和復(fù)雜性，并且涉及生理學(xué)及心理學(xué)，表情識別具有較大的難度，因此，與其它生物識別技術(shù)如指紋識別、虹膜識別、人臉識別等相比，發(fā)展相對較慢，應(yīng)用還不廣泛。但是表情識別對于人機(jī)交互卻有重要的價值，因此國內(nèi)外很多研究機(jī)構(gòu)及學(xué)者致力于這方面的研究，并己經(jīng)取得了一定的成果。人臉面部表情運動的描述方法-人臉運動編碼系統(tǒng)FACS (Facial Action Coding System

12、)，根據(jù)面部肌肉的類型和運動特征定義了基本形變單元AU（Action Unit），人臉面部的各種表情最終能分解對應(yīng)到各個AU上來，分析表情特征信息，就是分析面部AU的變化情況 FACS有兩個主要弱點：1.運動單元是純粹的局部化的空間模板；2.沒有時間描述信息，只是一個啟發(fā)式信息六 目前存在的難點和問題 (1) 基于Ekinan分類的六種基本表情和中性表情不足以描述人類復(fù)雜多變的真實表情，如何找到更精確的描述方式是目前魚待解決的問題；(2) 多特征融合和多分類器融合的方法也是改善識別性能的一個手段。 (3) 由于人臉為非剛體性，人臉之間的相似性以及各種變化因素的影響，準(zhǔn)確的人臉識別仍較

13、困難。為了滿足自動人臉識別技術(shù)具有實時要求，在必要時需要研究人臉與指紋、虹膜、語音等識別技術(shù)的融合方法。 (4) 3D形變模型可以處理多種變化因素，具有很好的發(fā)展前景。已有研究也表明，對各種變化因素采用模擬或補(bǔ)償?shù)姆椒ň哂休^好的效果。三維人臉識別算法的選取還處于探索階段，需要在原有傳統(tǒng)識別算法的基礎(chǔ)上改進(jìn)和創(chuàng)新。 (5) 已有人臉表情數(shù)據(jù)庫或自建人臉表情數(shù)據(jù)庫往往受約束條件較多，如背景單一、沒有各種飾物的干擾、人臉不發(fā)生旋轉(zhuǎn)或只有微小旋轉(zhuǎn)、夸張化的面部表情等。 用計算機(jī)來分析識別面部表情是一個非常復(fù)雜的問題，準(zhǔn)確的人臉表情識別仍然存在諸多困難。參考文獻(xiàn)：l張一鳴。人臉表情識別。遼寧:大連理工大學(xué)碩士學(xué)位論文，2006，12。2劉芳。應(yīng)用圖像處理技術(shù)的人臉表情識別研究。北京:北京科技大學(xué)碩士學(xué)位論文，2003，06。3王志良，劉芳，王莉?；谟嬎銠C(jī)視覺的表情識別技術(shù)綜述J