【畢業(yè)學(xué)位論文】基于瀑布型分類器的人臉檢測(cè)研究-計(jì)算機(jī)應(yīng)用技術(shù)博士論文

分類號(hào) 密級(jí) 編號(hào) 中國(guó)科學(xué)院研究生院 博士學(xué)位論文 基于瀑布型分類器的人臉檢測(cè)研究 閆勝業(yè) 指導(dǎo)教師 高文 教授 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 申請(qǐng)學(xué)位級(jí)別 工學(xué)博士 學(xué)科專業(yè)名稱 計(jì)算機(jī)應(yīng)用技術(shù) 論文提交日期 2009年4月 論文答辯日期 2009年6月 培養(yǎng)單位 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 學(xué)位授予單位 中國(guó)科學(xué)院研究生院 答辯委員會(huì)主席 盧漢清 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝 的地方外，本論文中不包含其它人已經(jīng)發(fā)表或撰寫過的研究成果。與我一 同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明 確的說明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國(guó)科學(xué)院計(jì)算技術(shù)研究所可以保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交本論文的復(fù)印件和電子文檔，允許本論 文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢 索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。 ） 作者簽名： 導(dǎo)師簽名： 日期： 要 人臉檢測(cè)肩負(fù)著在一幅輸入圖像中搜索并確定 人臉是否存在以及如果存在，確定人臉位置和大小的任務(wù)。本文針對(duì)當(dāng)前主流 的基于統(tǒng)計(jì)學(xué)習(xí)和瀑布型分類器檢測(cè)框架的人臉檢測(cè)方法，在收集到更大規(guī)模樣本集的 基礎(chǔ)上，重新對(duì)當(dāng)前主流的瀑布型分類器檢測(cè)和訓(xùn)練技術(shù)進(jìn)行了系統(tǒng)分析。為了構(gòu)建面 對(duì)更加復(fù)雜樣本時(shí)速度更快、精度更準(zhǔn)的檢測(cè)器，對(duì)主流瀑布型分類器訓(xùn)練和使用方法 進(jìn)行一系列的改進(jìn)。這些方法可以概括為三個(gè)方面：降低瀑布型分類器的訓(xùn)練負(fù)擔(dān)并提 高檢測(cè)精度，提高瀑布型分類器的檢測(cè)速度，優(yōu)化瀑布型分類器的速度 精度的折中調(diào)節(jié)算法。 首先，為了解決存在大規(guī)模訓(xùn)練人臉樣本集和 非人臉樣本集的情況下，瀑布型分類器訓(xùn)練所需要的時(shí)間代價(jià)過高的問題，提 出了訓(xùn)練過程中對(duì)正例樣本和反例樣本交叉自舉的矩陣式學(xué)習(xí)算法。簡(jiǎn)單說來，對(duì)于瀑 布式分類器，矩陣式學(xué)習(xí)并不僅在相鄰的子分類器間對(duì)巨大的反例樣本集進(jìn)行“自舉” ，在每個(gè)子分類器的學(xué)習(xí)過程中，對(duì)大規(guī)模正例樣本集也進(jìn)行自舉以降低學(xué)習(xí)中直接使用 的訓(xùn)練正例樣本集大小。當(dāng)然，矩陣式學(xué)習(xí)并不只是簡(jiǎn)單的對(duì)正例樣本和反例樣本進(jìn)行 自舉，針對(duì)矩陣式學(xué)習(xí)中的交叉自舉，進(jìn)一步提出了累加式樣本自舉方法和特征繼承技 術(shù)。在自舉過程中，相鄰的子分類器的共享信息被用來進(jìn)行更加快速的學(xué)習(xí)，這些共享 信息包括兩個(gè)方面，分類器中已經(jīng)學(xué)到的特征和已經(jīng)自舉得到的樣本。 其次，提出一種更加高效的非人臉窗口預(yù) 排除方法，進(jìn)一步提高了人臉檢測(cè)的速度，這包括了一種新的特征局部組合二值 特征，以及相應(yīng)的以特征為中心的瀑布型檢測(cè)算法。在提出的非人臉窗口預(yù)排除方法中 ，特征計(jì)算方式更加簡(jiǎn)單，避免可能重復(fù)的特征計(jì)算。局部組合二值特征的基本單元是 二值特征，二值特征是圖像上相鄰區(qū)域間灰度差異的二值信息，即像 征那樣的多個(gè)區(qū)域間對(duì)比的更“黑”更“白”關(guān)系。局部組合二值特征是組合二值特征的一個(gè)有效 子集，而組合二值特征表示的是多個(gè)不同二值特征值共生的信息。在局部組合二值特征 中，組合的方式被限制在類似局部二值模式組合像素點(diǎn)時(shí)的方式，形成局部組合二值特 征。局部組合二值特征數(shù)目少，描述能力強(qiáng)，被用來進(jìn)行預(yù)分類器的學(xué)習(xí)。預(yù)分類器采 用了一種類似“注意機(jī)制”的以特征為中心的瀑布型分類器運(yùn)行技術(shù)，以特征為中心的 運(yùn)行機(jī)制首先針對(duì)某個(gè)顯著特征模板對(duì)圖像每個(gè)位置計(jì)算出特征值，構(gòu)成特征圖像，然 后在窮舉窗口上應(yīng)用學(xué)習(xí)得到的本特征模板在各位置的統(tǒng)計(jì)信息，并進(jìn)一步判斷窗口為 人臉或者非人臉。無論是賴以計(jì)算的特征模板還是窗口內(nèi)特征模板的統(tǒng)計(jì)信息都使用學(xué) 習(xí)的方法得到，具體來說，最終采用的模板是多個(gè)候選得到的最優(yōu)模板，統(tǒng)計(jì)信息是 習(xí)得到的瀑布型分類器。 最后，提出一種基于搜索的瀑布型分類器精度 速度的折中算法?；谝粋€(gè)已有的布型分類器，提出的方法能夠構(gòu)建多個(gè)速 度標(biāo)準(zhǔn)下的瀑布型分類器，使得人基于瀑布型分類器的人臉檢測(cè)研究： 摘要 獲得更優(yōu)的分類性能。構(gòu)建算法對(duì)構(gòu)成瀑布型分類器的強(qiáng)分類器閾值空間進(jìn)行搜索， 以獲得計(jì)算代價(jià)更優(yōu)的瀑布型分類器。為了降低搜索的計(jì)算代價(jià)，搜索開始于正例分類 正確率為百分之百的瀑布型分類器，以后每一輪的運(yùn)行在當(dāng)前瀑布型分類器基礎(chǔ)上，搜 索進(jìn)一步損失小部分正例分類正確率條件下所有可能的瀑布型分類器，并獲得當(dāng)前計(jì)算 代價(jià)最小的瀑布型分類器。然后，在當(dāng)前獲得的瀑布型分類器基礎(chǔ)上，迭代運(yùn)行，直到 獲得的瀑布型分類器正例分類正確率達(dá)到用戶指定的正例分類正確率。 本文提出的方法在包括正面人臉檢測(cè)和常用的 多姿態(tài)范圍內(nèi)的人臉檢測(cè)問題進(jìn)行了實(shí)驗(yàn)，與別的已經(jīng)公開發(fā)表過的相關(guān)工作 相比，在已公開的標(biāo)準(zhǔn)人臉測(cè)試集上的實(shí)驗(yàn)結(jié)果表明，本文算法在精度方面具有優(yōu)勢(shì)，同時(shí)，在一幅 320 240 的圖像上，多姿態(tài)人臉檢測(cè)可以達(dá)到近實(shí)時(shí)的應(yīng)用需求。 關(guān)鍵詞 ：人臉檢測(cè)；瀑布型分類器；二值 特征；大規(guī)模樣本集；自舉 y in an or if of an at we be of to In as at of we of To of of we a as an by SL in a an is to SL by we a is a is to a of a as SL is to of In a of is to to to of is a is to an is to an we by to on we to of is to We to To is 于瀑布型分類器的人臉檢測(cè)研究： . In of is a of of is is a is to we in of of in in of of To on on of or by as to At on a on 目 錄 摘 要. I 目 錄.目錄.目錄.一章 引言. 1 臉檢測(cè)的研究背景、內(nèi)容及意義 . 1 臉檢測(cè)面臨的困難 . 3 臉檢測(cè)的研究現(xiàn)狀 . 5 文研究問題的提出 . 18 文的主要貢獻(xiàn)及章節(jié)安排 . 19 第二章 人臉檢測(cè)數(shù)據(jù)集制備及檢測(cè)性能評(píng)估. 23 據(jù)集收集 . 23 臉樣本的制作 . 24 臉樣本對(duì)齊 . 24 臉樣本生成 . 26 臉樣本的人工凈化 . 31 例數(shù)據(jù)集 . 34 臉檢測(cè)算法的性能評(píng)估 . 36 結(jié) . 37 第三章 面向大規(guī)模訓(xùn)練樣本集的矩陣結(jié)構(gòu)瀑布型分類器學(xué)習(xí). 39 布型分類器檢測(cè)框架基礎(chǔ) . 39 向大規(guī)模訓(xùn)練樣本的矩陣式學(xué)習(xí) . 40 舉正例樣本 . 42 加式樣本自舉方法 . 45 論：另一種計(jì)算復(fù)雜度高的算法 . 45 征繼承 . 47 驗(yàn) . 48 驗(yàn)設(shè)置 . 48 基于瀑布型分類器的人臉檢測(cè)研究： 目錄 面人臉檢測(cè) . 49 姿態(tài)人臉檢測(cè) . 52 結(jié) . 53 第四章 局部組合二值特征及快速預(yù)處理分類器. 61 粗到細(xì)的人臉檢測(cè)系統(tǒng)框架 . 61 部組合二值特征 . 63 值 征 . 63 合二值 征 . 64 部組合二值特征 . 65 用局部組合二值特征進(jìn)行人臉檢測(cè) . 66 特征為中心的檢測(cè)方法 . 66 特征為中心的瀑布型預(yù)分類器 . 69 窗口為中心的深入處理分類器 . 70 姿態(tài)人臉檢測(cè)上的應(yīng)用 . 71 驗(yàn)配置和實(shí)驗(yàn)結(jié)果 . 71 驗(yàn)配置 . 72 部組合二值特征在正面人臉上的分辨能力調(diào)查 . 72 面人臉檢測(cè) . 73 姿態(tài)人臉檢測(cè)器 . 75 結(jié) . 76 第五章 基于搜索的瀑布型分類器構(gòu)建方法. 83 布型分類器中的特征 . 84 度指定條件下瀑布型分類器速度優(yōu)化 . 86 布型分類器的計(jì)算復(fù)雜度 . 86 同檢測(cè)精度計(jì)算復(fù)雜度優(yōu)化 . 87 展：基于每個(gè)弱分類器的瀑布型分類器調(diào)節(jié)算法 . 90 例樣本集重采樣 . 91 驗(yàn) . 91 入瀑布型分類器 . 91 面人臉檢測(cè) . 91 姿態(tài)人臉檢測(cè) . 92 結(jié) . 93 第六章 人臉檢測(cè)原型及系統(tǒng)實(shí)現(xiàn). 95 態(tài)鏈接庫 塊實(shí)現(xiàn) . 95 基于瀑布型分類器的人臉檢測(cè)研究： 目錄 姿態(tài)人臉檢測(cè)視頻演示系統(tǒng) . 96 結(jié) . 97 第七章 總結(jié)與展望. 99 結(jié) . 99 望 . 101 參考文獻(xiàn). 103 致 謝. i 作者簡(jiǎn)介. 臉檢測(cè)在相關(guān)研究學(xué)科中的地位 . 2 圖 臉檢測(cè)結(jié)果圖示 . 3 圖 然圖片中的“疑似人臉”示例 . 4 圖 臉檢測(cè)中常用的金字塔式搜索 . 5 圖 于“窮舉窗口搜索”策略的人臉檢測(cè)系統(tǒng)流程圖 . 6 圖 人建立的人臉和非人臉簇 . 8 圖 人建立的人臉檢測(cè)框架 . 9 圖 人提出的 征 . 10 圖 分圖及其矩形內(nèi)像素灰度和的快速計(jì)算示意圖 . 10 圖 人提出的擴(kuò)展 征 . 提出的旋轉(zhuǎn) 征 . 等提出的擴(kuò)展 征 武 05. 12 圖 i 等提出的擴(kuò)展 征 . 12 圖 提出的擴(kuò)展 征 . 12 圖 分類器的類型 (a) 刀切式閾值型 (b) 均勻劃分的分段信度函數(shù) (c)非等區(qū)間閾值型函數(shù) . 14 圖 1. 16 瀑布式分類器 . 17 圖 入式瀑布型分類器 . 17 圖 文使用的 15 種多姿態(tài)人臉類別 . 24 圖 同研究者使用的正面人臉訓(xùn)練樣本實(shí)例 . 25 圖 文使用的正面樣本剪切方案 . 25 圖 面豎直和人臉樣本示例 . 27 圖 面左傾斜人臉樣本示例 . 27 基于瀑布型分類器的人臉檢測(cè)研究： 圖目錄 面右傾斜人臉樣本示例 . 27 圖 半側(cè)豎直人臉樣本示例 . 28 圖 半側(cè)左傾斜人臉樣本示例 . 28 圖 半側(cè)右傾斜人臉樣本示例 . 28 圖 半側(cè)豎直人臉樣本示例 . 28 圖 半側(cè)左傾斜人臉樣本示例 . 29 圖 半側(cè)右傾斜人臉樣本示例 . 29 圖 全側(cè)豎直人臉樣本示例 . 29 圖 全側(cè)左傾斜人臉樣本示例 . 29 圖 全側(cè)傾斜人臉樣本示例 . 30 圖 全側(cè)豎直人臉樣本示例 . 30 圖 全側(cè)左傾斜人臉樣本示例 . 30 圖 全側(cè)右傾斜人臉樣本示例 . 30 圖 面人臉樣本集中不期望出現(xiàn)的和期望出現(xiàn)的一些樣本 . 31 圖 工凈化樣本工具之打開文件 . 32 圖 工凈化樣本工具之直方圖均衡化顯示按鈕 . 33 圖 工凈化樣本工具之直方圖均衡化顯示 . 3