三維人臉采集及預(yù)處理經(jīng)驗(yàn)總結(jié),司法鑒定論文

三維人臉采集及預(yù)處理經(jīng)驗(yàn)總結(jié),司法鑒定論文隨著光學(xué)三維傳感技術(shù)的快速發(fā)展，3D掃描被越來越廣泛的應(yīng)用于逆向工程、工業(yè)設(shè)計(jì)、地貌測(cè)繪、醫(yī)學(xué)影像、生物信息以及社會(huì)文化活動(dòng)等眾多領(lǐng)域。同時(shí)，以安防應(yīng)用為目的的三維人臉特征分析與辨別也越來越遭到重視。對(duì)人臉進(jìn)行三維圖像重構(gòu)和研究可彌補(bǔ)二維人臉圖像不能解決的多姿態(tài)多角度等問題，而建立大規(guī)模的三維人臉圖像庫對(duì)三維人臉數(shù)據(jù)的分析研究、模型訓(xùn)練、算法性能比擬測(cè)試是必不可少的基礎(chǔ)數(shù)據(jù)資源[1].因而，建立高精度的三維人臉圖像庫對(duì)于安防視頻圖像中的人臉特征分析研究以及在法庭科學(xué)中的應(yīng)用有著非常重要的意義[2-4].經(jīng)過比擬，選用ArtecSpider3D掃描儀用于采集人臉三維圖像，之后通過計(jì)算機(jī)軟件對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理，歷時(shí)三個(gè)月時(shí)間獲取了1100多份高分辨率的彩色三維人臉圖像以供進(jìn)一步研究。本文就此次三維人臉采集及預(yù)處理經(jīng)過中的操作經(jīng)歷體驗(yàn)進(jìn)行歸納，總結(jié)出采集流程、集合幀數(shù)、人工干涉配準(zhǔn)等因素對(duì)處理前后圖像質(zhì)量差異的影響，并對(duì)華而不實(shí)碰到的問題提出解決辦法。13D掃描儀工作原理使用的ArtecSpider是一款手持使用的拍照式3D掃描儀，其采用的是構(gòu)造光技術(shù)，根據(jù)光學(xué)傳感測(cè)量原理，投影模塊先將一系列編碼光柵投影到物體外表，再由采集模塊捕獲相應(yīng)被調(diào)制的光柵圖像，然后通過特有的算法獲取高密度點(diǎn)云數(shù)據(jù)的三維坐標(biāo)[5].在獲得物體外表的空間坐標(biāo)后，通過計(jì)算機(jī)來進(jìn)行圖像配準(zhǔn)、光順合成以及細(xì)節(jié)編輯，重建出人臉的三維模型，最后以三角面片網(wǎng)格為單元貼上掃描時(shí)同步獲得的紋理圖像[6],進(jìn)而得四處理后的三維人臉圖像〔見圖1〕。這種照相式3D掃描設(shè)備的特點(diǎn)是:〔1〕光學(xué)傳感。使用白色和藍(lán)色的發(fā)光二極管〔LED〕作為光源，非接觸式測(cè)量和捕獲圖像，對(duì)物體外表不會(huì)造成傷害;〔2〕測(cè)量精度高，深度信息可達(dá)微米級(jí)別。每個(gè)采集樣本約包含3000~5000萬個(gè)網(wǎng)格，可捕獲到人臉部細(xì)小特征的三維數(shù)據(jù)，即便簡(jiǎn)化網(wǎng)格后加上同步捕獲的高分辨彩色圖像，仍可清楚明晰的再現(xiàn)人臉皮膚的皺紋及毛孔;〔3〕對(duì)復(fù)雜曲面能夠分區(qū)域連續(xù)測(cè)量。手持式3D掃描儀可靈敏的多角度移動(dòng)，更合適采集人臉各構(gòu)造各部位外表的深度數(shù)據(jù)和紋理數(shù)據(jù);〔4〕捕獲的同時(shí)利用參考試點(diǎn)拼接技術(shù)可進(jìn)行曲面自動(dòng)配準(zhǔn)，也方便操作者實(shí)時(shí)觀察采集效果，及時(shí)調(diào)整掃描范圍;〔5〕對(duì)環(huán)境要求較低，采集現(xiàn)場(chǎng)只要具備溝通電源，明視環(huán)境下即可進(jìn)行操作;〔6〕對(duì)黑色及透明材料有限制，不能捕獲被采集者的黑色頭發(fā)及面部較濃密的黑色毛發(fā)。2三維人臉圖像數(shù)據(jù)的采集采集設(shè)備進(jìn)行三維掃描的經(jīng)過是一個(gè)實(shí)時(shí)曲面配準(zhǔn)的經(jīng)過。盡管這一經(jīng)過有一定的魯棒性，但是掃描對(duì)象的姿態(tài)變化很容易干擾配準(zhǔn)的準(zhǔn)確度[7].因而在采集三維人臉圖像前應(yīng)和被采集人進(jìn)行必要的溝通，防止采集經(jīng)過中因被采集人講話或移動(dòng)導(dǎo)致配準(zhǔn)失效而中斷操作。為了在保證數(shù)據(jù)質(zhì)量的同時(shí)減少重復(fù)數(shù)據(jù)量，使用手持式3D掃描儀時(shí)，需要根據(jù)一定的移動(dòng)順序?qū)θ四槇D像進(jìn)行擷取[8,9].采取的掃描順序〔見圖2〕是從被采集人的一側(cè)耳部開場(chǎng)，上下S型經(jīng)鼻面部向另一側(cè)耳部移動(dòng)，然后向下采集下巴被遮擋部位的圖像，最后回到開場(chǎng)的部位完成掃描〔單幀曲面范圍90mm70mm~180mm140mm〕。這樣做的好處，一是不會(huì)遺漏采集部位;二是符合人臉面部構(gòu)造特點(diǎn)，假如采用橫向S型掃描則要屢次經(jīng)過鼻翼兩側(cè)，這就增加了掃描難度;三是固定了采集順序，在預(yù)處理時(shí)能夠快速找到需要修改或刪除的某一幀或幾幀圖像。對(duì)耳朵、鼻翼兩側(cè)、下唇至下巴中間構(gòu)造比擬復(fù)雜的曲面，在采集時(shí)，能夠采取小角度變換掃描儀打光角度。對(duì)下巴的采集，能夠?qū)呙鑳x從下方盡量接近被采集人身體并向上打光，以減少由于遮擋構(gòu)成的空洞。因手持式3D掃描儀的便攜特點(diǎn)〔1kg〕，采集現(xiàn)場(chǎng)只要具備溝通電，在明視照度下即可進(jìn)行操作，所以非常方便在非實(shí)驗(yàn)室環(huán)境進(jìn)行采集。3對(duì)采集數(shù)據(jù)的預(yù)處理采集到的原始數(shù)據(jù)是一個(gè)曲面幀集合，根據(jù)采集時(shí)間、幀速率的不同包含400~1500個(gè)曲面幀數(shù)據(jù)。將這些數(shù)據(jù)合成一個(gè)完好的三維人臉圖像之前需要一系列的模型處理。主要包括：整體配準(zhǔn)、光順合成、補(bǔ)洞、小型對(duì)象過濾、簡(jiǎn)化網(wǎng)格以及紋理映射等步驟[7,10].對(duì)于大部分一次性采集完成且自動(dòng)配準(zhǔn)較好的數(shù)據(jù)，使用上述自動(dòng)處理都能夠獲得良好效果。但由于光照條件的細(xì)微變化、臉部皮膚的光滑程度不同，或者曲面構(gòu)造互相遮擋等因素，一些模型自動(dòng)處理的結(jié)果并不理想，如此圖3左所示，自動(dòng)配準(zhǔn)造成了明顯的裂紋。這不但會(huì)影響視覺效果，還對(duì)后期的深切進(jìn)入應(yīng)用造成干擾[11].這就需要經(jīng)過人工干涉配準(zhǔn)獲得理想的效果〔見圖3右〕。人工干涉配準(zhǔn)主要包括三個(gè)步驟:第一步要先找出自動(dòng)配準(zhǔn)不理想的幀或幀集合，將其選取移出成為新的幀集合。如此圖4所示，計(jì)算機(jī)在自動(dòng)配準(zhǔn)掃描圖像時(shí)出現(xiàn)了較大的偏離〔見圖4左〕，這就要對(duì)偏離的曲面進(jìn)行人工挑選，生成新的幀集合〔見圖4右〕。有的采集圖像可能包含多個(gè)曲面的圖像，分離出不止一個(gè)幀集合，可根據(jù)詳細(xì)的采集結(jié)果分離出二個(gè)或二個(gè)以上的幀集合，每個(gè)幀集合應(yīng)保持在一個(gè)連續(xù)的曲面內(nèi)且相互包含重合區(qū)域。第二步是在分離出的幀集合之間進(jìn)行特征對(duì)齊，即在需要拼合的兩部分幀集合上標(biāo)記多個(gè)特征比擬明顯的一樣部位〔同名點(diǎn)〕，例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位〔見圖5〕。假如分離圖像沒有共同的明顯的特征，可以以通過人工交互移動(dòng)待配準(zhǔn)的幀集合與參考幀集合盡量對(duì)齊重合，其重合精度主要依靠人眼。第三步是自動(dòng)拼接網(wǎng)格。假如把特征對(duì)齊理解為對(duì)分離圖像的粗拼,那么拼接網(wǎng)格即是對(duì)分離圖像的細(xì)拼.在自動(dòng)拼接網(wǎng)格的基礎(chǔ)上再允許圖像紋理拼接,這樣就得出人工擬合后的三維圖像，后續(xù)能夠重復(fù)整體配準(zhǔn)和光順合成的經(jīng)過，到達(dá)更好的處理效果。另外，人工干涉可以以通過刪除個(gè)別幀圖像以獲取較好的圖像質(zhì)量。例如此圖6就是通過刪除單幀，來修補(bǔ)眨眼造成的閉眼圖像。由于光照條件的變化或者掃描經(jīng)過中偶爾出現(xiàn)的不穩(wěn)定移動(dòng)，可能會(huì)對(duì)采集的三維人臉圖像質(zhì)量造成影響，自動(dòng)配準(zhǔn)和人工干涉后仍由此可見會(huì)出現(xiàn)裂紋或者其他不理想的質(zhì)量問題〔約占5.3%〕。這種情況下能夠通過2D/3D擦除、修補(bǔ)和光滑處理來改善，但是應(yīng)盡量減少圖像插值的處理，以免改變或消除人臉面部皮膚的原始細(xì)節(jié)特征。除此之外，對(duì)三維圖像的編輯還包括坐標(biāo)變換、數(shù)據(jù)擦除、網(wǎng)格簡(jiǎn)化等，對(duì)紋理圖像的編輯包括亮度/比照度調(diào)整、色調(diào)、色飽和度以及圖像灰度校正等。使用的3D掃描儀的幀速率為7.5fps,采集一個(gè)樣本的平均耗時(shí)在80~110s之間。為了講明采集幀數(shù)與圖像質(zhì)量的關(guān)系，記錄預(yù)處理經(jīng)過中的部分?jǐn)?shù)據(jù)。根據(jù)優(yōu)質(zhì)、良好、一般將處理前后的圖像質(zhì)量評(píng)價(jià)為三個(gè)等級(jí)，并根據(jù)采集幀數(shù)分類得出下面數(shù)據(jù)關(guān)系〔見表1〕【1】由此可見，采集圖像在500~700幀范圍內(nèi)的三維人臉圖像的質(zhì)量最好，需要人工干涉處理的樣本數(shù)較少，平均處理的時(shí)間也較短。700~900幀的圖像需要較多的人工干涉，但是預(yù)處理后可以以得到較高的圖像質(zhì)量。900幀以上的圖像采集質(zhì)量較一般，但是經(jīng)預(yù)處理后圖像質(zhì)量有較大幅度提高，只是處理耗時(shí)較長(zhǎng)。而500幀下面的圖像質(zhì)量在預(yù)處理前后都很難獲得高質(zhì)量的圖像效果。以下為參考文獻(xiàn)[1]王躍明，潘綱，吳朝暉.三維人臉辨別研究