《基于學(xué)習(xí)的圖像增強(qiáng)技術(shù)》課件第11章

第十一章

基于回歸方法的超分辨率圖像復(fù)原研究11.1支持向量回歸11.2核偏最小二乘法回歸11.3基于回歸方法的超分辨率復(fù)原的基本原理11.4基于支持向量回歸方法的實(shí)驗(yàn)結(jié)果與分析11.5基于核偏最小二乘法的超分辨率實(shí)驗(yàn)結(jié)果與分析11.6本章小結(jié)基于回歸的超分辨率復(fù)原方法是將高分辨率圖像和低分辨率圖像的關(guān)系看做一種函數(shù)關(guān)系。設(shè)低分辨率圖像為xi,高分辨率圖像為yi,低分辨率圖像與高分辨率圖像之間的關(guān)系可以表示為(x1;y1),(x2;y2),…,(xn;yn),基于回歸的超分辨率復(fù)原需要解決的核心問題是建立輸入xi與輸出yi的關(guān)系,即求回歸模型函數(shù)f：

yi=f(xi)

(11-1)

首先依據(jù)高、低分辨率圖像的關(guān)系建立回歸模型,即求取回歸模型函數(shù)f;然后在進(jìn)行超分辨率復(fù)原時(shí),只需輸入待復(fù)原的已知低分辨率圖像,利用已經(jīng)建立的回歸模型f進(jìn)行回歸,以獲得未知高分辨率圖像。由于對整幅圖像做回歸處理會使得計(jì)算量太大,并且由于維數(shù)(例如200×200的圖像為40000維)遠(yuǎn)遠(yuǎn)大于樣本數(shù)(樣本數(shù)通常為100左右),造成預(yù)測可能存在較大的誤差。因此通常對基于回歸的超分辨率復(fù)原方法采用分塊復(fù)原的方法。圖11-1所示為基于回歸的超分辨率算法框架的一個(gè)示意圖。圖11-1基于回歸的超分辨率算法框架為了提高算法的性能,在基于回歸的超分辨率算法中一般不直接使用圖像的灰度信息,而是對圖像進(jìn)行特征提取,使用特征來表示高、低分辨率圖像。

基于回歸的超分辨率復(fù)原方法主要是針對基于分類的超分辨率復(fù)原方法的缺點(diǎn)提出的,它能夠克服基于分類的超分辨率中使用了“分類算法”而造成的“量化誤差”問題。

通常,基于回歸的超分辨率復(fù)原算法的第一步是分別提取高、低分辨率圖像塊的高頻信息和中頻信息(在本章中中頻信息是指低分辨率圖像的高頻信息)作為建立回歸關(guān)系的特征,然后使用某種回歸算法建立回歸模型,最后在復(fù)原時(shí)將待復(fù)原的低分辨率圖像的中頻特征輸入已經(jīng)建立的回歸模型,得到需要的高頻信息。

11.1支持向量回歸

支持向量回歸(SVR)是AT&TBELL實(shí)驗(yàn)室的Vapanik提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)理論。它的基本思想是讓維數(shù)(泛化誤差)的上限最小化,從而經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化,最終使訓(xùn)練數(shù)據(jù)的誤差最小化。但是,在支持向量回歸算法中,主要是針對多輸入單輸出的情況?；趯W(xué)習(xí)超分辨率屬于一個(gè)多維多元回歸分析問題,這就需要將支持向量回歸算法推廣到多輸出的情況,以解決多維多元非線性回歸問題。

對于線性回歸問題,給定訓(xùn)練樣本(xi,yi),xi∈Rn,yi∈Rm,i=1,…,l,所需要的是求出輸入xi與輸出yi的關(guān)系,即在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下求回歸函數(shù)：

(11-2)根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,可得到原始最優(yōu)化問題：(11-3)引入拉格朗日函數(shù),可以得到式(11-3)的Wolfe對偶問題：(11-4)其中,δij在i≠j時(shí)為1,在i=j時(shí)為0。求解問題(11-4),可得(αik,α*ik)。最后得出回歸函數(shù)：

(11-5)對于非線性多輸出支持向量回歸模型,解決的辦法是通過某一非線性函數(shù)φ(x)將輸入樣本向量x映射到一個(gè)高維特征空間,然后在這個(gè)特征空間中進(jìn)行線性函數(shù)的逼近。根據(jù)KKT條件,對原始最優(yōu)化問題可以轉(zhuǎn)化,最后得到回歸函數(shù)：(11-6)常用的核函數(shù)包括線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)等,它們的形式分別為

(1)線性核函數(shù)：K(x,y)=(〈x,y〉)d

(2)多項(xiàng)式核函數(shù)：

K(x,y)=(〈x,y〉+1)d

(3)徑向基核函數(shù)：K(x,y)=exp{－|x－y|2/2σ2}

在基于支持向量回歸的超分辨率復(fù)原算法中,本章選取常用的徑向基核函數(shù)作為核函數(shù)。

11.2核偏最小二乘法回歸

11.2.1偏最小二乘法

偏最小二乘法(PLS)是由瑞典的HermanWold教授在提出非線性迭代偏最小二乘法后迅速發(fā)展起來的。上世紀(jì)80年代,計(jì)量化學(xué)研究者首先將PLS成功地運(yùn)用于計(jì)量化學(xué),后來工業(yè)設(shè)計(jì)工作者應(yīng)用該方法同樣獲得巨大成功,引起各方面的極大關(guān)注。由此,偏最小二乘法的統(tǒng)計(jì)理論和算法研究取得了極大的發(fā)展,其應(yīng)用也迅速地?cái)U(kuò)展到其他領(lǐng)域。

目前偏最小二乘法被廣泛用于許多領(lǐng)域。它在光譜分析、藥物分析和醫(yī)藥、水文觀測和地質(zhì)勘查以及市場分析、金融等方面有廣泛的應(yīng)用。偏最小二乘法不同于一般的數(shù)據(jù)分析方法,它集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能于一體。它可以實(shí)現(xiàn)多種數(shù)據(jù)分析方法的綜合應(yīng)用,因此也被稱為第二代回歸方法。偏最小二乘法有如下幾個(gè)主要特點(diǎn)：

(1)偏最小二乘法能夠提供多自變量的回歸方法,將建模預(yù)測類型的數(shù)據(jù)分析方法與非模型式的數(shù)據(jù)認(rèn)識性分析有機(jī)地結(jié)合起來,能很好地解決自變量集合內(nèi)部存在的嚴(yán)重多重相關(guān)性問題,其分析結(jié)論更加可靠,整體性更強(qiáng)。

(2)偏最小二乘法可以實(shí)現(xiàn)多種統(tǒng)計(jì)分析方法的綜合應(yīng)用。在同一算法下,可以同時(shí)實(shí)現(xiàn)回歸建模、數(shù)據(jù)結(jié)構(gòu)簡化(主成分分析)以及兩組變量間的相關(guān)分析(典型相關(guān)分析)。

(3)偏最小二乘法能夠解決變量之間的多重相關(guān)性問題,適合在樣本容量小于變量個(gè)數(shù)的情況下進(jìn)行回歸建模。在有些實(shí)驗(yàn)中,常常會有許多必須考慮的變量,但由于經(jīng)費(fèi)、時(shí)間等條件的限制,所能得到的樣本數(shù)卻小于變量數(shù)。在這種情況下,普通多元回歸無法取得理性的回歸結(jié)果,而偏最小二乘法能夠解決這個(gè)問題。

(4)偏最小二乘法在提取主成分的時(shí)候,提取的主成分能同時(shí)反映輸入變量和響應(yīng)變量的信息,在回歸和預(yù)測方面能達(dá)到很好的效果。作為一個(gè)多元線性回歸方法,偏最小二乘法的主要目的是建立一個(gè)線性模型：

Y=XB+E

(11-7)在通常情況下,變量矩陣X和Y被零均值后再用于計(jì)算。

偏最小二乘法分別在X和Y中提取出成分t、u。在提取上述兩個(gè)成分時(shí),為了回歸分析的需要,須滿足下述條件：

(1)t和u應(yīng)盡可能多地?cái)y帶它們各自數(shù)據(jù)表中的變異信息,使用數(shù)學(xué)公式可表示為

maxvar(t)maxvar(u)

(11-8)

其中,var表示方差。

(2)t和u的相關(guān)程度能夠達(dá)到最大,使用數(shù)學(xué)公式可表示為

maxcorr(t,u)

(11-9)

其中,corr(t,u)表示t、u的相關(guān)系數(shù)。綜合式(11-8)、式(11-9)就是使得t、u的協(xié)方差達(dá)到最大：(11-10)上述條件表明,t和u應(yīng)盡可能好地代表數(shù)據(jù)X和Y,同時(shí)輸入變量的成分t對響應(yīng)變量的成分u又有最強(qiáng)的解釋能力。在第一個(gè)成分t和u被提取以后,偏最小二乘法分別實(shí)施X對t的回歸及Y對u的回歸。如果回歸方程已經(jīng)達(dá)到滿意的精度,則算法終止;否則將利用X被t解釋后的殘余信息,以及Y被u解釋后的殘余信息進(jìn)行第二輪成分的提取。如此往復(fù),直到達(dá)到一個(gè)較為滿意的精度。若對X共提取了m個(gè)成分(t1,t2,…,tm),PLS算法的建模示意圖如圖11-2所示。圖11-2PLS算法建模示意圖11.2.2核偏最小二乘法

由于偏最小二乘法是一種線性方法,不能對非線性問題進(jìn)行分析,而在實(shí)際中所求解的問題大多是非線性問題,因此在線性PLS算法基礎(chǔ)上發(fā)展了許多非線性偏最小二乘(NonlinearPLS,NLPLS)方法。KPLS是利用核方法發(fā)展起來的非線性偏最小二乘法。KPLS算法的本質(zhì)是特征空間中的PLS算法,通過非線性映射φ(·)將原空間數(shù)據(jù)映射到高維特征空間,然后在特征空間中建立線性PLS模型,這樣就能夠有效地改善PLS算法在非線性場合的效果,因此得到了廣泛研究。通常不需要知道非線性映射φ(·)的形式和特征空間的維數(shù)H,只需選擇合適的核函數(shù)K即可。依靠線性變換φ(·),能將原始輸入空間映射到特征空間。特征空間的維數(shù)很高,并且可能是無窮維(當(dāng)使用高斯核時(shí))。這就需要使用核技巧來解決φ(·)映射的問題。只要函數(shù)K(·)滿足Mercer條件,都可以作為核函數(shù)。如果核函數(shù)K(x,y)選擇得當(dāng),就可以將輸入空間的非線性問題轉(zhuǎn)化為特征空間的線性問題。

假設(shè)存在一個(gè)非線性映射φ將輸入變量xi映射到特征空間F：

φ:xi∈RM→φ(xi)∈F

(11-11)

KPLS的目標(biāo)是在特征空間F建立線性PLS回歸,這樣就可以在原始的輸入空間實(shí)現(xiàn)非線性回歸。設(shè)Φ為n×H的矩陣,其中第i行是向量φ(xi)。NIPALS的核形式即(KPLS)為

(1)隨機(jī)初始化向量u;

(2)t=ΦΦTu,t←t/||t||;

(3)c=YTt;

(4)u=Yc,u←u/||u||;

(5)重復(fù)步驟(2)~(4)直到收斂;

(6)退化ΦΦT以及Y矩陣：ΦΦT←(Φ－ttTΦ)(Φ－ttTΦ)T,Y←Y－ttTY。

ΦΦT表示n×n的核矩陣K;其中K(xi,xj)=φ(xi)Tφ(xj)。提取m個(gè)成分后,回歸系數(shù)矩陣B可以通過式(11-12)獲得

B=ΦTU(TTKU)－1TTY

(11-12)

其中,矩陣T={ti}i=1,2,…,m,U={ui}i=1,2,…,m。

這樣使用xt預(yù)測Yt為(11-13)核函數(shù)的選取對算法的回歸性能有一定的影響。在基于核偏最小二乘法的超分辨率復(fù)原算法中,本章選取應(yīng)用較為廣泛的徑向基核函數(shù)：(11-14)

11.3基于回歸方法的超分辨率復(fù)原的基本原理

11.3.1超分辨率圖像復(fù)原原理

理想的高分辨率圖像退化為低分辨率圖像,其退化模型可表示為

g(x,y)=↓[f(x,y)*h(x,y)]+n(x,y)

(11-15)

式中,f(x,y)、g(x,y)、n(x,y)分別為原始清晰圖像、退化圖像和加性噪聲;h(x,y)為成像系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF;↓表示下采樣。圖像的超分辨率復(fù)原是上述過程的逆過程。即從給定的退化的低分辨率圖像g(x,y)獲得高分辨率圖像f(x,y)的過程。

也可將上述過程寫為矩陣形式,表示為

IL=DIH+n

(11-16)基于回歸的超分辨率復(fù)原算法是將訓(xùn)練庫中的高分辨率圖像和低分辨率圖像的關(guān)系看做一種函數(shù)關(guān)系。將訓(xùn)練庫中的低分辨率圖像xi作為回歸模型的輸入,高分辨率圖像yi作為回歸模型的輸出,最后通過特定的回歸算法建立xi與yi的非線性映射關(guān)系模型f,使得

yi≈f(xi)

(11-17)

然后使用獲得的非線性映射關(guān)系模型f對實(shí)際低分辨率圖像進(jìn)行復(fù)原。映射關(guān)系f的建立不需要知道圖像退化的具體模型,只需通過學(xué)習(xí)訓(xùn)練獲得。

由于對整幅圖像做回歸會使得計(jì)算量太大,并且由于維數(shù)遠(yuǎn)遠(yuǎn)大于樣本數(shù),將造成預(yù)測可能存在較大的誤差,因此基于回歸的超分辨率復(fù)原通常采用分塊復(fù)原的方法,將圖像進(jìn)行分塊,然后分別對每一個(gè)圖像塊進(jìn)行回歸分析。11.3.2特征表示

超分辨率技術(shù)是已知低分辨率圖像的情況下,復(fù)原(預(yù)測)其丟失的高頻信息的技術(shù)。低分辨率圖像的低頻部分提供的信息有限,而中頻部分(在本章中指的是低分辨率圖像的高頻信息)能提供更多的有用信息,一般可認(rèn)為最高頻信息條件獨(dú)立于最低頻信息,有(11-18)式中,H表示高頻信息,M表示中頻信息,L表示最低頻信息。這樣,超分辨率的任務(wù)轉(zhuǎn)化為已知圖像的中頻信息,恢復(fù)其高頻信息。為了獲得高頻信息,將訓(xùn)練庫中的低分辨率圖像進(jìn)行插值(例如通過最近鄰插值)放大到與高分辨率圖像相同的分辨率。然后將其與其對應(yīng)的高分辨率圖像進(jìn)行差分,獲得的該差值圖像即高頻信息。在超分辨率復(fù)原時(shí),只需要復(fù)原出它們的差值部分。而對中頻信息的提取,本章采用先對訓(xùn)練庫中的低分辨率圖像進(jìn)行插值放大,然后通過對放大后的圖像提取DoG特征來獲取中頻信息。

本章將分別采用位置相關(guān)方法和位置無關(guān)方法對人臉圖像和車牌圖像進(jìn)行基于學(xué)習(xí)的超分辨率復(fù)原。正面人臉圖像相對于其他圖像具有一些特殊性,它具有全局約束,即不同人的鼻子、嘴、眼睛的位置相對于正面人臉來說,基本上是固定不變的。在建立回歸模型時(shí),本章利用這種位置相關(guān)的性質(zhì),對不同位置的分塊建立不同的回歸模型,這樣既加快了運(yùn)算速度又可以使得回歸模型建立得更為準(zhǔn)確。而對于車牌圖像復(fù)原的信息是位置無關(guān)的,在建立回歸模型時(shí),需要將訓(xùn)練庫中所有的不同位置的圖像塊建立一個(gè)單一的回歸模型。但是考慮到對訓(xùn)練庫中所有的不同位置的圖像塊建立一個(gè)單一的回歸模型運(yùn)算量太大(核矩陣的大小為訓(xùn)練樣本數(shù)×圖像的分塊數(shù),如果訓(xùn)練樣本為100,圖像為120×120,分為6×6的塊,不考慮塊與塊之間的重疊,則核矩陣為40000×40000的矩陣。這將導(dǎo)致運(yùn)算量巨大,為了減少運(yùn)算量,本章在訓(xùn)練庫中尋找與每個(gè)待復(fù)原的圖像塊最相似的K(例如K=300)個(gè)圖像塊,然后根據(jù)這K個(gè)圖像塊建立相應(yīng)的回歸模型,再依據(jù)該回歸模型對相應(yīng)的圖像塊進(jìn)行復(fù)原。圖11-3所示為建立回歸模型的示意圖,圖中(a)表示位置相關(guān)方法建立的回歸模型,(b)表示位置無關(guān)方法建立的回歸模型。圖11-3建立回歸模型的示意圖11.3.3基于回歸的圖像超分辨率復(fù)原算法

基于回歸的圖像超分辨率復(fù)原算法的流程圖如圖11-4所示,算法可分為兩個(gè)獨(dú)立過程,即訓(xùn)練過程和學(xué)習(xí)過程。訓(xùn)練過程使用回歸算法對訓(xùn)練庫中的圖像進(jìn)行訓(xùn)練,獲得回歸模型。學(xué)習(xí)過程是利用訓(xùn)練部分獲取的回歸模型對待復(fù)原的低分辨率圖像進(jìn)行復(fù)原。

圖11-4基于回歸的圖像超分辨率復(fù)原算法的流程圖

1.訓(xùn)練過程

訓(xùn)練過程的具體步驟如下：

(1)將每一幅低分辨率訓(xùn)練樣本圖像進(jìn)行插值(使用CubicB-Spline插值算法)放大,并將其對應(yīng)的高分辨率圖像進(jìn)行差分,得到高頻特征圖像。

(2)提取上一步生成的插值放大圖像的DoG特征,即圖像的中頻信息。

(3)將第(1)步和第(2)步生成的高頻特征圖像和中頻特征圖像劃分成多個(gè)n×n(例如6×6)的圖像塊,高頻特征圖像的每一個(gè)圖像塊表示為一個(gè)特征矢量VHi,j,k,中頻特征圖像的每一個(gè)圖像塊可表示為VLi,j,k。其中(i,j)表示塊在圖像中的位置為(i,j);k表示第k個(gè)訓(xùn)練樣本對應(yīng)的圖像塊。

(4)根據(jù)圖像的類型,建立模型時(shí)分為位置相關(guān)模型和位置無關(guān)模型。

對于人臉圖像,需要建立位置相關(guān)模型。因此將其所有樣本中位置為(i,j)的中頻特征圖像塊構(gòu)成一個(gè)向量矩陣BLi,j

={VLi,j,k}。其中,k=1,2,…,N,N為樣本數(shù)。同樣所有樣本中位置為(i,j)的高頻特征圖像塊都可以構(gòu)成一個(gè)向量矩陣BHi,j={VHi,j,k},其中,k=1,2,…,N。最后將位置為(i,j)的向量矩陣BLi,j和BHi,j作為回歸輸入和回歸輸出代入回歸算法,以獲得位置為(i,j)的回歸模型。

而車牌圖像需要建立位置無關(guān)模型。在建立回歸模型時(shí),為了減少運(yùn)算量,可在訓(xùn)練庫中尋找與每個(gè)待復(fù)原的中頻特征圖像塊(設(shè)圖像塊的位置為(i,j))最相似的K(例如K=300)個(gè)中頻特征圖像塊BL={VLv}及其對應(yīng)的高頻特征圖像塊BH={VHv},其中,v=1,2,…,K。然后根據(jù)這K個(gè)圖像塊對建立相應(yīng)的回歸模型。

2.學(xué)習(xí)過程

學(xué)習(xí)過程的具體步驟如下：

(1)將輸入的待復(fù)原的低分辨率圖像進(jìn)行插值(使用最近鄰插值法)放大,提取插值放大后圖像的DoG特征。

(2)將上一步生成的特征圖像劃分成多個(gè)n×n(例如2×2)的圖像塊,對于位置為(i,j)的塊,將其表示為一個(gè)向量VTi,j,根據(jù)圖像的類型,輸入建立好的特定的回歸模型,得到回歸結(jié)果。

(3)將每一個(gè)圖像塊的回歸結(jié)果向量VRi,j還原為二維圖像塊。將回歸復(fù)原的結(jié)果按照順序拼接為復(fù)原需要的高頻信息,最后將該高頻信息和待復(fù)原的低分辨率圖像進(jìn)行插值放大后的圖像進(jìn)行求和,復(fù)原出最終的高分辨率圖像。

11.4基于支持向量回歸方法的實(shí)驗(yàn)結(jié)果與分析

11.4.1算法的性能

1.實(shí)驗(yàn)一

實(shí)驗(yàn)一使用亞洲人臉標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(IMDB)中的人臉圖像,歸一化成96×80的人臉圖像。將96×80的人臉圖像作為高分辨率人臉圖像,對其進(jìn)行降質(zhì)處理,降質(zhì)成48×40的圖像,將其作為低分辨率人臉圖像。實(shí)驗(yàn)選取不帶眼鏡的75人進(jìn)行實(shí)驗(yàn),每人選正面中性表情人臉一幅,共75幅。隨機(jī)選擇其中的8人,其中4名男性、4名女性(8幅人臉圖像),作為測試樣本,剩下的67人(67幅人臉圖像)作為訓(xùn)練庫中的樣本圖像。

將CubicB-Spline插值方法和最近鄰插值方法、Baker算法、基于LLE算法與本章算法的實(shí)驗(yàn)結(jié)果進(jìn)行了比較(SVR參數(shù)設(shè)置為：懲罰系數(shù)C=10,不敏感損失系數(shù)ε=0.01,核函數(shù)參數(shù)2σ2=100),如圖11-5所示。圖11-5不同算法的復(fù)原結(jié)果圖從實(shí)驗(yàn)結(jié)果對比圖中可以看出：最近鄰插值算法和CubicB-Spline插值算法在插值復(fù)原放大時(shí)模糊了大部分的人臉細(xì)節(jié),而Baker算法的結(jié)果、基于LLE算法的結(jié)果及本節(jié)算法的結(jié)果可以清楚地復(fù)原出人臉圖像的細(xì)節(jié),復(fù)原的圖像高頻細(xì)節(jié)更為豐富。但是仔細(xì)對比可以發(fā)現(xiàn),本節(jié)算法的結(jié)果比Baker算法的結(jié)果、基于LLE算法的結(jié)果具有更細(xì)膩的高頻細(xì)節(jié)、更少的噪聲。

圖11-6為不同方法的峰值信噪比示意圖,從客觀的評價(jià)標(biāo)準(zhǔn)峰值信噪比來看,本節(jié)算法也取得了最高的峰值信噪比結(jié)果。圖11-6不同算法的PSNR

2.實(shí)驗(yàn)二

實(shí)驗(yàn)二是對算法的性能在放大倍數(shù)較大(16倍)的情況下進(jìn)行分析。與實(shí)驗(yàn)一相同,使用亞洲人臉標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(IMDB)中的人臉圖像。提取IMDB中人臉的面部圖像,并進(jìn)行歸一化,歸一化為192×160。把192×160的人臉圖像作為高分辨率人臉圖像,對其進(jìn)行降質(zhì)處理,降質(zhì)成48×40的圖像,作為低分辨率人臉圖像(這樣圖像復(fù)原時(shí)需要放大16倍)。實(shí)驗(yàn)首先選取了所有不帶眼鏡的75人進(jìn)行實(shí)驗(yàn),每人選正面人臉圖像一幅,總共75幅。隨機(jī)選擇其中的8人(8幅人臉圖像)作為測試數(shù)據(jù)。

圖11-7為實(shí)驗(yàn)結(jié)果。圖11-7不同算法的復(fù)原結(jié)果(放大16倍)從圖11-7可以看出,在放大16倍的情況下,插值算法在復(fù)原放大時(shí)模糊了大部分的人臉細(xì)節(jié),而Baker算法復(fù)原結(jié)果噪聲較大,對人臉的細(xì)節(jié)部分復(fù)原效果較差,基于LLE算法的總體效果尚可,但是在細(xì)節(jié)部分(如眉毛、鼻子)噪聲較大。本節(jié)算法總的來說取得了最好的結(jié)果,從視覺效果來看最接近于真實(shí)的人臉圖像。并且從圖11-8所示的峰值信噪比分析來看,本節(jié)算法取得了最高的峰值信噪比。圖11-8不同算法的PSNR(放大16倍)

3.實(shí)驗(yàn)三

實(shí)驗(yàn)三主要是分析SVR回歸復(fù)原算法對歐美人的人臉復(fù)原效果。使用原始的和擴(kuò)展的YaleFaceDatabaseB中的人臉圖像進(jìn)行實(shí)驗(yàn)。原始的和擴(kuò)展的YaleFaceDatabaseB中共有38人,每人選正面臉且正面光照的圖像幅,這樣就有38幅正面人臉圖像。選取其中的36幅作為訓(xùn)練樣本,2幅作為測試樣本。將人臉圖像進(jìn)行對齊操作并歸一化成每一幅圖像為80×96。將80×96的人臉圖像作為高分辨率人臉圖像,對其進(jìn)行降質(zhì)處理,降質(zhì)成為40×48的圖像,并且將其作為低分辨率人臉圖像。圖11-9為不同算法的實(shí)驗(yàn)結(jié)果,從人眼主觀觀察可以看出本節(jié)算法復(fù)原結(jié)果具有更多的高頻細(xì)節(jié),視覺效果比CubicB-Spline插值算法和最近鄰插值算法的好;而與Baker算法的結(jié)果、基于LLE算法的結(jié)果比較可以看出,本節(jié)算法復(fù)原的結(jié)果噪聲更少、更接近于真實(shí)的高分辨率圖像。表11-1為不同算法的峰值信噪比,從客觀的峰值信噪比分析來看,本節(jié)算法取得了最高的峰值信噪比。在放大兩倍的情況下,Yale人臉庫實(shí)驗(yàn)的復(fù)原效果不如IMDB亞洲人臉庫那么明顯(Yale人臉庫相對于插值算法,提升了3dB左右;而IMDB亞洲人臉庫提升了近5dB)。這主要是由于Yale人臉庫樣本較少,建立的回歸模型誤差較大,因此獲得的復(fù)原效果沒有亞洲人臉庫那樣顯著。通過實(shí)驗(yàn)三驗(yàn)證了本節(jié)算法有較強(qiáng)的魯棒性,無論是對于亞洲人還是歐美人,都能夠得到較好的結(jié)果。圖11-9不同算法對Yale人臉庫的實(shí)驗(yàn)結(jié)果表11-1不同算法對Yale人臉庫的PSNR

4.實(shí)驗(yàn)四

為了進(jìn)一步驗(yàn)證算法的效果,在實(shí)驗(yàn)四中將算法應(yīng)用于真實(shí)的環(huán)境。圖11-10(a)為使用數(shù)碼相機(jī)拍攝的包含真實(shí)低分辨率的人臉圖像。將該圖像中的人臉部分提出,轉(zhuǎn)化為灰度圖像,并歸一化為48×40,作為待復(fù)原圖像,使用實(shí)驗(yàn)二中采用的訓(xùn)練樣本。圖11-10(b)從左到右分別為本節(jié)算法、插值算法的結(jié)果。從圖11-10(b)中可以看出本節(jié)的結(jié)果明顯優(yōu)于插值方法的結(jié)果,具有比插值算法更多的高頻細(xì)節(jié)。圖11-10在真實(shí)環(huán)境下的實(shí)驗(yàn)結(jié)果11.4.2算法參數(shù)分析

SVR的參數(shù)對算法性能有較大的影響,因此在下面的實(shí)驗(yàn)中將對參數(shù)對算法的影響進(jìn)行了分析和實(shí)驗(yàn),實(shí)驗(yàn)條件與上一小節(jié)中實(shí)驗(yàn)一的條件一樣。在支持向量回歸算法中,懲罰系數(shù)C、不敏感損失系數(shù)ε、核函數(shù)及其參數(shù)的選擇直接影響到模型的復(fù)雜程度和預(yù)測精度,對回歸模型的學(xué)習(xí)精度和推廣能力的好壞起著決定性作用。

圖11-11為懲罰系數(shù)C對復(fù)原結(jié)果PSNR的影響(將參數(shù)ε設(shè)置為0.01,2σ2設(shè)置為100)。如果C過小,對超出ε的樣本數(shù)據(jù)懲罰就小,可能導(dǎo)致模型過于簡單,訓(xùn)練誤差變大,因此復(fù)原效果較差。如果C過大,學(xué)習(xí)精度相應(yīng)提高,但目標(biāo)就變成了最小化經(jīng)驗(yàn)風(fēng)險(xiǎn),可能導(dǎo)致模型過于復(fù)雜,得不到好的推廣能力,同樣使得復(fù)原效果較差。圖11-12為核函數(shù)參數(shù)σ對復(fù)原結(jié)果PSNR的影響(將參數(shù)ε設(shè)置為0.01,C設(shè)置為10)。圖中橫坐標(biāo)的單位是1/2σ2。如果σ過小,支持向量間的聯(lián)系比較松弛,學(xué)習(xí)機(jī)器相對復(fù)雜,推廣能力得不到保證,這使得復(fù)原效果較差。如果σ過大,支持向量間的影響過強(qiáng),回歸模型難以達(dá)到足夠的精度,同樣使得復(fù)原效果差。

對于誤差控制ε,實(shí)驗(yàn)結(jié)果表明在設(shè)定參數(shù)2σ2為100、C為10時(shí),ε的大小對算法復(fù)原效果影響不大。圖11-11參數(shù)C對復(fù)原圖像的平均峰值信噪比的影響圖11-12參數(shù)σ對復(fù)原圖像的平均峰值信噪比的影響

11.5基于核偏最小二乘法的超分辨率實(shí)驗(yàn)結(jié)果與分析

1.實(shí)驗(yàn)一人臉圖像的超分辨率復(fù)原實(shí)驗(yàn)

實(shí)驗(yàn)一使用亞洲人臉標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(IMDB)中的人臉圖像。這里提取人臉的面部圖像,并進(jìn)行歸一化,歸一化成192×160。將192×160的人臉圖像作為高分辨率人臉圖像,對其進(jìn)行降質(zhì)處理,降質(zhì)為48×40的圖像,作為低分辨率人臉圖像。實(shí)驗(yàn)首先選取了所有不帶眼鏡的75人進(jìn)行實(shí)驗(yàn),每人選正面中性表情人臉圖像一幅,共75幅。隨機(jī)選擇其中的8人,其中4名男性、4名女性(8幅人臉圖像),作為測試樣本,剩下的67人(67幅人臉圖像)作為訓(xùn)練樣本。CubicB-Spline插值方法和最近鄰插值方法及基于SVR的超分辨率算法與本節(jié)提出的基于KPLS的超分辨率算法的實(shí)