第5章 圖像復(fù)原

1、LOGO5.1 圖像復(fù)原的基本概念 5.2 圖像退化模型 5.3 圖像復(fù)原的方法 5.4 運(yùn)動(dòng)模糊圖像的復(fù)原 5.5 圖像的幾何校正 第5章 圖像復(fù)原LOGO5.1 圖像復(fù)原的基本概念v 什么是圖像退化? 圖像的質(zhì)量下降叫做退化。退化的形式有模糊、失真、有噪聲等v 圖像退化的原因 無論是由光學(xué)、光電或電子方法獲得的圖像都會(huì)有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機(jī)未聚焦、物體與攝像設(shè)備之間的相對(duì)移動(dòng)、隨機(jī)大氣湍流、光學(xué)系統(tǒng)的相差、成像光源或射線的散射等； 如果我們對(duì)退化的類型、機(jī)制和過程都十分清楚，那么就可以利用其反過程來復(fù)原圖像。LOGO a) 被正弦噪聲干擾的圖像 b) 濾

2、波效果圖用巴特沃思帶阻濾波器復(fù)原受正弦噪聲干擾的圖像5.1 圖像復(fù)原的基本概念LOGO a)受大氣湍流的嚴(yán)重影響的圖像 b)用維納濾波器恢復(fù)出來的圖像維納濾波器應(yīng)用5.1 圖像復(fù)原的基本概念LOGOv圖像復(fù)原 將降質(zhì)了的圖像恢復(fù)成原來的圖像，針對(duì)引起圖像退化的原因，以及降質(zhì)過程某先驗(yàn)知識(shí)，建立退化模型，再針對(duì)降質(zhì)過程采取相反的方法，恢復(fù)圖像v 一般地講，復(fù)原的好壞應(yīng)有一個(gè)規(guī)定的客觀標(biāo)準(zhǔn)，以能對(duì)復(fù)原的結(jié)果作出某種最佳的估計(jì)。 5.1 圖像復(fù)原的基本概念LOGOv圖像還原與增強(qiáng)的區(qū)別1圖像退化原因決定還原方法2評(píng)價(jià)標(biāo)準(zhǔn)不同： a）突出感興趣的那部分主觀評(píng)估 b）利用退化的逆過程恢復(fù)原始圖像， 客觀

3、評(píng)估：接近原圖像5.1 圖像復(fù)原的基本概念LOGO 無約束恢復(fù) 技術(shù) 有約束恢復(fù) 自動(dòng)方法圖像恢復(fù) 策略 交互方法 根據(jù)是否需要外來干預(yù) 空域 處理域 頻域圖像一般模型：線性移不變系統(tǒng)標(biāo)準(zhǔn)：非線性恢復(fù)、線性恢復(fù)5.1 圖像復(fù)原的基本概念LOGO5.2 圖像退化模型降質(zhì)過程可看作對(duì)原圖像f (x, y)作線性算。 g(x, y) H f (x, y)+n(x, y) 降質(zhì)后 降質(zhì)模型 噪聲Hf (x,y)n(x,y)LOGOv以后討論中對(duì)降質(zhì)模型H作以下假設(shè)： H是線性的 H是空間（或移位）不變的 對(duì)任一個(gè)f(x, y)和任一個(gè)常數(shù) 和都有： H f(x-,y-) = g(x-,y-) 就是說圖

4、像上任一點(diǎn)的運(yùn)算結(jié)果只取決于該點(diǎn)的輸入值，而與坐標(biāo)位置無關(guān)。1122122,Hk fx yk fx yk Hfx yk Hfx y5.2 圖像退化模型LOGOf(i, j)：原始圖像g(i, j)：降質(zhì)圖像H()： 成像系統(tǒng)的作用，則：由于 函數(shù)的篩選性質(zhì)（一幅圖像可以看作是由一系列沖激函數(shù)組成的）5.2 圖像退化模型LOGO,dd,dd(),dd,dd,gx yHfxyHHfxyHfHxyfhxyhxyH 根 據(jù) 沖 激 響 應(yīng) 定 義（為 一 維 性 算 子 ）是 空 間 移 不 變稱為 擴(kuò) 散 函 數(shù) （ PSF） 或 系 統(tǒng) 沖 激 響 應(yīng)系 統(tǒng)的 沖 激 相 應(yīng) ， 在 光 學(xué) 中

5、沖 激 為 一 個(gè) 光 點(diǎn) ， 退 化 可 以 理解 為 系 統(tǒng) 沖 激 響 應(yīng) 造 成 圖 像 的 降 質(zhì)5.2 圖像退化模型LOGO( , )( ,) (,)d d( , )( , )g x yfh xyf x yh x y 多數(shù)情況下系統(tǒng)為時(shí)不變的，反映在圖像中為位移不變的，則其中*表示卷積運(yùn)算。如果H()是一個(gè)可分離系統(tǒng)，即12( , ; ,)( , )( ,)h xyh xhy則二維運(yùn)算可以分解為列和行兩次一維運(yùn)算來代替5.2 圖像退化模型LOGOv在加性噪聲情況下，圖像退化模型可以表示為 其中n(x, y)為噪聲圖像( , )( , )( , )( , )g x yf x yh x

6、 yn x y5.2 圖像退化模型LOGO f (x,y) H n (x,y) g (x,y) v線性位移不變的圖像退化模型則表示為：5.2 圖像退化模型( , )( , )( , )( , )g x yf x yh x yn x yLOGOv重要結(jié)論 一個(gè)線性系統(tǒng)完全可以由它的點(diǎn)擴(kuò)散函數(shù)h(x,y,) 來表征。若系統(tǒng)的PSF已知，則系統(tǒng)在（x，y）點(diǎn)的輸出響應(yīng)可看成是不同坐標(biāo) 處輸入函數(shù) 所產(chǎn)生的脈沖響應(yīng)在（x，y）處的疊加。 而在實(shí)際降質(zhì)過程中，降質(zhì)的另一個(gè)復(fù)雜因素是隨機(jī)噪聲，考慮有噪聲的圖像恢復(fù)，必需知道噪聲統(tǒng)計(jì)特性以及噪聲和圖像信號(hào)的相關(guān)情況，這是非常復(fù)雜的。( ,) ( , )f 5

7、.2 圖像退化模型LOGO ( , ),d d,g x yfh xyn x y 實(shí)際中假設(shè)是白噪聲頻譜密度為常數(shù)，且與圖像不相關(guān)，（一般只要噪聲帶寬比圖像帶寬大得多時(shí)，此假設(shè)成立的），由此得出圖像退化模型。 5.2 圖像退化模型Hf (x,y)n(x,y)LOGO討論恢復(fù)問題討論恢復(fù)問題： 討論的前提是假設(shè)H是線性的，下面一些恢復(fù)方法都是對(duì)上述模型的近似估計(jì)。兩邊進(jìn)行付氏變換，若略去噪音N，得：( , )( , ) ( , )( , )G u vH u v F u vN u vGFH反變換,可求 Ff 5.2 圖像退化模型LOGO 若H有零點(diǎn)，G也有零點(diǎn)出現(xiàn)，0/0的不定值，這樣模型不保證所有

8、逆過程都有解 由于引起退化的因素眾多，而且性質(zhì)不同，目前又沒有統(tǒng)一的恢復(fù)方法，許多人根據(jù)不同的物理模型，采用不同的退化模型、處理技巧和估計(jì)準(zhǔn)則，從而導(dǎo)出了多種恢復(fù)方法有效方法有效方法：針對(duì)特定條件，用特定模型處理5.2 圖像退化模型LOGO對(duì)于圖像降質(zhì)過程進(jìn)行數(shù)學(xué)建模f(i, j)：原始圖像；y(i, j)：降質(zhì)圖像h(i, j; k, l)：點(diǎn)擴(kuò)散函數(shù)圖像為MN維11( , )( , ; , ) ( , )( , )MNkly i jh i j k l f k ln i j假設(shè)為空間移不變h(i, j; k, l)，則：11( , )(,) ( , )( , )( , )( , )( , )

9、MNkly i jh ik jl f k ln i jh i jf i jn i j5.2 圖像退化模型LOGO5.3 圖像復(fù)原的方法v尋找濾波傳遞函數(shù)，通過頻域圖像濾波得到復(fù)原圖像的傅立葉變換，再求反變換，得到復(fù)原圖像 非約束還原 有約束還原 非線性約束還原LOGOv退化模型：v逆過程：復(fù)原圖像：5.3.1 反向?yàn)V波法( , )( , )*( , )( , )g x yh x yf x yn x y( , )( , )*( , ) ( , )* ( , )( , )*( , )( , )( , ) ( , )( , )( , )1( , )( , )( , )( , )( , )( , )I

10、IIIf x yg x yh x yh x yf x yn x yh x yF u vH u v F u vN u v H u vN u vH u vF u vF u vH u vH u v設(shè)：當(dāng)H(u, v)為0或很小時(shí)， ；原點(diǎn)附近：圖像完全被噪聲淹沒，造成噪聲放大 ( , )F u v( , )( , )N u vF u,vH u v（）LOGOv解決方法：去除原點(diǎn)、 設(shè)置原點(diǎn)值原點(diǎn)、鄰域均不計(jì)算 f (x, y)H(u, v) n(x, y) g(x, y)M(u,v)( , )f x y恢復(fù)轉(zhuǎn)移函數(shù)( , )( , ),11/( , )kH u vdM u vk dH u v其中其它

11、 5.3.1 反向?yàn)V波法LOGO5.3.2 約束還原法v維納濾波 維納濾波恢復(fù)正是在假定圖像信號(hào)可近似看作平穩(wěn)隨機(jī)過程的前提下，按照使原圖像f (x, y)與恢復(fù)后的圖像 之間的均方誤差e2達(dá)到最小的準(zhǔn)則，來實(shí)現(xiàn)圖像恢復(fù)。即： 滿足這一要求的轉(zhuǎn)移函數(shù)為：22m in ,eEfxyfxy2,wnfHu vHu vSu vHu vSu vnfSS噪聲圖像功率譜原始圖像功率譜fLOGOv 現(xiàn)象1）H(u, v)=0，無病態(tài)現(xiàn)象，分母不為02）SNR高時(shí)，同反向?yàn)V波法3）SNR低時(shí)，效果不滿意v原因 維納濾波是基于平穩(wěn)隨機(jī)過程模型，且假設(shè)退化模型為線性空間不變系統(tǒng)的原因，這與實(shí)際情況存在一定差距。另外

12、，最小均方誤差準(zhǔn)則與人的視覺準(zhǔn)則不一定匹配5.3.2 約束還原法LOGOv最大平滑復(fù)原 準(zhǔn)則：以函數(shù)平滑為基礎(chǔ) 1）使函數(shù)的二階導(dǎo)數(shù)為最小。二階導(dǎo)數(shù)是突出圖像邊緣、輪廓約束條件： 約束最小二乘需反復(fù)迭代才能完成2222*22min010( , )PSF:( , )( , )141( , )( , )010CffxyHu vHu vp x yH u vP u v5.3.2 約束還原法LOGO2）用內(nèi)積來考察函數(shù)f 的平滑性2222*2()( , ):( , )( , )nuCgH fNgfhHu vTFHu vH u v 約束條件：退化圖像復(fù)原圖像系統(tǒng)脈沖響應(yīng)濾波器的5.3.2 約束還原法LOG

13、O5.4 運(yùn)動(dòng)模糊圖像的復(fù)原v退化的原因?yàn)橐阎獀對(duì)退化過程有先驗(yàn)知識(shí)，如希望能確定PSF和噪聲特性 即確定： h(x, y)與n(x, y) g(x, y)=H f (x, y)+n(x, y)LOGO5226,expH u vc uv1根據(jù)導(dǎo)致模糊的物理過程（先驗(yàn)知識(shí)）1）大氣湍流造成的傳遞函數(shù) PSF5.4.1 模糊模型c：與湍流性質(zhì)有關(guān)的常數(shù)LOGO2）光學(xué)系統(tǒng)散焦傳遞函數(shù) 12212120 d, d:1arg221kkkkJHu vuvdJZZJZZkk這 里 ：光 學(xué) 系 統(tǒng) 散 焦 點(diǎn) 擴(kuò) 散 函 數(shù) 的 直 徑 。第 一 類 一 階 貝 塞 爾 函 數(shù)當(dāng)光學(xué)系統(tǒng)散焦時(shí)，點(diǎn)光源的像

14、將成圓盤。從公式可看出，散焦系統(tǒng)的傳遞函數(shù)在以原點(diǎn)為中心，d為半徑處存在零點(diǎn)，形成一些同心的暗環(huán)，由散焦圖像的頻譜上估計(jì)出這些同心圓的半徑，可得到H（u, v）5.4.1 模糊模型LOGO均勻聚焦不準(zhǔn)模糊 相機(jī)聚焦不準(zhǔn)確引起，（不聚焦由許多參數(shù)決定：如相機(jī)的焦距、相機(jī)孔的大小、形狀、物體和相機(jī)之間的距離等）2221,( , )0, ijRh i jR其他在研究中為了簡(jiǎn)單起見，用下列函數(shù)表示聚焦不準(zhǔn)引起的模糊：5.4.1 模糊模型LOGO 000( , ),dTg x yf x x t y y tt模糊后圖像任意點(diǎn)的值 ：sin ( , ) cossinllwH u vlww uv 由于運(yùn)動(dòng)造成

15、的點(diǎn)的位移長度與水平方向成 角特點(diǎn)：圖像的頻譜在垂直于該方向上存在暗直線，可估出 的大小，運(yùn)動(dòng)方向 也可由圖像的頻譜估計(jì)出來l已知：設(shè)相機(jī)不動(dòng)，對(duì)象運(yùn)動(dòng)，運(yùn)動(dòng)分量x,y分別為x0(t)，y0(t)相機(jī)快門速度是理想的，快門開啟時(shí)間（曝光時(shí)間）T。 3）勻速直線運(yùn)動(dòng)模糊下的PSF 相機(jī)與景物之間相對(duì)運(yùn)動(dòng)造成圖像降質(zhì)，H(u, v) 運(yùn)動(dòng)模糊：5.4.1 模糊模型LOGO2由圖像中的點(diǎn)或線估計(jì)（后驗(yàn)知識(shí)）1）原始景物中有一清晰的點(diǎn)或點(diǎn)光源。由所成的像得到退化系統(tǒng)的PSF；2）原始景物中確定一條線，成像，由直線產(chǎn)生模糊，根據(jù)模糊可以測(cè)定在于邊緣垂直方向上的PSF斷面曲線，得出一維PSF，如果PSF對(duì)

16、稱，旋轉(zhuǎn)一維PSF得到二維PSF。5.4.1 模糊模型LOGO3由功率譜估計(jì)PSF4噪聲n(x,y)的確定相關(guān)、不相關(guān)兩類。一般假設(shè)：白色噪聲，與圖像無關(guān)。其頻譜密度為常數(shù)。只要噪聲帶寬遠(yuǎn)大于圖像帶寬即可作白噪聲處理從退化圖像大塊平坦區(qū)中估計(jì)，一般不具備噪聲先驗(yàn)知識(shí)。不同方法要不同特征參數(shù)方差，頻譜5.4.1 模糊模型LOGO5.4.2 水平勻速直線運(yùn)動(dòng)引起模糊的復(fù)原v 如果模糊圖像是由景物在x方向上作均勻直線運(yùn)動(dòng)造成的，則模糊后圖像任意點(diǎn)的值為 去除由x方向上均勻運(yùn)動(dòng)造成的圖像模糊后恢復(fù)圖像的表達(dá)式 00( , )( ), dTg x yf xx tyt1000( , )(, )(, )mK

17、mkmkf x yAg xka yg xka yKLOGOa) 原始圖像 b) 模糊圖像 c) 復(fù)原圖像運(yùn)動(dòng)模糊圖像的恢復(fù)處理5.4.2 水平勻速直線運(yùn)動(dòng)引起模糊的復(fù)原LOGO5.5 圖像的幾何校正5.5.1 幾何畸變的描述5.5.2 幾何校正LOGOv例： 從太空中宇航器拍攝的地球上的等距平行線，圖像會(huì)變?yōu)橥嵝被虿坏染?；用光學(xué)和電子掃描儀攝取的圖像常會(huì)有桶形畸變和枕形畸變；用普通的光學(xué)攝影與測(cè)試?yán)走_(dá)拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。v 以一副圖像為基準(zhǔn)，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的幾何畸變復(fù)原或者幾何畸變校正。5.5 圖像的幾何校正LOGOv 幾

18、何校正就是一種幾何變換，是圖像的幾何畸變的反運(yùn)算，與幾何變換類似，幾何校正是由輸出圖像像素坐標(biāo)反算輸入圖像坐標(biāo)，然后通過灰度再采樣求出輸出像素灰度值。v 圖像幾何校正的兩個(gè)步驟 (1)空間變換：對(duì)圖像平面上的像素進(jìn)行重新排列以 恢復(fù)原空間關(guān)系 (2)灰度插值：對(duì)空間變換后的像素賦予相應(yīng)的灰度 值以恢復(fù)原位置的灰度值5.5 圖像的幾何校正LOGO5.5.1 幾何畸變的描述 f (x, y) g(x, y) 幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用(x, y)來表示，需要校正的圖像的坐標(biāo)系統(tǒng)用(x, y)表示設(shè)兩個(gè)圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示11001100NNijijijNNijijijxa x yyb

19、x y通常h1(x,y)和h2(x,y)用多項(xiàng)式來表示：12( , )( , )xh x yyh x yLOGOv 通常用線性畸變來近似較小的幾何畸變v 更精確一些可以用二次型來近似v 若基準(zhǔn)圖像為f(x, y)，畸變圖像為g(x, y)，對(duì)于景物上的同一個(gè)點(diǎn)，假定其灰度不變，則5.5.2 幾何校正012012xaa xa yybb xb y2201234522012345xaa xa ya xa xya yybb xb yb xb xyb y( , )( ,)f x yg x yLOGOv幾何變換 通常用已知的多對(duì)對(duì)應(yīng)點(diǎn)來確定系數(shù)a, b 線性畸變 可由基準(zhǔn)圖找出三個(gè)點(diǎn)(x1, y1), (x2, y2), (x3, y3)與畸變圖像上三 個(gè)點(diǎn)(x1, y1), (x2, y2), (x3, y3)一一對(duì)應(yīng)。012012xaa xa yybb xb y5.5.2 幾何校正LOGO將對(duì)應(yīng)點(diǎn)代入，有： 解聯(lián)立方程組，得出6個(gè)系數(shù)。111022213332111022213332x1xyx1xyx1xyy1xyy1xyy1xyaaabbb5.5.2 幾何校正LOGO二次畸變2201234522012345xaa xa ya xa xya yybb xb yb xb xy