07通信圖像配準初稿

1、科技學院 2011 屆本科圖像超分辨算法的研究與實現圖像配準專業(yè)：通信工程指導教師：劉洪：周靖學生學生學號： 072004111473中國貴陽2011 年 5 月圖像超分辨算法研究與實現圖像配準摘要超分辨算法是增強圖像或分辨率的技術，它的目的是使輸出的圖像或的分辨率比輸入的任意幀的分辨率都高。隨著社會的發(fā)展，科學進步越來越快，人們對醫(yī)學，遙感，軍事，天文等各方面的圖像質量的要求也越來越精細，這樣將有效的提高目標的識別能力和定位測量的精度。由于某些物理條件的限制，人們得到的往往是低分辨率圖像，這就不能滿足人們的需要，于是人們利用多幅低分辨圖像來重建獲得超分辨圖像。超分辨圖像的重建主要利用低分辨率

2、圖像之間存在著像素內位移，而這些不同位移的低分辨率圖像均含有原始高分辨率圖像的信息，這也是超分辨率圖像重建的依據。圖像超分辨重建技術通常由配準和重建兩個串行的步驟：首先利用子像素級的圖像配準技術將所有的低分辨率圖像變換到高分辨率圖像的坐標系統(tǒng)中，然后利用重建算法對這些不規(guī)則的采樣點進行超分辨率重建，以此獲得高分辨率的圖像。對低分辨率圖像進行精確配準是實現圖像超分辨重建的關鍵。因此，本文主要研究的是圖像配準的方法以及圖像配準的實現。：超分辨率重建；圖像配準；配準算法Image super resolution algorithms and implemenionImage registratio

3、nAbstractSuper resolution algorithm is enhanced image orresolution technology, its pureis to make the output image orresolutionn any frame resolution input is higher.With the development of society, the scientific progress faster, people to medical, remotesensing, military, astronomy and so on vario

4、us aspects of image quality requirements areincreasingly fine, so as to improve measurement.Because some physical limirecognition ability anditioning the accuracy ofions, people get is often low resolution image, it cansatisfy peoples needs, so people use of low resolution image to rebuild get super

5、 resolutionimages. Super resolution image reconstruction main use low resolution image exist betnpixel displacement, and these different withhe displacement of low resolution images arecontains original high-resolution images of information, this is also the basis ofsuper-resolution reconstruction i

6、mage. Image super resolution reconstruction techniqueusually consists of registration and reconstruction two serial steps constitute:sub-pixel levels of image registration technology will all the low resolution imageusetransformation to high resolution image coordinate system, and by using the recon

7、structionalgorithm of sresolution images.ling of these irregular po, super-resolution reconstruction to obtain highAccuraow-resolution images to achieve image registration is the key tosuper-resolution reconstruction. Therefore, this pmethod and image registration is realized.r mainly studies is ima

8、ge registrationKey wordper resolution reconstruction，Image registration ，Registration algorithm摘要IAbstract.II第一章緒論11.1研究背景11.2超分辨重建基本流程21.3超分辨重建與圖像配準的關系21.4關于的相關介紹第二章 圖像配準2.1 圖像配準定義2.2 圖像變換類型2.3 圖像配準算法分類第三章 圖像配準算法介紹3.1 空域圖像配準3.1.1 基于級數展開的配準算法3.1.2 基于梯度的方法3.2 基于塊的配準算法3.2.1 HBS 算法3.2.2 MVCB 算法3.3 基于光流

9、的配準算法3.3.1 多分辨分層算法3.3.2 基于背景配準的光流算法第四章 keren 算法Keren 算法原理Keren 算法實現流程超分辨重建插值算法第五章實驗結果5.1 Keren 配準與超分辨重建結果致謝參考文獻第一章 緒論隨著圖像處理應用的發(fā)展，對圖像的分辨率的要求越來越高。人們曾提出通過使用高精密度的成像設備，來提高獲取圖像的分辨率，但這種僅通過改善硬件設備的方給使用者帶來較高的費用支出，同時硬件改善的技術非常，而且很難在短時間內克服。因此又有人提出從方面著手，采用超分辨率重建技術來提高圖像分辨率有著極大的實用價值，并且較于通過硬件改善來獲得要簡單得多。超分辨率重建需要解決以下問

10、題：首先利用子像素級的圖像配準技術將所有的低分辨率圖像變換到高分辨率圖像的坐標系統(tǒng)中，然后利用重建算法對這些不規(guī)則的采樣點進行超分辨率重建，以此獲得高分辨率的圖像。為了實現超分辨率重建算法，需要尋找輸入序列中圖像之間高度精確的點對點的對應關系，該過程即為圖像配準。本章簡述了本課題的研究背景、圖像超分辨重建的基本知識和圖像超分辨重建和圖像配準的關系，以及的基本介紹。1.1 研究背景人類的認知過程里有很大一部分是通過圖像來獲取，高分辨的圖像可以為人們更好的處理問題提供有用的信息。因此，高分辨率的圖像在諸多領域都們不斷地追求著，例如，圖像的目標識別，地質結構的分析，醫(yī)學圖像的等，都對圖像的分辨率有著

11、極高的要求。但是人們以前通過提高成像設備的精度來獲取高分辨圖像的想法，由于受到在圖像時的氣候，運動，噪聲等的影響，導致圖像的模糊和變形，使圖像的分辨率下降，從而不能夠滿足科研的需要。再者，高精度的成像設備價格昂貴，在普通的應用中無法使用，另一方面，由于成像系統(tǒng)受其傳感器陣列密度的限制，高密度的圖像傳感器目前已接近極限，例如在 0351m 的CMOS 技術水平下，一個像素的面積為 40m 2，難以進一步減小。提高空間分辨率的另法是增加尺寸，但它會導致電容的增加，電容的增加會減慢電流的傳輸，因此增加的尺寸的方法被認為是無效的。由于以上的情況，越來越多的人開始關注應用的方式獲得高分辨圖像的方法，這種

12、方法被稱為圖像超分辨重建技術。分辨率通常是指成像系統(tǒng)的分辨率和顯示或硬拷貝輸出圖像的信源總數，其中成像系統(tǒng)的分辨率與成像過的光學系統(tǒng)有關。超分辨率重建技術旨在同時改善這兩個方面的分辨率。目前，圖像超分辨重建已經在很多領域廣泛應用，如圖像，醫(yī)學研究，系統(tǒng)等，因此圖像超分辨重建技術的研究具有十分重要的意義。1.2 超分辨重建基本流程超分辨重建是通過輸入的低分辨率圖像來估計輸出的高分辨圖像，它的主要流程有：（1）.圖像配準，對低分辨率圖像組進行配準。圖像配準是在各幀圖像之間尋找最佳的變換，使圖像的內容達到空間上對齊；（2）.高分辨率插值，配準后的圖像被投影到高分辨率網格上時是非均勻分布的，因此，需要

13、再通過直接的或迭代的插值過程產生均勻一致的高分辨率圖像；（3）.消除模糊噪聲，經過以上 2 步后得到的圖像還只是高分辨率圖像的一個模糊、含噪的版本，需對其進行圖像復原以消除模糊和噪聲。1.3 超分辨重建與圖像配準的關系圖像超分辨重建技術通常由配準和重建兩個串行的步驟：首先利用子像素級的圖像配準技術將所有的低分辨率圖像變換到高分辨率圖像的坐標系統(tǒng)中，然后利用重建算法對這些不規(guī)則的采樣點進行超分辨率重建，以此獲得高分辨率的圖像。圖像配準是圖像超分辨重建的取得成功與否的一個重要環(huán)節(jié)。由于配準算法只能利用低分辨率圖像序列上的信息，所以，很難達到精確的配準精度，而不精確的圖像配準造成的影響比缺少配準信息

14、的更大，所以具有子像素精度的圖像配準算法十分重要。雖然目前已經研究出了許多配準算法，但在實際應用中仍然無法獲得令人滿意的效果，同時這些配準算法的適用場合也是非常有限的。因此需要尋求一種更為可行的算法這有可能同時提高配準精度和重建算法的效果，提高其精度和拓寬其適用的范圍。1.4 關于的相關介紹是矩陣（Matrix Laboratory）的簡稱，是Math Works公司的商業(yè)數學，用于算法開發(fā)、數據可視化、數據分析以及數值計算的高級技術計算語言和交互式環(huán)境，主要包括和兩大部分。1.4.1 基本功能主要面對科學計算、可視化以及交互式程序設計的高科技計算環(huán)境。它將數值分析、矩陣計算、科學數據可視化以

15、及非線性動態(tài)系統(tǒng)的建模和仿真等諸多強大功能集成在一個易于使用的視窗環(huán)境中，為科學研究、工程設計以及必須進行有效數值計算的眾多科學領域提供了一種全面的解決方案，并在很大程度上擺脫了傳統(tǒng)非交互式程序設計語言（如 C、Fortran）的編輯模式，代表了國際科學計算的先進水平。它在數學類科技應用中在數值計算方面首屈一指?？梢赃M行矩陣運算、繪制函數和數據、實現算法、創(chuàng)建用戶界面、連接其他編程語言的程序等。1.4.2 應用可以用來做以下工作：數值分析；數值和符號計算；工科學繪圖；控制系統(tǒng)的設計與仿真； 數字圖像處理技術；數字信號處理技術；通訊系統(tǒng)設計與仿真；財務與金融工程。其主要的應用領域是：工程計算、控

16、制設計、信號處理與通訊、圖像處理、信號檢測、金融建模設計與分析。的基本數據是矩陣，它的指令表達式與數學、工常用的形式十分相似，故用來解算問題要比用 C，FORTRAN 等語言完成相同的事情簡捷得多，并且也吸收了像 Maple等的優(yōu)點,使成為一個強大的數學。1.4.3 特點具有如下特點：1）高效的數值計算及符號計算功能,使用戶從繁雜的數算分析中解脫出來;2)具有圖形處理功能,實現計算結果和編程的可視化;3)友好的用戶界面及接近數學表達式的自然化語言,使學者易于學習和掌握;4)功能豐富的應用工具箱(如信號處理工具箱、通信工具箱等) ,為用戶提供了大量方便實用的處理工具。1.4.4 優(yōu)勢（1）友好的

17、工作和編程環(huán)境；（2）簡單易用的程序語言；（3）強大的科學計算機數據處理能力；（4）出色的圖形處理功能；（5）應用廣泛的模塊集合工具箱；（6）實用的程序接口和發(fā)布；（7）應用的開發(fā)。本文所用到的是的部分。第二章 圖像配準由于社會的不斷發(fā)展，圖像配準已在多種領域廣泛。通過對圖像超分辨的學習和研究，使圖像配準能為社會來長足進步，令學生在領域應用所學知識，而且學生可以根據自身的行動的反饋來形成對客觀事物的認識和解決實際問題的方案，從而提高圖像配準在各方面的質量和精度，從而使圖像配準在軍事科研，影視等方面進一步提高。2.1 圖像配準定義圖像配準(Image registration)就是將不同時間、不

18、同傳感器或不同氣候、照度、攝像位置和角度等條件下獲取的兩幅或多幅圖像進行匹配、疊加的過程。簡而言之，圖像配準的過程就是尋求圖像間一對一的過程，是將圖像中對應于空間同一位置的點聯系起來。如果待融合圖像能夠很好的經過亞像素精度的配準，就可以通過有效的融合算法得到滿意的融合圖像。配準結果的好壞直接影響圖像融合的結果。(1).圖像配準模型假設有給定尺寸的二維矩陣I1和I2代表兩幅圖像I1(x，y)和I2(x，y)分別表示相應位置(x，y)上的灰度值，則圖像間的可表示為：X1X2X3X4X7X5X8X6X9（a）中心點在垂直方向上的偏導基于特征的算法、基于光流的算法、基于塊的算法、像素遞歸算法和最大后驗

19、概率算法。a).基于級數展開的算法，對圖像幀之間運動較小的情況能獲得比較精確的配準精度，可以用迭代法求解具有較大偏移量和旋轉角的圖像；b).基于特征的算法是利用提取到的特征完成幀間圖像特征之間的匹配，通過特征的匹配關系建立圖像間的配準變換，通常所用到的圖像特征有：角點、高曲率點、直線段、邊緣、重心等等；c).基于光流的算法依賴于亮度值的瞬間變化(光流是指圖像中的亮度模式在運動過的表觀速度)。它包含有兩個方程：光流方程和在求解速度矢量的兩個分量的過所必需的方程；d).基于塊的算法是將各圖像幀分解成圖像塊，并假設圖像塊中的像素具有大致相同的運動；e).像素遞歸算法是在某一像素的因果鄰域上獲得位移幀

20、差值的最小值，這個過程可以遞歸更新該像素的配準情況；f).最大后驗概率算法在最近幾年已成為研究的熱點。這些算法的優(yōu)點是可以產生精確的配準精度，缺點是運算復雜度很高。（2）.頻域法頻域法利用相位差來實現圖像配準，通過兩副圖像的相位相關性可獲得與頻率相關的噪聲的特性。大多數頻率域的方法基于這樣的事實: 兩幅相對平移的圖像在頻率域上表現為相位的移動, 兩者相位相關性就可以估計平移值。而旋轉和縮放尺度的估計, 是通過對頻譜的幅值作對數極變換, 將估計旋轉和縮放問題轉換成估計水平與垂直平移問題后, 再用相位相關法估計。這種算法局限于全局運動模型，對圖像轉換形式較為復雜的情況為力，而且它既不能考慮圖像模糊

21、對圖像運動的影響，也不能加入運動的先驗約束。第三章 圖像配準算法介紹圖像配準的基本流程如下：第一步，先對兩幅圖的特征點進行提??；第二部，通過進行相似性度量找到匹配的特征點對；第三部，再通過匹配的特征點對得到圖像空間坐標變換參數；最后，再由空間變換參數進行配準。3.1 空域圖像配準空間域的方法通常考慮一般的運動模型，可以基于整個圖像或是選擇一些相應的特征向量。以下介紹兩種空域配準方法。3.1.1 基于級數展開的配準算法Keren 等提出了基于展開的圖像配準方法。該方法對噪聲具有一定的魯棒性,但由于取級數的近似值, 適用于估計位移變化不大的配準問題，對于有較大的偏移量和旋轉角的情況可通過迭代的方法

22、求解。該算法的如下:假定g和f分別表示位移前后的圖像，a是水平位移，b是垂直位移，旋轉角為其中b) 經過計算得到運動參數的近似值, 將解加到已有的運動估計上;c) 用b) 中得到的運動估計調整f再將調整后的f代入步驟b) 。迭代一次, f對運動參數的修正越來越小, 參數也越來越精確。近g一步,3.2基于塊的配準算法基于塊的配準算法是把一幀實時圖像分為若干個大小相等的子圖像塊，將每一子圖像塊作為模板在相鄰參考幀圖像中的一定搜索范圍內進行相關計算，根據匹配準則，找出最優(yōu)匹配位置，該位置對應的二維位移偏移量(dx,dy)即可作為模板子圖像塊運動速度矢量的估計值。其運算量和配準效果主要取決于匹配準則和

23、搜索策略兩個。匹配準則是判斷塊相似程度及最優(yōu)點的依據,它的好壞將直接影響配準效果的好壞。目前，有四種常用的匹配準則：最小絕對差(MAD)、最小均方誤差(MSE)、歸一化互相關函數(NCCF)和求和絕對差(SAD)。搜索策略是指在搜索范圍內如何選取匹配操作的搜索位置，以及在這些操作位置上如何應用匹配準則。3.2.1基于塊的梯度下降法HBS(horizon-bias search)算法是一種基于水平偏置中心分布模型的搜索算法，它使用了兩個偏向性的模板，其收索模板模型符合運動矢量的真實分布規(guī)律，有利于快速找到最佳運動矢量，且遍歷一次模板所搜索的總點數更少，因而運動矢量分布在搜索中心及其附近，只需進行

24、一次模板搜索。因此，HBS算法比其他算法(如DS、HEXBS等)速度更快。3.2.2 MVCB算法MVCB(motion vector correlation based motionestimation algorithm)算法是基于運動矢量相關性的自適應運動估計搜索算法。其步驟如下：（1）根據當前塊的坐標判斷是否處于圖像幀的邊沿。若當前塊為幀的第一行、第一列或最后一列宏塊，則跳至步驟(4)，否則，轉至步驟(2）；（2）根據矢量相關閾值，判斷當前宏塊左、上和右上3個相鄰運動矢量間的相關性。若3個矢量兩兩相關，則宏塊為相關類型宏塊，轉至步驟(3)；若3個矢量不為兩兩相關，則宏塊為獨立類型宏塊，

25、跳至步驟（4）；（3）取3個相鄰運動矢量為候選搜索中心，每個中心以及其上、下、左和右4個相鄰點為候選搜索點，遍歷候選搜索點，其中，對相互的點僅執(zhí)行一次搜索。得到的最優(yōu)匹配點對應的矢量即為當前塊的運動矢量。跳至步驟(5)。（4）用HBS算法進行運動搜索得到當前宏的運動矢量。（5）搜索結束。一般的基于塊的配準算法固定塊的大小，因此存在如何選擇合適的塊大小問題。采用大圖像塊的優(yōu)點是配準的穩(wěn)定性較高，缺點是配準的精度較低；而采用小圖像塊的特點則與大圖像塊正好相和以上兩者的優(yōu)點，可以采用分級塊配準算法來獲取超分辨重建所需的子像素位移矢量。3.3 基于光流的配準算法光流是場景中可見點的三維速度矢量在像平面

26、的投影，基于光流的配準算法是用從圖像序列中估算出的各目標的運動信息來確定圖像間目標或點的對應關系或相對形變的算法。它利用了時空圖像亮度梯度來對圖像像素點的光流場進行估計?；诠饬鞯乃惴ň哂兄T多優(yōu)點：(1)可以基本正確地檢測子像素級的移動距離，精度較高；(2)與前兩種配準算法相比，能檢測相對復雜的運動；(3)具有較好的穩(wěn)健性，易于實現。下面介紹兩種基于光流的算法。3.3.1 多分辨分層算法多分辨分層算法首先由金字塔分解成不同的分辨層，然后再將最低分辨層計算好的流速到下一層，并最為流速初始值，再做進一步修正。多分辨分層算法克服了微分光流算法在計算高運動速度時帶來，提高了計算精度。下面給出了偏微分方程：第四章 keren 算法Keren算法屬于梯度算法,它是基于級數展開的配準方法，是Lucas - Kanade平移變換算法的基礎上擴展到旋轉 -