圖像融合算法概述

1、精選優(yōu)質(zhì)文檔-傾情為你奉上圖像融合算法概述摘要：詳細介紹了像素級圖像融合的原理 ,著重分析總結(jié)了目前常用的像素級圖像融合的方法和質(zhì)量評價標準,指出了像素級圖像融合技術(shù)的最新進展 ,探討了像素級圖像融合技術(shù)的發(fā)展趨勢。關(guān)鍵詞：圖像融合; 多尺度變換; 評價標準Abstract: This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically andsummed up the present routine algorithm of image f

2、usion at pixel level and evaluation criteria of its quality. It pointed out therecent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixellevel.Key words: image fusion; multi-scale transform; evaluation criteria1.引言：圖像融合是通過一個數(shù)學(xué)模型把來自

3、不同傳感器的多幅圖像綜合成一幅滿足特定應(yīng)用需求的圖像的過程, 從而可以有效地把不同圖像傳感器的優(yōu)點結(jié)合起來, 提高對圖像信息分析和提取的能力 1 。近年來, 圖像融合技術(shù)廣泛地應(yīng)用于自動目標識別、計算機視覺、遙感、機器人、醫(yī)學(xué)圖像處理以及軍事應(yīng)用等領(lǐng)域。圖像融合的主要目的是通過對多幅圖像間冗余數(shù)據(jù)的處理來提高圖像的可靠性; 通過對多幅圖像間互補信息的處理來提高圖像的清晰度。根據(jù)融合處理所處的階段不同,圖像融合通?？梢詣澐譃橄袼丶?、特征級和決策級。融合的層次不同, 所采用的算法、適用的范圍也不相同。在融合的三個級別中, 像素級作為各級圖像融合的基礎(chǔ), 盡可能多地保留了場景的原始信息, 提供其他融

4、合層次所不能提供的豐富、精確、可靠的信息, 有利于圖像的進一步分析、處理與理解, 進而提供最優(yōu)的決策和識別性能.2. 圖像融合算法概述2.1 圖像融合算法基本理論相對圖像融合的其他層次, 像素級圖像融合是直接在采集到的原始圖像上進行的, 在各種傳感器原始數(shù)據(jù)未經(jīng)特征提取與分類前就進行數(shù)據(jù)綜合與分析, 是最低層次上的融合。在某些場合( 如目標識別) , 實施像素級圖像融合之前, 有時需要先對參加融合的各圖像進行預(yù)處理( 如圖像增強、降噪等) , 其目的是提高檢測性能。不過這種預(yù)處理并非必需, 但對參加融合的各圖像必須進行精確的配準。其配準精度應(yīng)達到像素級。像素級圖像融合通過互補信息的有機集成,

5、可以減少或抑制單一信息對被感知對象或環(huán)境解釋中可能存在的多義性、不完整性、不確定性和誤差, 最大限度地利用各種信息源提供的信息, 從而大大提高在特征提取、分類、目標識別等方面的有效性 2 。圖1 給出了像素級圖像融合的結(jié)構(gòu)示意圖。2.2基于非多尺度變換的圖像融合方法2.2.1平均與加權(quán)平均方法加權(quán)平均方法將原圖像對應(yīng)像素的灰度值進行加權(quán)平均,生成新的圖像, 它是最直接的融合方法。其中平均方法是加權(quán)平均的特例。使用平均方法進行圖像融合, 提高了融合圖像的信噪比, 但削弱了圖像的對比度, 尤其對于只出現(xiàn)在其中一幅圖像上的有用信號。2.2.2像素灰度值選大( 或小) 圖像融合方法假設(shè)參加融合的兩幅原

6、圖像分別為A、B, 圖像大小均為MN, 融合圖像為F, 則針對原圖像A、B 的像素灰度值選大( 或小) 圖像融合方法可表示為 F( m, n) =max( or min) A( m, n) , B( m, n) 其中: m、n 分別為圖像中像素的行號和列號。在融合處理時, 比較原圖像A、B 中對應(yīng)位置( m, n) 處像素灰度值的大小, 以其中灰度值大( 或小) 的像素作為融合圖像F 在位置( m, n) 處的像素。這種融合方法只是簡單地選擇原圖像中灰度值大( 或小) 的像素作為融合后的像素, 對待融合的像素進行灰度增強( 或減弱) , 因此該方法的實用場合非常有限。2.2.3 基于PCA 的

7、圖像融合方法PCA 圖像融合方法首先用三個或以上波段數(shù)據(jù)求得圖像間的相關(guān)系數(shù)矩陣, 由相關(guān)系數(shù)矩陣計算特征值和特征向量,再求得各主分量圖像; 然后將高空間分辨率圖像數(shù)據(jù)進行對比度拉伸, 使之與第一主分量圖像數(shù)據(jù)具有相同的均值和方差;最后用拉伸后的高空間分辨率圖像代替第一主分量, 將它與其他主分量經(jīng)PCA 逆變換得到融合圖像。PCA 融合算法的優(yōu)點在于它適用于多光譜圖像的所有波段; 不足之處是在PCA 融合算法中只用高分辨率圖像來簡單替換低分辨率圖像的第一主成分, 故會損失低分辨率圖像第一主成分中的一些反映光譜特性的信息, 使得融合圖像的光譜畸變嚴重。只按統(tǒng)計的思想, 不考慮圖像各波段的特點是P

8、CA融合算法的致命缺點。2.2.4 基于調(diào)制的圖像融合方法借助通信技術(shù)的思想, 調(diào)制技術(shù)在圖像融合領(lǐng)域也得到了一定的應(yīng)用 3, 4 , 并在某些方面具有較好的效果。用于圖像融合上的調(diào)制手段一般適用于兩幅圖像的融合處理, 具體操作一般是將一幅圖像進行歸一化處理; 然后將歸一化的結(jié)果與另一圖像相乘; 最后重新量化后進行顯示。用于圖像融合上的調(diào)制技術(shù)一般可分為對比度調(diào)制技術(shù)和灰度調(diào)制技術(shù)。2.2.5 非線性方法將配準后的原圖像分為低通和高通兩部分, 自適應(yīng)地修改每一部分, 然后再把它們?nèi)诤铣蓮?fù)合圖像。文獻 5 采用自適應(yīng)的非線性處理方法融合可見光和紅外圖像。2.2.6 邏輯濾波方法邏輯濾波方法是一種

9、利用邏輯運算將兩個像素的數(shù)據(jù)合成為一個像素的直觀方法, 例如當兩個像素的值都大于某一閾值時, “與”濾波器輸出為“1”( 為“真”) 。圖像通過“與”濾波器而獲得的特征可認為是圖像中十分顯著的成分。2.2.7 顏色空間融合法顏色空間融合法的原理是利用圖像數(shù)據(jù)表示成不同的顏色通道。簡單的做法是把來自不同傳感器的每幅原圖像分別映射到一個專門的顏色通道, 合并這些通道得到一幅假彩色融合圖像。該類方法的關(guān)鍵是如何使產(chǎn)生的融合圖像更符合人眼視覺特性及獲得更多有用信息。Toet 等人將前視紅外圖像和微光夜視圖像通過非線性處理映射到一個彩色空間中, 增強了圖像的可視性 6 。文獻 7 研究表明, 通過彩色映

10、射進行可見光和紅外圖像的融合, 能夠提高融合結(jié)果的信息量, 有助于提高檢測性能。2.2.8 最優(yōu)化方法最優(yōu)化方法為場景建立一個先驗?zāi)Ｐ? 把融合任務(wù)表達成一個優(yōu)化問題, 包括貝葉斯最優(yōu)化方法和馬爾可夫隨機場方法。貝葉斯最優(yōu)化方法的目標是找到使先驗概率最大的融合圖像。文獻 8 提出了一個簡單的自適應(yīng)算法估計傳感器的特性與傳感器之間的關(guān)系, 以進行傳感器圖像的融合; 文獻 9 提出了基于圖像信息模型的概率圖像融合方法。馬爾可夫隨機場方法把融合任務(wù)表示成適當?shù)拇鷥r函數(shù), 該函數(shù)反映了融合的目標, 模擬退火算法被用來搜索全局最優(yōu)解。文獻 10 提出了基于匹配圖像相似性的Markov 融合模型; 文獻

11、11 提出了一種只考慮圖像邊緣圖構(gòu)造的馬爾可夫隨機場,與迭代條件共同使用, 可實現(xiàn)圖像的實時融合。2.2.9 人工神經(jīng)網(wǎng)絡(luò)方法受生物界多傳感器融合的啟發(fā), 人工神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖像融合技術(shù)中。神經(jīng)網(wǎng)絡(luò)的輸入向量經(jīng)過一個非線性變換可得到一個輸出向量, 這樣的變換能夠產(chǎn)生從輸入數(shù)據(jù)到輸出數(shù)據(jù)的映射模型, 從而使神經(jīng)網(wǎng)絡(luò)能夠把多個傳感器數(shù)據(jù)變換為一個數(shù)據(jù)來表示。由此可見, 神經(jīng)網(wǎng)絡(luò)以其特有的并行性和學(xué)習(xí)方式, 提供了一種完全不同的數(shù)據(jù)融合方法。然而, 要將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用到實際的融合系統(tǒng)中, 無論是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計還是算法規(guī)則方面, 都有許多基礎(chǔ)工作有待解決, 如網(wǎng)絡(luò)模型、網(wǎng)絡(luò)的層次和每一層的節(jié)點數(shù)、

12、網(wǎng)絡(luò)學(xué)習(xí)策略、神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)的分類方法的關(guān)系和綜合應(yīng)用等。目前應(yīng)用于圖像融合有三種網(wǎng)絡(luò): a)雙模態(tài)神經(jīng)元網(wǎng)絡(luò)。文獻 12 提出六種類型的雙模態(tài)神經(jīng)元用于可見光和紅外圖像的融合。b) 多層感知器。Fechner 和Godlewski 提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的圖像融合方法 13 , 通過訓(xùn)練多層感知器識別前視紅外圖像中感興趣的像素, 將其融入可見光圖像中。c) 脈沖耦合神經(jīng)網(wǎng)絡(luò)( PCNN) 。Broussard 等人借助該網(wǎng)絡(luò)實現(xiàn)圖像融合來提高目標的識別率 14 , 并證實了PCNN用于圖像融合的可行性。 2.3基于多尺度變換的圖像融合方法基于多尺度變換的圖像融合方法是像素級圖像融合

13、方法研究中的一類重要方法?；诙喑叨茸儞Q的融合方法的主要步驟 15 為: 對原圖像分別進行多尺度分解, 得到變換域的一系列子圖像; 采用一定的融合規(guī)則, 提取變換域中每個尺度上最有效的特征, 得到復(fù)合的多尺度表示; 對復(fù)合的多尺度表示進行多尺度逆變換, 得到融合后的圖像。2.3.1 基于金字塔變換的圖像融合方法Burt 最早提出基于拉普拉斯金字塔變換的融合方法 16 。該方法使用拉普拉斯金字塔和基于像素最大值的融合規(guī)則進行人眼立體視覺的雙目融合, 實際上該方法是選取了局部亮度差異較大的點。這一過程粗略地模擬了人眼雙目觀察事物的過程。用拉普拉斯金字塔得到的融合圖像不能很好地滿足人類的視覺心理。在

14、文獻 17 中, 比率低通金字塔和最大值原則被用于可見光和紅外圖像的融合。比率低通金字塔雖然符合人眼的視覺特征, 但由于噪聲的局部對比度一般都較大, 基于比率低通金字塔的融合算法對噪聲比較敏感, 且不穩(wěn)定。為了解決這一問題, Burt 等人 18 提出了基于梯度金字塔變換的融合方法, 該方法用了匹配與顯著性測度的融合規(guī)則。Richard 等人 19 給出了以上三種金字塔用于圖像融合的定性和定量的結(jié)果。另外, Barron 和Thomas 20 提出一種基于紋理單元的金字塔算法, 它在每層圖像中采用24 個紋理濾波器以獲取不同方向的細節(jié)信息。與梯度金字塔算法相比, 它能夠提取出更多的細節(jié)信息。文

15、獻 21 提出了一種基于形態(tài)學(xué)金字塔變換的圖像融合方法。基于金字塔變換融合方法的優(yōu)點是可以在不同空間分辨率上有針對性地突出各圖像的重要特征和細節(jié)信息, 相對于簡單圖像融合方法, 融合效果有明顯的改善。其缺點是圖像的金字塔分解均是圖像的冗余分解, 即分解后各層間數(shù)據(jù)有冗余;同時在圖像融合中高頻信息損失較大, 在金字塔重建時可能出現(xiàn)模糊、不穩(wěn)定現(xiàn)象; 圖像的拉普拉斯、比率低通、形態(tài)學(xué)金字塔分解均無方向性。2.3.2 基于小波變換的圖像融合方法小波變換技術(shù)具有許多其他時( 空) 頻域所不具有的優(yōu)良特性, 如方向選擇性、正交性、可變的時頻域分辨率、可調(diào)整的局部支持以及分析數(shù)據(jù)量小等。這些優(yōu)良特性使小波

16、變換成為圖像融合的一種強有力的工具。而且, 小波變換的多尺度變換特性更加符合人類的視覺機制, 與計算機視覺中由粗到細的認知過程更加相似, 更適于圖像融合 22 ?；谛〔ㄗ儞Q的圖像融合方法的基本步驟為: 對每一幅原圖像分別進行小波變換, 建立圖像的小波金字塔分解; 對各分解層從高到低分別進行融合處理, 各分解層上的不同頻率分量可采用不同的融合規(guī)則進行融合處理, 最終得到融合后的小波金字塔; 對融合后所得的小波金字塔進行小波逆變換, 所得重構(gòu)圖像即為融合圖像。圖2 給出了基于小波變換的圖像融合方法的結(jié)構(gòu)示意圖。 目前, 基于小波變換的圖像融合方法的研究主要集中在以下幾個方面:a) 融合規(guī)則及融合

17、算子的選擇。在小波圖像融合過程中, 融合規(guī)則及融合算子的選擇對融合質(zhì)量至關(guān)重要, 這直接影響到圖像質(zhì)量的好壞。針對不同類型和特征的圖像, 目前已經(jīng)提出了大量的高、低頻融合規(guī)則。高頻融合規(guī)則主要包括 23 簡單和加權(quán)平均準則、取系數(shù)絕對值較大準則、基于小波模極大值的融合準則、基于區(qū)域能量的融合準則、局部方差準則、局部平均梯度準則、局部均方差準則、消除高頻噪聲法等。通常情況下, 低頻部分融合一般采用平均的線性融合規(guī)則, 但在許多情況下, 這種取平均的線性融合方法會影響最終的融合效果。文獻 24 中提出了平均與選擇相結(jié)合的低頻融合規(guī)則。該方法考慮了兩幅圖像的相關(guān)性, 在一定程度上符合人眼對較顯著的點

18、比較敏感這一事實, 融合效果相對平均法有一定的改善, 但無顯著的提高。燕文浩等人 25 提出了基于Canny邊緣檢測算子的低頻融合規(guī)則, 有效地改善了融合圖像邊緣細節(jié)的準確度, 提高了融合圖像的分辨率。b) 小波分解與重構(gòu)的形式。Li Ming 等人 26 將離散小波變換應(yīng)用于遙感圖像融合中, 取得了很好的融合效果。在進行小波變換時, 由于采用了行列降采樣, 圖像的大小發(fā)生了變化,每層圖像的大小均為上一層圖像的1 /4。這種變化在圖像融合處理過程中有時是不利的, 特別是在圖像配準精度不高的情況下, 容易產(chǎn)生分塊效應(yīng)。為此, Zhang Zhong 和Blum 27 提出了基于小波框架的圖像融合

19、算法, 這種算法經(jīng)變換后的圖像大小不發(fā)生變化, 克服了上述缺點, 但計算量相對較大。多小波是近幾年剛剛發(fā)展起來的小波理論的一個新的組成部分, 它提供了更加廣泛的小波基選擇范圍, 能夠找到具有更好性質(zhì)的優(yōu)于二進制波的小波函數(shù)。Wang Hai-hui 28 提出了基于多小波變換的圖像融合方法, 使圖像的融合效果得到了進一步改善。1994 年Sweldens 不依賴于傅里葉, 提出了一種基于提升機制的小波變換新方法?；谔嵘龣C制方法能夠?qū)崿F(xiàn)小波變換的快速算法, 可以提高融合速度, 節(jié)省內(nèi)存和存儲空間, 所以基于提升機制的小波變換開始被應(yīng)用于許多圖像融合之中 29 31 。根據(jù)小波分解與重構(gòu)的形式不

20、同, 基于小波的圖像融合方法大致可分為塔形小波變換( PDWT) 、塔形小波幀變( PDWFT) 、樹狀小波幀變換( TDWFT) 、小波框架、多小波變換、基于提升機制小波變換( FILWT) 的融合方法。c) 小波融合方法與其他融合方法的結(jié)合。目前, 針對某類特定的融合原圖像和某種特殊的融合目的, 出現(xiàn)了許多小波方法與其他融合方法相結(jié)合的算法。唐國良等人 32 提出了基于IHS變換和小波變換的晝夜彩色圖像融合算法; Zhang Yun等人 33 將HIS 與小波技術(shù)結(jié)合起來用于遙感圖像融合中, 明顯降低了融結(jié)果中的顏色扭曲現(xiàn)象; 蔣年德等人 34 提出一種新的基于主分量變換與小波變的圖像融合

21、方法, 該方法使融合圖像在較好地保留光譜信息的同時, 增強了空間細節(jié)信息。基于小波變換的圖像融合方法進一步的研究方向主要包括: 新的融合量測指標; 新的高、低頻融合規(guī)則; 分解層數(shù)對融合圖像的影響及層數(shù)優(yōu)化; 新的小波分解與重構(gòu)方法; 小波融合方法與其他融合方法新的結(jié)合。2.4基于Ridgelet 變換的圖像融合方法當小波變換推廣到二維或更高維時, 由一維小波張成的可分離小波只有有限的方向, 不能最優(yōu)表示含線或者面奇異的高維函數(shù)。因此, 小波只能反映信號的點奇異性( 零維) , 而對諸如二維圖像中的邊緣以及線狀特征等線、面奇異性( 一維或更高維) , 小波則難以表達其特征。針對小波變換的不足,

22、 Candes 35 提出了一種適合分析一維或更高維奇異性的脊波( Ridgelet) 變換。脊波變換用于圖像融合的意義在于: a) 脊波變換通過Radon 變換把圖像中線特征轉(zhuǎn)換成點特征, 然后通過小波變換將點的奇異性檢測出來。其處理過程克服了小波僅僅能反映“過”邊緣的特征, 而無法表達“沿”邊緣的特征。b)脊波變換繼承了小波變換的空域和頻域局部特性。c) 脊波變換具有很強的方向性, 可以有效地表示信號中具有方向性的奇異性特征, 如圖像的線性輪廓等, 為融合圖像提供更多的信息。d) 脊波變換較小波變換具有更好的稀疏性, 克服了小波變換中傳播重要特征在多個尺度上的缺點, 變換后能量更加集中,所

23、以在融合過程中抑制噪聲的能力也比小波變換更強。因此將脊波變換引入圖像融合, 能夠更好地提取原始圖像的特征,為融合圖像提供更多的信息。文獻 36 提出了一種基于脊波變換SAR 與可見光圖像融合方法。該方法在保留合成孔徑雷達SAR 與可見光圖像重要信息、抑制噪聲能力方面均優(yōu)于小波變換。由于脊波理論建立時間不長, 還有許多值得研究的課題,例如, 如何能夠減輕甚至消除在重構(gòu)圖像過程中出現(xiàn)的輕微劃痕、如何簡化脊波的復(fù)雜計算、尋求快速算法等。2.5 基于Curvelet 變換的圖像融合方法Curvelet 變換是由Candes 提出的Ridgelet 變換演變而來的。Ridgelet 變換對含有直線奇異的

24、多變量函數(shù)有很好的逼近效果, 能稀疏地表示包含直線邊緣的分片平滑圖像。但是對于含有曲線奇異的圖像, Ridgelet 變換的逼近性能只與小波變換相當。由于多尺度Ridgelet 分析冗余度很大, Candes 和Donoho于1999 年提出了曲線波( Curvelets) 變換理論 37 , 即第一代Curvelet變換。其基本思想是: 首先對圖像進行子帶分解; 然后對不同尺度的子帶圖像采用不同大小的分塊; 最后對每個塊進行Ridgelet 分析。由于Curvelet 結(jié)合了Ridgelet 變換的各向異性和小波變換的多尺度特點, 它的出現(xiàn)對于二維信號分析具有里程碑式的意義, 也開始被應(yīng)用于

25、圖像融合。Choi 等人 38 首次將Curvelet 應(yīng)用于多光譜圖像和全景圖像的融合, 結(jié)果具有更豐富的空間和光譜信息以及更佳的視覺效果。文獻 39 提出了一種基于Curvelet 變換多傳感器圖像融合算法, 該方法相比傳統(tǒng)的基于小波變換的圖像融合算法。能夠有效避免人為效應(yīng)或高頻噪聲的引入, 得到具有更好視覺效果和更優(yōu)量化指標的融合圖像。由于第一代Curvelet 變換的數(shù)字實現(xiàn)比較復(fù)雜, 需要子帶分解、平滑分塊、正規(guī)化和Ridgelet 分析等系列步驟, 且Curvelet金字塔的分解也帶來了巨大的數(shù)據(jù)冗余量, Candes 等人又提出了實現(xiàn)更簡單、更便于理解的快速Curvelet 變換

26、算法, 即第二代Curvelet 變換 40, 41 。第二代Curvelet 與第一代在構(gòu)造上已經(jīng)完全不同: 第一代的構(gòu)造思想是通過足夠小的分塊將曲線近似到每個分塊中的直線來看待, 然后利用局部的Ridgelet分析其特性; 第二代Curvelet與Ridgelet 理論并沒有關(guān)系, 實現(xiàn)過程也無須用到Ridgelet, 兩者之間的相同點僅在于緊支撐、框架等抽象的數(shù)學(xué)意義。文獻 42 提出了一種基于第二代Curvelet變換的圖像融合方法, 并應(yīng)用于多聚焦圖像的融合。該方法可以更好地提取原始圖像的特征, 為融合提供更多的信息, 相比第一代Curvelet 變換更易于實現(xiàn)。3 像素級圖像融合技

27、術(shù)應(yīng)用領(lǐng)域3. 1 圖像融合理論框架 43不同級的融合試驗表明每一級都有典型的屬性, 并擁有某種典型的融合方法, 但是所有這些方法應(yīng)存在一個共同的原理。這促使研究一個通用的數(shù)學(xué)模型來抽象這些過程, 并將這個融合模型納入到一個復(fù)雜的圖像理解系統(tǒng)中, 成為圖像融合的最終目的。文獻 44 給出了一個統(tǒng)一的圖像融合框架, 在此框架下可分類、比較和評估現(xiàn)存的一些圖像融合算法。3. 2 新的分解方法1) 矩陣分解法文獻 45 認為從不同傳感器獲取的圖像, 可以看做是融合圖像乘以不同的權(quán)重, 故可以使用非負矩陣分解技術(shù)來進行圖像融合。2) 易操縱金字塔分解易操縱金字塔是一種多尺度、多方向、具有自轉(zhuǎn)換能力的圖

28、像分解方法, 它把圖像分解成不同尺度、多方向( 多于三個方向) 的子帶系列。與小波變換不同,它不僅保持了緊支撐正交小波的特點, 而且具有平移不變性及方向可操縱等優(yōu)點。使用基于拉普拉斯變換、小波變換的融合方法, 即使原圖像間存在較小的配準誤差, 也會引起融合圖像的嚴重退化, 出現(xiàn)雙邊緣以及虛假成分。基于易操縱金字塔的融合方法能夠克服這些缺點。3) Hermite 變換 46 由 于Hermite 變換基于高斯梯度算子, 對圖像融合來說, 它具有更好的圖像表示模型。4) 局部余弦基局部基將時間軸劃分成不同大小的時間片斷。特別引人注意的是余弦基, 它可以通過設(shè)計覆蓋每個時間片斷的平滑窗口和用不同頻率

29、的余弦函數(shù)相乘得到。通過迭代基于局部余弦基的分割空間可構(gòu)造局部余弦樹, 提供了為特定信號選擇最優(yōu)基的方法。最好的局部余弦基使時間分割的片斷隨自適應(yīng)信號時頻結(jié)構(gòu)的變化而變化。5) Contourlet 變換在繼承Curvelet 變換的各向異性尺度關(guān)系的基礎(chǔ)上, Donoho 和Vetterli 提出一種新的圖像二維表示方法: Contourlet 變換 47 。它是小波變換的一種新擴展, 是一種多分辨率的、局域的、多方向的圖像表示方法。Contourlet 變換的優(yōu)點在于能夠僅使用少量系數(shù)有效地表示平滑輪廓, 而平滑輪廓正是自然圖像中的重要特征。Contourlet 變換不僅提供任意方向上的信

30、息, 采樣冗余度小, 而且使用迭代濾波器組可實現(xiàn)高效計算, 計算復(fù)雜度遠低于Curvelet 變換。文獻 48 將Contourlet 變換應(yīng)用于遙感全色和多光譜影像的融合。該方法能在保留多光譜影像光譜信息的同時增強融合圖像的空間細節(jié)表現(xiàn)能力和信息量。3. 3 神經(jīng)視覺生理學(xué)方法美國麻省理工學(xué)院林肯實驗室的A. M. Wax-man 利用對抗受域( 仿響尾蛇雙模式細胞工作機理) , 提出了微光夜視圖像和紅外圖像的對抗融合。荷蘭人力因素所的Toet 提出的另一種偽彩色的可見光圖像和紅外圖像融合方法, 也是一種仿生的顏色對抗( color opponent) 方法。國內(nèi), 北京理工大學(xué)利用神經(jīng)視覺

31、生理學(xué)進行像素級圖像融合及其彩色顯示工作正處于世界前沿領(lǐng)域 49 。3. 4 圖像融合和圖像處理算法的互相結(jié)合融合圖像可以提供比單幅圖像更可靠和完全的場景表示。但是, 幾乎所有的融合算法都是基于基本的處理技術(shù), 沒有考慮高層的抽象信息。如今, 這些算法已不能滿足觀察者的復(fù)雜要求, 需要開發(fā)更具有主觀意義的方法。為此, 文獻 50 提出了一個新的框架。其基本思路是如果用高層的信息, 如圖像邊緣和圖像分割的邊界來指導(dǎo)基本的像素級融合過程, 就能夠?qū)崿F(xiàn)更具有主觀意義的算法。與傳統(tǒng)的兩個像素級融合方法比較表明, 多層融合結(jié)構(gòu)消除了不利的影響, 且融合過程更可靠、圖像變得更清晰、圖像質(zhì)量也更好。3. 5

32、 自適應(yīng)優(yōu)化圖像融合研究自適應(yīng)圖像融合是一個熱點研究方向, 它要求有一個策略來決定算法在何時以及如何滿足特定的融合目的。將圖像融合效果評價的信息加入到融合規(guī)則的選取和參數(shù)的選擇過程中, 能更充分地利用信息源提供的信息, 會得到更好的融合效果。文獻 51 提出了一種先進的離散小波變換圖像融合算法: 有兩個參數(shù)可調(diào), 分別為分解層數(shù)和選擇小波的長度, 這兩個參數(shù)決定了圖像融合的質(zhì)量; 然后通過質(zhì)量評價因子迭代優(yōu)化融合過程, 達到最優(yōu)融合。進一步, 文獻 52 通過集成客觀融合指標到傳統(tǒng)的圖像融合算法構(gòu)建了新框架, 該框架可以自適應(yīng)調(diào)整融合參數(shù), 以達到最優(yōu)的融合顯示。4 像素級圖像融合技術(shù)發(fā)展前景

33、目前國內(nèi)外有關(guān)圖像融合的研究還不夠系統(tǒng)和深入, 還未形成完整的理論框架和體系, 有許多理論和技術(shù)問題亟待解決。未來可能的發(fā)展方向包括以下幾個方面:a) 圖像配準方法研究。研究更為有效的特征匹配方法,考慮更復(fù)雜的空間變換模型, 使算法能夠適用于分辨率存在較大差異的圖像間的配準。b) 圖像融合方法研究。研究一些新的融合方法和規(guī)則,探討如何實現(xiàn)智能融合、自適應(yīng)融合、快速融合。c) 融合質(zhì)量和融合算法性能評價研究。由于圖像信息的多樣性, 如何定義融合算法的客觀評價標準是比較復(fù)雜和困難的。所以, 進一步完善融合質(zhì)量和融合算法性能的評價體系有待延續(xù)。d) 多分辨率分解方式研究。以前多分辨率分解圖像融合方法

34、重點在圖像融合規(guī)則的研究上, 但對圖像的多分辨率分解方式?jīng)]有給予足夠的關(guān)注。實際上, 一個有效的、適于圖像融合的多分辨率表示形式, 對融合結(jié)果的優(yōu)劣有著至關(guān)重要的影響, 而且研究分解層數(shù)對融合圖像的影響及如何選取合適的分解層數(shù)也具有重要意義。另外, 不同的多分辨率分解和融合規(guī)則的結(jié)合會產(chǎn)生不同性能, 現(xiàn)在還缺乏對其的詳細研究。e) 動態(tài)圖像與序列圖像的融合。目前, 大多數(shù)圖像融合算法只是針對靜止圖像的。對于序列圖像的融合, 要充分地利用圖像間存在著強相關(guān)性這一點; 此外還要考慮序列圖像融合所需要的實時性。f) 系統(tǒng)集成。圖像融合算法是一個圖像融合系統(tǒng)的核心,但圖像融合系統(tǒng)中的系統(tǒng)集成問題與圖像

35、融合算法一樣非常重要, 值得周全考慮。系統(tǒng)集成是研制一個實時圖像融合系統(tǒng)所關(guān)聯(lián)的實際問題, 可以說優(yōu)于開發(fā)更復(fù)雜或難以理解的像素級圖像融合新算法。但迄今為止, 在圖像融合領(lǐng)域中很少有人考慮這些方面。g) 應(yīng)用領(lǐng)域和潛力的進一步挖掘。h) 硬件實現(xiàn)。圖像融合的硬件實現(xiàn)是困難的, 有必要進一步加大力度研究圖像融合技術(shù)的實際工程實現(xiàn)方法, 開發(fā)出能夠?qū)崿F(xiàn)各種復(fù)雜融合算法的處理硬件, 以便在數(shù)據(jù)獲取的同時實時地完成融合。參考文獻: 1 OH I C, GENDEREN J L. Multisensor image fusion in remote sensing:concepts, methods a

36、nd applications J . International Journalof Remote Sensing, 1998, 19 ( 5 ) : 823- 854 . 2 VARSHNEY P K. Multi-sensor data fusion J . Electro nics andCommunication Eng ineering Journal, 1997 , 9( 12) : 245- 253. 3 LIU J. Smoothing filter-based intensity modulation: a spectral preserveimage fusion tec

37、hnique for improving spatial details J . InternationalJournal of Remote Sensing, 2000, 21 ( 18) : 3461-3472 . 4 ALPARONEl L, BARONTI S, GARZELLI A, et al. Landsat ETM +and SAR image fusion based on generalized intensity modulation J .IEEE Tra ns o n Geosciences and Remote Sensing, 2004, 42( 12 ) : 2

38、832- 2839. 5 THERRIEN C W, SCROFANI J W, KREBS W K. An adaptive techniquefor the enhanced fusion of low-light visible with uncooled thermalinfrared imagery C / / Proc of IEEE International Conference onImaging Processing. Washington D C: IEEE Computer Society, 1997:405- 408 . 6 TOET A, WALRAVEN J. N

39、ew false color mapping for image fusion J . Optical Engineering, 1996, 35 ( 3 ) : 650 -658. 7 TOET A, ILSPEERT J K, WAXMAN A. Fusion of visible and thermalimagery improves situational awareness J . Displa ys, 1997, 18 ( 2 ) :85- 95 . 8 SHARMA R K, PAVEL M. Adaptive and statistical image fusion J .So

40、ciety for Information Disp lays Dig est , 1996, 1 7( 5 ) : 969- 972. 9 SHARMA R K, LEEN T K, PAVEL M. Probabilistic image sensorfusion J . Advances in Neural Informa tion Pro cessing Systems,1999, 11 : 203- 207. 10 AAENCOTT R, CHALMOND B, COLDEFY F. Markov fusion of a pairof noisy images to detect i

41、ntensity valleys J . Intern ational Journalof Compute r Vision, 1995, 16 ( 2) : 135-145. 11 WRIGHT W A, BRISTOL F. Quick Markov randomfield image fusion C / /Proc of SPIE.1998 : 302-308. 12 NEWMAN E A, HARTLINE P H. The infrared vision of snakes J .Scientific American, 1982, 46 ( 3 ) : 116 -127. 13 FECHNER T, GODLEWSKI G. Optimal fusion of TV and infraredimages using artificial neural networks C / /Proc of SPIE. Orlan