圖像處理：某些發(fā)展動態(tài)和問題(鄒謀炎)

1、 82625719-8018中國科學(xué)院研究生院 2011年暑期講座材料2011年7月6日一、從一本書談起：一、從一本書談起： Stephane Mallat is Professor in Applied Mathematics at Ecole Polytechnique, Paris, France. From 1986 to 1996 he was a Professor at the Courant Institute of Mathematical Sciences at New York University, and between 2001 and 2007, he co-fo

2、unded and became CEO of an image processing semiconductor company. S. Mallat 書的第二版（書的第二版（1998）中譯本）中譯本 “信號處理的小波引導(dǎo)信號處理的小波引導(dǎo)” 已于已于2002年由年由 機械工業(yè)出版社出版機械工業(yè)出版社出版 “ Preface to the Sparse EditionI cannot help but find striking resemblances between scientific communities andschools of fish. We interact in con

3、ferences and through articles, and we movetogether while a global trajectory emerges from individual contributions. Some ofus like to be at the center of the school, others prefer to wander around, and a fewswim in multiple directions in front. To avoid dying by starvation in a progressivelynarrower

4、 and specialized domain, a scientific community needs also to move on.”學(xué)習(xí)和理解一個成功數(shù)學(xué)教授的心路歷程：將應(yīng)用作為數(shù)學(xué)研究的歸宿 關(guān)于 X-let 的解讀： 這些 X-let 關(guān)心信號和圖像的表示，特別關(guān)心如何表達信號（圖像）的不連續(xù)性（或奇異性），包括點（灰度）不連續(xù)性（wavelet）；線不連續(xù)性（ridgelet)；曲線不連續(xù)性(contourlet, surfacelet, Curvelet)；流場不連續(xù)性（bandlet）；等等 理論要點： 沿襲 wavelet 的理論模式，構(gòu)造出表達信號或圖像的“基”或“標

5、架”，具有以下要求 (1) 有幾何規(guī)則性，能夠逼近圖像中任意方向的線、曲線的不連續(xù)性；（2）有容易計算的分析（正變換）和綜合（反變換）表達；（3）對分析（變換）域的結(jié)果有明確的物理解釋，便于實施去噪、壓縮的近似處理，以及超分辨重建的進一步工作。 1、由可縮放的 Meyer 窗函數(shù)V(t)和W(r)來定義。 例：Curvelet by E. Cands, D. Donoho (2003,2004)2、由V(t)和W(r)定義 極坐標窗函數(shù)：aVarWarUa)(: ),(433、將Ua內(nèi)插為直角坐標函數(shù) Ua(), 作為基礎(chǔ) curvelet 小波函數(shù)的富氏變換 )(: )(0 , 0 ,aaU

6、4、由 的富氏反變換 ，對空間雙坐標 x 作旋轉(zhuǎn)和位移變換，得到 curvelet 函數(shù)族：)(0 , 0 ,a)(0 , 0 ,xa)()(bxxa,0,0b,a,R這保證了 在頻域 (1,2) 平面有扇形支持域。)(0 , 0 ,a例：Curvelet by E. Cands, D. Donoho (2003,2004) （續(xù)）（續(xù)）5、計算 的富氏變換，有)(xb,a,)()(Rab,b,a,Uej6、連續(xù) Curvelet 變換定義為：2)()(,: )(Rfdffxxxb,a,b,a,b,a,7、逆 curvelet 變換：（略）8、離散 curvelet 函數(shù)族： )(,xlkj用

7、類似連續(xù) curvelet 函數(shù)族的方法來建立。可以證明，離散 Curvelet 函數(shù)族能構(gòu)成一個緊標架，因此離散 curvelet 變換是可逆的，有重建公式lkjlkjlkjff,)(b,a,于是， 在頻域(1,2)平面有旋轉(zhuǎn)的扇形支持域。例：Curvelet by E. Cands, D. Donoho (2003,2004) （續(xù)）（續(xù)） 幾個要點：1、選用具有平滑性的 Meyer 窗函數(shù)V(t)和W(r)，分別用來構(gòu)造射徑方向和 角度方向的頻域窗。平滑窗的意義在于它的傅里葉變換有近似有限支持。2、用內(nèi)插方法從極坐標變到直角坐標，便于使用 FFT 計算。3、在直角坐標下引入坐標旋轉(zhuǎn)，使獲

8、得的 curvelet 標架具有平移、尺度、 旋轉(zhuǎn)三種表示能力。4、證明 curvelet 標架是緊標架，即 Riesz 基，因此 curvelet變換是可逆的， 有簡單的反變換公式。 幾何解釋：1、在頻域上 具有離散小波瓦片，有 拋物型偽極坐標支持，如圖所示。2、由于空域圖樣和頻域圖樣的垂直關(guān)系，可以 看出，所構(gòu)造的小波標架能夠覆蓋各種取向 和各種尺度的空域棱邊。 事實上 和平移量 b 無關(guān)，這和富氏變換性質(zhì)相似。3、頻域小波瓦片的全體形成一個緊支持。空域 小波標架 一定是不緊的。離散型 curvelet 標架是高度冗余的。)(b,a,)(b,a,)(xb,a,例：Curvelet by E

9、. Cands, D. Donoho (2003,2004) （續(xù)）（續(xù)）應(yīng)用：1、去噪 圖像 Curvelet 變換 去噪處理 重建算法 輸出圖像 典型去噪處理算法：硬門限法，特別對高頻、低電平小波系數(shù)。 基于成像物理的處理方法。2、利用稀疏性的圖像數(shù)據(jù)壓縮。 Curvelet 變換能夠適應(yīng)性地表達圖像上各種幾何取向的棱邊。棱邊取向 的幾何規(guī)則性越高，重要的變換系數(shù)個數(shù)越少，圖像可壓縮更有效。 因此，對于紋理幾何規(guī)則性強的圖像，適合于用Curvelet 或 Bandlet變換 來實現(xiàn)去噪和壓縮。如果圖像紋理的幾何規(guī)則性不強，應(yīng)該用常規(guī)的 Wavelet 變換。 關(guān)于稀疏性和壓縮后面專門介紹。

10、基本觀察：從 wavelet 到 X-let，人們追求發(fā)現(xiàn)更有效的信號（圖像）表示方法。目前這些方法的發(fā)展帶有高度程式化、技巧性、和特定有效性的特征。學(xué)習(xí)和掌握這些方法和相關(guān)理論是有意義的和重要的，沿著類似的思路去尋求突破性的創(chuàng)新是困難的。二、稀疏性和壓縮感知二、稀疏性和壓縮感知 (Sparsity and Compressive Sensing)各種形態(tài)的稀疏性： 信號（圖像）本身可能是稀疏的； 信號（圖像）在變換域是稀疏的； 信號（圖像）中含有內(nèi)部的相關(guān)性、規(guī)律性，當用某個數(shù)學(xué)模型描述時， 只需要少量的模型系數(shù)； 信號（圖像）的規(guī)則性：良好的圖像具有卡通模式，噪聲和干擾較少，這 意味著具有

11、變差稀疏性或總變差有限性。壓縮采樣： 采樣是一個線性泛函作用于信號，不限于獲得信號的一個瞬時電平。 例：信號 x Rn，將信號與隨意選取的 m 個向量 vi 作內(nèi)積（濾波），m n, 內(nèi)積結(jié)果 y。這種采樣可以用一個 mn 代數(shù)方程描述： x = y 。 在一般情況下，重建 x 有無窮多解。K-稀疏性解：上述問題中，如果假定已知 x 中至多只有 K 個非零元，求解問題 變成求解 x = y ， 帶著附加約束 # supp(x) K。 整數(shù)規(guī)劃問題：求最稀疏解 （P0) min |x|0 ： x = y，x Rn ， 其中 Rmn，y Rm，m n 。 |x|0 = # supp (x) = x

12、 中非零元個數(shù)。 （1）解通常不唯一；（2）具有 NP-hard 計算復(fù)雜性。凸松弛規(guī)劃 （P1) min |x|1 ： x = y，x Rn ， 等價的線性規(guī)劃問題：多項式時間算法 min ai subject to x = y - a x a整數(shù)規(guī)劃問題凸松弛規(guī)劃 問題 P1 P0 的條件 : 受限等量性質(zhì)Restricted Isometry Property of Oder k (RIP) E.J. Candes, et al., 2006 定義： 假定k m 是一個整數(shù)，一個矩陣 Rmn的等量常數(shù)k 是指對所有k 稀疏向量 x Rn，滿足以下不等式的最小值： (1 - k )| x

13、|l22 |x |l22 (1 - k )| x |l22 大致地說，RIP 是要求 的每個 mk 子矩陣 Sk 是近似單位正交的，即任何一個 SkTSk 的各個特征值不要偏離數(shù)值 1 太遠。 充分條件（Candes，2006）：如果 2k 2 1, 那么對于所有 k 稀疏向量 x，（P1）問題的解等于（P0）問題的解。有噪情況：（Candes, 2005） 去噪問題 （P1) min |x|1 : | x y |2 ，x Rn ， 設(shè) 給定，且 y x e，| e |2 . 如果2k 2 1，則 | x* - x |2 C0k -1/2k(x)1 + C1,其中 x* 是 （P1）的解，而k

14、(x)1 min z Xk | x z |1 , Xk 是全體 k 稀疏向量集合，C0 和 C1 是兩個小數(shù)值常數(shù)。這個結(jié)果表明：解的誤差與觀測誤差在同樣的數(shù)量等級上 （穩(wěn)定性）。離散不定性原理：記- 信號 f 時域非零點的個數(shù)。- 信號 f 頻域非零點的個數(shù)。一個大致的結(jié)果是： | T | + | | 2N ， N - 信號長度典型的信號復(fù)原例子： 信號長度 N，頻域譜線個數(shù)為 K，則在時域使用 M K logN 個樣本，用 l1 最小化，可以得到完美的復(fù)原。 更一般的稀疏信號重建問題： 如果 f 在某個正交系統(tǒng) 下是稀疏的：有 f = a, #supp a K, 使用 M 個互不相關(guān)的“觀

15、測序列” k 獲得 M 個觀測量 yk = , 因此有 y = f 。信號重建問題可以表達為 min | a |1 ：a = y ， 當 M const K log N 時，信號能夠被精確地重建。這個結(jié)果適用于圖像。 找 M 個互不相關(guān)的“觀測序列” k 是容易的 ！ 仍然在發(fā)展中的問題：1、如何更準確地估計解的 k-稀疏性和需要的最小量測數(shù) m ？2、如何構(gòu)造觀測矩陣（或稱詞典矩陣） ？ 使用隨機數(shù)構(gòu)造觀測矩陣已證明可行，一定條件下能保證 RIP 條件。 是否存在通用和對重建計算最有效的構(gòu)造方法？3、如何將壓縮感知的概念和方法應(yīng)用于更廣的圖像處理 ？ 1）將常規(guī)圖像估計問題，改造成帶稀疏性限

16、制的估計問題，適合于成像、 圖像重建、反降晰、去噪、修復(fù)、超分辨，以及分割、配準、識別、 跟蹤、分類等。典型地，需要考慮變換域的稀疏性和變差稀疏性。 2）壓縮感知原理的物理實現(xiàn)技術(shù)。 Rice 大學(xué)提出了一個 CS 照相機原型，工業(yè)實現(xiàn)仍然有大挑戰(zhàn)。4、如何更有效地處理信號重建中遇到的數(shù)學(xué)規(guī)劃（優(yōu)化）問題 ？ 期待發(fā)展更加有效的凸優(yōu)化和非凸優(yōu)化算法。5、將稀疏性限制作為規(guī)整化方法處理更廣泛的數(shù)學(xué)物理反問題。三、多傳感器圖像融合三、多傳感器圖像融合 (Multi-Sensor Image Fusion )1、為什么要關(guān)注這個題目？ 1）圖像融合技術(shù)從70年代起，經(jīng)30多年，發(fā)展緩慢，Why ？

17、2）應(yīng)用方面一直期待進步。（例如對地觀測應(yīng)用） 3）目前的研究興趣仍然大量地集中在“象元級”圖像融合，這類研究的前 景如何 ？有什么基本問題？這需要認真考慮。 4）圖像融合的研究方向應(yīng)該在哪里？2、對圖像融合研究造成影響的一個工作： Pohl, C., Genderen, J. L., 1998, Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications, International Journal of Remote Sensing, 9(5)，823-854. 關(guān)于圖像融合的定義：“Imag

18、e fusion is the combination of two or more different images to form a new image by using a certain algorithm” “形成一個新圖像”，這對后續(xù)的研究造成了影響 ！Why ？ 它將研究集中地引導(dǎo)到象元級融合研究，而這個研究的合理性是值得懷疑的： 1）象元級融合特別關(guān)注“分辨率”改善問題，其有效性對應(yīng)用來說缺乏說服力。應(yīng)用最需要的是對某個目標的各種屬性提供盡量綜合和全面的知識。 2）觀測圖像多于 2 時，象元級融合難以處理和結(jié)果表達，這很不合理。 3）象元級圖像融合不能一般地與目標的物理屬性找

19、到相容性。因為，將目標理解為”一個象元集合“或?qū)D像的一組象元與目標形態(tài)建立一一對應(yīng)關(guān)系常常是不正確的。 例： (a) 是多譜圖， (b) 是同一地域的紅外圖；(c) SAR 圖像中有飛機，但你看得見任何飛機嗎？ 又例：（a）V V 極化 SAR 圖像； （b）H H 極化 SAR 圖像。 注意在兩幅圖像中，同一個鋼架橋的圖像有重要不同。3、圖像融合的更準確定義： 多傳感器圖像融合是基于多傳感器圖像來了解圖像中所含目標信息 的信息融合。 要點： 1）“組合兩個或多個不同圖像形成一個新圖像”對圖像融合不是本質(zhì)的。 2）在多傳感器情況下，每個圖像應(yīng)理解為在特定傳感器下，一種“目標 的屬性分布”（D

20、AO）。 3）特征級圖像融合應(yīng)該處理目標的數(shù)據(jù)關(guān)聯(lián)。也就是，融合技術(shù)應(yīng)該 能夠從每個圖像中區(qū)分出指定的目標；能夠抽取目標的屬性；能夠 將各個圖像中反映同一目標的屬性數(shù)據(jù)關(guān)聯(lián)起來。 4）決策級圖像融合應(yīng)該根據(jù)應(yīng)用需求，利用關(guān)聯(lián)數(shù)據(jù)產(chǎn)生出關(guān)于每個 目標的數(shù)值描述。 5）產(chǎn)生一個或多個合成圖像；用什么方式來顯示原圖、合成圖像、或 圖形示意圖；用什么方式來顯示目標屬性；。這些技術(shù)對顯示 圖像融合結(jié)果是重要的，但是技術(shù)性的，非概念性的。4、若干技術(shù)關(guān)鍵問題1）多傳感器圖像配準 多模態(tài)圖像配準：典型地基于互信息，比較兩個圖像區(qū)域分布模式差異來決定配準。分布模式差異的度量可以用Kullback-Leible

21、r 距離，Bregman距離，或其他廣義距離。 配準需要的幾何校正可以依據(jù)“廣義特征點”來實施。 圖像融合中需要的配準技術(shù)一般不是全局配準，而是區(qū)域選擇性配準和多幅不同圖像的聯(lián)合配準。典型地，“目標”可能不適合于配準，但要進行描述。2）分割公共感興趣區(qū)域 根據(jù)不同的應(yīng)用需求需要不同的分割技術(shù)。感興趣的區(qū)域可以是目標本身，也可以是目標所處的環(huán)境。一大類分割技術(shù)的依據(jù)是屬性一致性（灰度電平、紋理統(tǒng)計特征、速度分布等等）。另一大類分割技術(shù)基于邊界提取和區(qū)域?qū)傩缘娜斯せ蜃詣又概?。典型的分割技術(shù)是通過最優(yōu)化一個能量泛函來實現(xiàn)。例如活動圍道方法是通過增高泛函維數(shù)和水平截集方法來實現(xiàn)拓撲演化。 融合技術(shù)中需

22、要的分割技術(shù)可能包含提取目標和環(huán)境兩層，并且是多幅圖像聯(lián)合分割。4、若干技術(shù)關(guān)鍵問題 （續(xù)）3）抽取和關(guān)聯(lián)目標的特征屬性 典型目標屬性：幾何或形狀特征；灰度特征；色度特征；各種特征的分布模式；不同傳感器反映的特征差異；目標的移動屬性；等等。 目標屬性描述的組織：目標屬性描述協(xié)議和關(guān)聯(lián)數(shù)據(jù)庫。4）信息融合和自動圖像解釋 這個技術(shù)一定是應(yīng)用指定的。所謂“圖像內(nèi)容”依從于應(yīng)用需求。可用的圖像融合系統(tǒng)設(shè)計必須依據(jù)應(yīng)用需求擬定出研究和發(fā)展的具體細則，包括圖像和目標的類別、主要特征、希望達到目標的具體描述等等。在這些前提下，信息融合和圖像解釋才有依據(jù)。有興趣者可以參考 “Some New Concepts

23、 and Key Techniques in Multi-Sensor Image Fusion”，科學(xué)網(wǎng)地址： http:/ ，也可以通過關(guān)鍵詞從 上找到。 四、幾點建議四、幾點建議1、學(xué)習(xí)和積累 圖像處理技術(shù)發(fā)展很熱，要學(xué)習(xí)的知識多，學(xué)習(xí)者需要掌握一定的要點： 例如： 努力獲取物理概念，為第一要點； 先看數(shù)學(xué)推演的線條，搞清出發(fā)點和結(jié)果，再慢慢理解數(shù)學(xué)演繹過程； 不要限于讀一篇文章，而是同時讀相關(guān)的幾篇文章，并且特別要看重最 源頭的文章。如果有教科書可參考，可節(jié)省時間。 遇新的數(shù)學(xué)知識，應(yīng)作為增長數(shù)學(xué)知識的機會。 更多方面可以參考博文“同工科學(xué)生談?wù)勅绾巫鲅芯俊焙汀罢務(wù)劰た茖W(xué)生如 何學(xué)習(xí)數(shù)

24、學(xué)” （可從“科學(xué)網(wǎng)”獲得） 2、碩士和博士論文研究 碩士生可以在發(fā)展現(xiàn)有技術(shù)上做研究。博士生則必須爭取有明確的創(chuàng)新點。博士生必須審視選題的可發(fā)展性，但選題不可能太難太高。例如，研究生論文仍然可以考慮稀疏性、壓縮感知的研究，特別是將這些研究與專業(yè)應(yīng)用結(jié)合起來。圖像分割、配準、多幅超分辨、Retinex、高動態(tài)范圍成像、基于視頻的圖像處理、面向醫(yī)學(xué)應(yīng)用的圖像分析和3-D圖像處理、面向?qū)Φ剡b感的目標識別和分類，PDE方法，manifold概念的應(yīng)用，這些題目至今仍然有生命力。也可將 X-let、壓縮感知的知識結(jié)合到這些應(yīng)用中。這些仍可作博士論文選題，能產(chǎn)生出有發(fā)表希望的結(jié)果（但通常不是高度創(chuàng)新性的

25、工作）。 更多方面可以參考博文“同工科學(xué)生談?wù)勅绾巫鲅芯俊保茖W(xué)網(wǎng)）四、幾點建議四、幾點建議 （續(xù)）（續(xù)）3、創(chuàng)新性研究 學(xué)院式的圖像處理研究或者說“純”的圖像處理研究很難產(chǎn)生出重要的創(chuàng)新性工作。只要當圖像處理與重要的基礎(chǔ)研究結(jié)合，才可能從結(jié)合中找到重要的位置。例如： 對物理現(xiàn)象出現(xiàn)了新的觀測方法或出現(xiàn)了產(chǎn)生新物理現(xiàn)象的技術(shù)； 生物醫(yī)學(xué)領(lǐng)域出現(xiàn)了新的敏感機制、新的測量和感應(yīng)性質(zhì)； 對物質(zhì)、物體、地下、水下等出現(xiàn)了新的物理探測感應(yīng)性質(zhì)； - 由此發(fā)展出新成像原理/機理和技術(shù)； 與其他應(yīng)用學(xué)科結(jié)合，為重要的應(yīng)用學(xué)科提供新觀測處理手段； 圖像認知的進展。這是最艱難和最富挑戰(zhàn)性的領(lǐng)域。 有志者必須學(xué)習(xí)

26、交叉學(xué)科知識，并有長期累計知識和捕捉靈感的準備。四、幾點建議四、幾點建議 （續(xù)）（續(xù)）4、圖像處理技術(shù)的產(chǎn)業(yè)發(fā)展機會 專用圖像處理芯片，始終為有創(chuàng)造性思想的人提供可能性。如何將你 的先進處理方法發(fā)展成具有一定普適性、有明確應(yīng)用目標、適合于硬件 實現(xiàn)，是必須解決的問題。 面向照相、攝像、通信編碼的圖像處理技術(shù)是各個大公司競爭發(fā)展的 熱點。另一方面，例如高清攝像機的發(fā)展對中國國內(nèi)的小公司已經(jīng)成為 可行并且應(yīng)用市場巨大，為圖像處理技術(shù)提升介入提供了可能性。 遙感應(yīng)用。通常由政府部門管理，在我國該領(lǐng)域的產(chǎn)業(yè)化還未提到日 程。然而，商業(yè)化、成熟、和有效的大型處理軟件是非常需要的。國內(nèi) 許多單位目前靠進口。目前尚缺乏機制和能力來從事這項發(fā)展。 醫(yī)學(xué)儀器設(shè)備。醫(yī)學(xué)成像技術(shù)設(shè)備是一個大市場。動態(tài)醫(yī)學(xué)圖像輔助 手術(shù)治療系統(tǒng)在國外是發(fā)展熱點。對此，在現(xiàn)有成像視頻系統(tǒng)基礎(chǔ)上， 需要3D配準、分割、分析和測量技術(shù)。壓縮感知技術(shù)能夠大大縮短MRI 的采集時間，但圖像重建期待加速。實時動態(tài) MRI 有更大的挑戰(zhàn)。 某些民用市場，如智能交通、公共安全管理需要圖像和視頻處理技術(shù)。 該市場規(guī)模很大，國內(nèi)有上百家公司以各種方式介入，低水平重復(fù)現(xiàn) 象嚴重，有很大的技術(shù)發(fā)展空間。四、幾點建議四、幾點建議 （續(xù)）（續(xù)）附注：本文為中科院研究生院 2011年暑期講座教材