肖志濤基于相位信息圖像處理辦法

肖志濤基于相位信息圖像處理辦法基于相位信息的圖像處理紡織領(lǐng)域中的圖像處理技術(shù)基于單目視覺的汽車安全預(yù)警技術(shù)DR眼底圖像處理目錄1.基于相位信息的圖像處理圖像邊緣和其它低層特征的檢測長期以來一直被認為是重要的基本運算。圖像特征檢測是圖像處理、模式識別、基于內(nèi)容的圖像檢索等領(lǐng)域的關(guān)鍵技術(shù)。圖像分析歸根結(jié)底是要為人服務(wù)的，自然應(yīng)該使用與人類視覺系統(tǒng)認知一致的計算機制。受到天氣以及采集距離的影響，原始圖像的質(zhì)量一般會較差，含有較強的噪聲，對比度、亮度較差，目標尺寸變化較大?；趫D像灰度或梯度信息的處理方法，一般首先要對圖像進行濾波來去除噪聲，但是一般的濾波方法對于乘性噪聲的濾除效果較差，而且這樣的濾波可能會改變圖像的結(jié)構(gòu)，埋沒掉圖像中本來存在的小目標(特征)，或者改變圖像中目標的位置，這些都是圖像分析系統(tǒng)所不能容忍的。而利用相位信息進行處理時，這里的許多問題都可以得到很好的解決。圖像包括幅度和相位兩種信息。相對于幅度（灰度/梯度）信息，相位信息在人類視覺感知系統(tǒng)中有非常重要的作用。相位信息有很多優(yōu)良特性，穩(wěn)定性高，符合人類視覺感知特性?；谔荻鹊奶卣鳈z測算子存在的兩個問題只使用單一邊緣模型，即假定邊緣是階躍不連續(xù)的。這類算法過多地強調(diào)了尋找“最優(yōu)”的階躍邊緣檢測算法，而我們初衷在于尋找圖像中高信息內(nèi)容的點。主要用亮度梯度值來表征邊緣的強度。圖像的亮度梯度與許多因素有關(guān)，包括亮度、模糊程度和空間大小。例如，保持亮度不變，將圖像大小加倍，則圖像的梯度就減半。任何基于梯度的邊緣檢測算子就需要相應(yīng)地修改閾值。以上討論說明：基于計算亮度梯度（或圖像亮度空間的其它度量）的圖像特征檢測算子，依賴于圖像對比度和空間大小。

基本問題：事先不知道哪一級邊緣強度對應(yīng)于顯著特征。相位信息重要性的經(jīng)典證明相位重要性的演示(a)提供幅度信息的圖像,(b)提供相位信息的圖像,(c)利用圖像(a)的幅度信息和圖像(b)的相位信息合成的圖像[Oppenheim，1981]1.1基于相位信息的圖像特征檢測1.1.1相位一致性（PC:PhaseCongruency）假定圖像中付里葉分量相位最一致的點為特征點。重要特點：無需對波形進行任何假設(shè)。（a）（b）方波和三角波的付里葉級數(shù)展開考慮1D信號。對于信號I(x)，其付里葉級數(shù)展開為

這里An為第n次諧波余弦分量的幅值，ω是常數(shù)（一般為2π），Φn0是n次分量的相位偏移量或初始相位。函數(shù)Φn(x)表示x點的付里葉分量的局部相位。相位一致性函數(shù)[Kovesi,1996]：

相位一致性（PC）的數(shù)學模型各種各樣的特征類型都可使得相位一致性高的點出現(xiàn)。正是通過對馬赫帶現(xiàn)象的研究才導(dǎo)致了相位一致性模型的發(fā)展。[Morrone,Nature,1986]假設(shè)：人類感覺到的圖像特征總是位于相位一致性高的點上。相位信息對圖像中的噪聲、亮度和對比度的變化特別穩(wěn)健。具有通用性、穩(wěn)健性，并且與人類視覺感知特性一致。相位一致性方法與Canny方法的比較(1)（１）（２）（３）相位一致性方法與Canny方法的比較(2)（１）（２）相位一致性方法與Canny方法的比較(3)（１）（２）相位一致性方法與Canny方法的比較(4)相位一致性方法與Canny方法的比較(4)（續(xù)）馬赫帶原圖以及SPC、PC和Canny檢測結(jié)果相位一致性方法與Canny方法的比較(5)Hering網(wǎng)格Canny檢測結(jié)果PC(SPC)檢測結(jié)果相位一致性方法與Canny方法的比較(5)（續(xù)）相位一致性方法與Canny方法的抗噪性能比較相位一致性的局限性局限性一：信號的頻率含量是否豐富正弦信號的相位一致性局限性二：邊界和特征連接處的“余震”現(xiàn)象

相位一致性在尖銳特征處表現(xiàn)的“余震”現(xiàn)象1.1.2對稱相位一致性(SPC,SymmetryPhaseCongruency)考慮四個特殊的相位（對稱相位）：0、

/2、

、

/2。這里的每一個相位對應(yīng)于正交濾波器對的偶對稱濾波器（實部）或奇對稱濾波器（虛部）的響應(yīng)為0。

例如，0相位表示奇對稱濾波器（虛部）的響應(yīng)為0，偶對稱濾波器（實部）的響應(yīng)為正值。對于相位

/2、

，情況類似。

對稱相位的重要特性：可以快速、準確地定位對稱相位。對稱相位一致性的基本概念：將圖像付里葉分量相位最一致且相位為四個對稱相位的點作為特征點。SPC將像素p、尺度n、方向o映射為和對稱相位，表示如下：

且同時滿足以下條件：(1)對稱相位由給定；(2)相位是一致的：在所有方向和尺度下的相位是相同的；(3)sumE(p)為p點在相位一致時的能量和，sumA(p)為p點在相位一致時的幅度和，ε為小的正的常數(shù)，防止分母為0。對稱相位一致性(SPC)數(shù)學模型從三方面說明：二者共同點，用馬赫帶效應(yīng)說明（與Canny算子的比較不再重復(fù)）

SPC的性能驗證分析SPC和PC提取特征的信息量問題注：這里給出的關(guān)于SPC的所有實驗結(jié)果都使用了相同的參數(shù)。

1.1.3SPC與PC的比較馬赫帶原圖以及SPC、PC和Canny檢測結(jié)果

正弦網(wǎng)格及其SPC和PC檢測結(jié)果一維正弦函數(shù)的SPC和PC結(jié)果SPC與PC的比較(1)——單頻信號SPC與PC比較(2)：“余震”現(xiàn)象SPC基本上可以消除PC的“余震”現(xiàn)象SPC與PC的比較(3)——抗噪性能（a）噪聲強度為0.01(c）所加噪聲為均值為0、方差為0.2的乘性噪聲（b）所加噪聲為均值為0.2、方差為0.01的高斯白噪聲

SPC與PC的特征定位性能比較SPC與PC的比較(4)——定位性能SPC與PC的比較(5)——信息量(a)Lina原圖以及SPC和PC算子的檢測結(jié)果(b)Milkdrop原圖以及SPC和PC算子的檢測結(jié)果一般來說，PC檢測結(jié)果的信息量要大于SPC。但是從前面的實驗結(jié)果看，信息量的多少對檢測效果并沒有明顯的影響。對于自然圖像，二者的比較結(jié)果如圖所示。1.2基于相位信息的對稱性檢測對稱性在自然界無處不在自然的和人工的物體通常會引起人的對稱性的感覺越對稱越漂亮對稱性在感知問題上起很重要的作用：大腦對對稱性的反應(yīng)一塊區(qū)域的對稱性越強，越容易被看成圖形軍事偽裝三種類型的對稱（分別為鏡像對稱、旋轉(zhuǎn)對稱、曲線對稱）對稱性的分類對稱性檢測常規(guī)方法的局限性它們都是針對只包含一個物體的圖像設(shè)計的。當圖像包含多個物體時就需要進行分割，而我們在處理圖像以前并不知道圖像中包含多少物體，因此這類算子具有一定的局限性。它們對圖像對稱性的度量不符合人類的視覺特性。比如，在同樣的背景下有兩個灰度不同的圓，如果用基于梯度的方法進行度量，則這兩個圓的對稱性必然與其梯度有關(guān)，即這兩個圓的對稱性不同，右邊的圓比左邊的圓“更圓”。這顯然與客觀不符。它們一般只能檢測某一類對稱性，比如鏡像對稱或者旋轉(zhuǎn)對稱，而對其它類型的對稱則無能為力，即通用性較差?；谙辔恍畔⒌膶ΨQ性檢測(PSD,Phase-basedSymmetryDetection)Constructionof(a)squarewaveformand(b)triangularwaveformfromtheirFourierseries.InbothdiagramsthefirstfewtermsoftherespectiveFourierseriesareplotted.33PSD將像素p、尺度n、方向o映射為、相位：

且同時滿足以下兩個條件：

(1)，即所有尺度和方向下相位一致且相位為0的點的對稱能量之和；

(2)

，即所有尺度和方向下相位一致且相位為0的點的幅度之和。

PSD的數(shù)學模型PSD的性能分析(a)(b)(c)(d)ComparisonbetweenPSDandothermethods(a)Originalimage,(b)detectionresultofPSD,(c)detectionresultofKSD[Kovesi,1996],and(d)thinningresult（1）PSD可以同時檢測多個物體的對稱性需要強調(diào)的是，這里給出的關(guān)于PSD的所有實驗結(jié)果都使用了相同的參數(shù)。(a')(b')(c')PSDisinvarianttorotating,brightnessandcontrast(a)Originalimage’scontrastincreased60,(b)originalimage’sbrightnessincreased60,and(c)originalimagerotatedby90o(a'),(b'),and(c')arethesymmetrydetectionresultsof(a),(b),and(c),respectively(a)(b)(c)（2）具有旋轉(zhuǎn)、亮度和對比度不變性

（3）PSD與PCA的比較(a)(b)(c)ComparisonbetweenPSDandPCA(a)Originalplane,(b)symmetrydetectionbyPCA,(c)symmetrydetectionbyPSD

(a)(b)(c)(a')(b')(c')ComparisonbetweenPSDandPCAfornoisedimages(a)Planewith10%Gaussdistributionnoise,(b)PCAof(a),(c)PSDof(a);(a')planewith20%uniformdistributionnoise,(b')PCAof(a'),and(c')PSDof(a')

Thescaleparameter'sinfluenceonresults(1)

(a)(b)(c)(d)

PSDresultswhentheminimumscalevaries.Here,(a)istheoriginalimages;(b),(c)and(d)arethedetectedresultswhentheminimumscaleis16,20and24respectively.

Thescaleparameter'sinfluenceonresults(2)

(a)(b)(c)PSDresultswhentheminimumscaleistoosmall(a)andtoolarge(b).Iftheminimumscaleistoosmall,whennumberofscaleisfixed,thenthemuchlargerobjects'symmetrycannotbedetected(see(b)).Iftheminimumscaleistoolarge,thenverysmalland/orthinobjectsinimagewillnotbedetected(shownin(c)).Accordingtotheexperiences,weselect20fortheminimumscale.

Thescaleparameter'sinfluenceonresults(3)

(a)(b)(c)PSDresultswhenthenumberofscaleischanged.Aboutthenumberofscale,selecting3to5iswell.Hereweuse3.Wefindthattheresultschangelittleevenwhenitincreasesto20.(b)and(c)arethePSDresultswhenthenumberofscaleis3and20respectively.Fromtestsitisshownthatslightlychangingtheseparametershasnodistincteffectonthedetectionresults.2.1紡織品起毛起球客觀評級

2.2布匹瑕疵檢測

2.3色牢度客觀評級

2.4紡織品組織結(jié)構(gòu)分析

2.圖像處理技術(shù)在紡織領(lǐng)域中的應(yīng)用2.1紡織品起毛起球客觀評級技術(shù)第一行：針織物樣本圖像第二行：毛球分割圖像圖像采集粘連毛球區(qū)域分離基于神經(jīng)網(wǎng)絡(luò)的評級開始起毛起球性能指標計算結(jié)束基于相位信息的毛球檢測“基于圖像分析的紡織品起毛起球客觀評級系統(tǒng)”，其中：基于相位信息的毛球檢測算法是系統(tǒng)的核心技術(shù)。該系統(tǒng)可以克服傳統(tǒng)目測評級方法的主觀性，可以客觀、精確、高效地進行起毛起球等級評定。

紡織品起毛起球客觀評級系統(tǒng)2.2基于圖像處理的布匹瑕疵檢測傳統(tǒng)的人工驗布集中力最多維持20-30分鐘，長時間會產(chǎn)生疲勞，容易漏檢，并且人眼的可視度有限，人工驗布的速度為5-20m/min；自動驗布機系統(tǒng)驗布速度可達120m/min以上，可視度比較靈活，檢驗率可達到90%以上。上光源下光源木棍皺跳花破洞棉球霉斑密路布匹瑕疵描述根據(jù)我國紡織行業(yè)標準織物疵點分類，布匹瑕疵的類型有55種。主要有：破洞、跳花和跳紗、霉斑、雙緯、稀密路、脫緯、稀弄、緯縮、棉球、雜物等。油斑油經(jīng)斷織油緯毛發(fā)雜物油斑分割圖油經(jīng)分割圖斷織分割圖油緯分割圖毛發(fā)分割圖雜物分割圖布匹瑕疵：檢測與分割

Flowchartofclothdefectimageclassification基于SVM的

瑕疵分類2.3基于圖像分析的色牢度評級

(a)單色平紋(b)單色斜紋(c)單色緞紋

(d)彩色平紋(e)紗線偏斜的彩色緞紋(f)紗線偏斜的單色斜紋(g)彩色平紋(h)變化組織織物(i)變化組織織物機織物樣本圖像2.4紡織品組織結(jié)構(gòu)自動分析3.4.1原組織及變化組織機織物識別方法

(a)單色平紋(b)單色(c)單色緞紋

(d)彩色平紋(e)紗線偏斜的彩色緞紋(f)紗線偏斜的單色斜紋(g)彩色平紋(h)變化組織織物(i)變化組織織物預(yù)處理后圖像灰度投影曲線及組織點分割結(jié)果紗線偏斜機織物及灰度投影曲線

(a)偏斜矯正后圖像(b)組織點分割結(jié)果矯正后圖像及分割結(jié)果基于模糊C均值算法的組織點分類與識別（初步結(jié)果）

基本組織循環(huán)及校正后的組織圖實際織物樣本組織圖基本組織循環(huán)顏色多樣的原組織及變化組織織物識別結(jié)果

條紋織物原圖2.4.2條紋織物組織結(jié)構(gòu)的自動識別方法

條紋組織紗線分割

掃描窗口選取示意圖

分割和識別結(jié)果條紋織物原圖，相鄰窗口間相關(guān)系數(shù)曲線，識別和分割結(jié)果條紋織物組織的分割和識別結(jié)果3基于單目視覺的汽車安全預(yù)警技術(shù)

相機標定

圖像采集及預(yù)處理

車道線檢測

前方車輛檢測

單目測距

前方行人檢測

事件觸發(fā)預(yù)警機制

事件觸發(fā)數(shù)據(jù)存儲

硬件平臺及實驗結(jié)果夜晚的前方車輛檢測和行人檢測駕駛員疲勞狀況檢測3.1相機標定相機：MVC1000MSCMOS黑白工業(yè)相機鏡頭：PENTAX8.5mm1:1.5TV鏡頭內(nèi)參標定：張正友標定法3.2圖像采集及預(yù)處理相機：MVC1000MSCMOS黑白業(yè)相機鏡頭：PENTAX8.5mm1:1.5TV鏡頭設(shè)置：相機對焦設(shè)為1.8英尺，光圈設(shè)為8，曝光時間設(shè)為20ms，使拍攝的視頻幀率達到25frames/s，圖像分辨率為640×480。

θhΨd1d2XVdφ前視圖俯視圖側(cè)視圖3.2圖像采集及預(yù)處理采集到的一幀原始圖像3.3車道線檢測3.3車道線檢測—最小二值擬合3.4前方車輛檢測開始截取圖像提取車輛底部陰影與路面交線邊緣噪聲濾波獲取位置線條定位目標垂直輪廓獲取目標信息結(jié)束目標信息匹配目標分類判決輸出最終檢測結(jié)果灰度信息驗證ABCABCDBADBA目標跟蹤結(jié)果圖目標跟蹤結(jié)果圖圖中目標C經(jīng)跟蹤分類判決為偽目標FalseResult圖中目標A為次等跟蹤目標結(jié)果InfResult，目標D是新出現(xiàn)的目標NewResult，目標B是穩(wěn)定跟蹤目標TrackResult。3.4前方車輛檢測—檢測結(jié)果3.4前方車輛檢測—試驗結(jié)果統(tǒng)計場景車輛個數(shù)檢測個數(shù)檢測正確率事件個數(shù)預(yù)警個數(shù)虛警率漏警率報警正確率時間天氣地點白天10:00-16:00晴快速路24824999.6%2782800.7%099.3%高速路215215100%23523500100%陰快速路235235100%25125100100%高速路204204100%21621600100%多云快速路233234100%2592610.8%099.2%高速路240240100%24724700100%早上06:00-07:00晴快速路226226100%2552560.4%0100%高速路198198100%20620600100%陰快速路220220100%24724700100%高速路199199100%20820800100%多云快速路21822099.1%2402420.8%099.2%高速路20320499.5%2122130.5%099.5%傍晚17:00-18:00晴快速路22122399.1%2262280.9%099.1%高速路217217100%22422400100%陰快速路195195100%20720700100%高速路222222100%23123100100%多云快速路21721699.5%2232230.5%0.4%99.0%高速路187187100%1981990.5%099.5%總計3898390499.8%416341740.3%0.02%99.7%3.5行人檢測3.5行人檢測—檢測結(jié)果3.6單目測距—數(shù)據(jù)回歸的測距模型相機固定后，前方目標的距離和相機成像后目標垂直像素高度一一對應(yīng)，就可以采用數(shù)據(jù)回歸建模的方法，擬合出距離與像素高度關(guān)系的曲線函數(shù)實現(xiàn)單目測距。擬合距離/m目標圖像縱坐標/像素3.6單目測距—實驗獲取擬合數(shù)據(jù)三個角度下實驗獲取縱向和橫向擬合數(shù)據(jù)………3.6單目測距—縱向和橫向測距將行人檢測、前方車輛檢測、車道線檢測結(jié)果代入測距函數(shù)，計算行人和車輛距離、本車與左右車道線的距離。3.7事件觸發(fā)預(yù)警機制開始預(yù)警模塊PD算法模塊FCD算法模塊LD算法模塊ARM配置信號是否滿足預(yù)警觸發(fā)機制報警結(jié)束是否3.7事件觸發(fā)預(yù)警機制—

前方車輛預(yù)警機制如果以（D-D′）/Tf的相對速度接近，兩秒相對運動距離大于D′，發(fā)出預(yù)警。上一幀：D2×（D-D′）/Tf>D′當前幀：D′2秒后3.7事件觸發(fā)預(yù)警機制—車道偏離預(yù)警機制當前狀態(tài)或0.5秒后車身邊