《計(jì)算機(jī)視覺(jué)》 課件 4、圖像的線特征表示

計(jì)算機(jī)視覺(jué)主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機(jī)械工業(yè)出版社4、線特征表示邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換邊緣檢測(cè)圖像邊緣的產(chǎn)生 物體的邊界、表面方向的改變、不同顏色或材質(zhì)、光照明暗的變化物體的邊界表面方向變化不同顏色區(qū)域光照明暗邊緣的定義定義：“邊緣是圖像中亮度突然變化的區(qū)域?！薄皥D像灰度構(gòu)成的曲面上的陡峭區(qū)域?！薄跋袼鼗叶却嬖陔A躍變化或屋脊?fàn)钭兓南袼氐募?。”灰度圖像中邊緣的類(lèi)型階梯狀邊緣屋脊?fàn)钸吘壘€條狀邊緣為什么要提取邊緣？邊緣是最基本的圖像特征之一：可以表達(dá)物體的特征邊緣特征對(duì)于圖像的變化不敏感幾何變化，灰度變化，光照方向變化可以為物體檢測(cè)提供有用的信息是一種典型的圖像預(yù)處理過(guò)程原始圖像輸出結(jié)果模式識(shí)別預(yù)處理特征提取如何提取邊緣？（灰度圖象）灰度圖象邊緣提取，主要的思想：抑制噪聲（低通濾波、平滑、去噪、模糊）邊緣特征增強(qiáng)（高通濾波、銳化）邊緣定位原始圖像中間結(jié)果圖像邊緣抑制噪聲增強(qiáng)邊緣邊緣定位圖像微分算子一階微分算子（梯度算子）Prewitt,Sobel

檢測(cè)最大值二階微分算子（Laplacian）檢測(cè)過(guò)零點(diǎn)微分算子檢測(cè)邊緣：一維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：二階導(dǎo)數(shù)的過(guò)零點(diǎn)：注意：僅僅等于0不夠，常數(shù)函數(shù)也為0，必須存在符號(hào)改變微分算子檢測(cè)邊緣：二維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：其中，圖像梯度向量：梯度幅值表示邊緣的強(qiáng)弱，梯度方向代表灰度變化最快的方向微分算子檢測(cè)邊緣：二維信號(hào)二階導(dǎo)數(shù)的過(guò)零點(diǎn)：拉普拉斯算子：各向同性的兩階微分算子,保持旋轉(zhuǎn)不變?cè)跀?shù)字圖像上計(jì)算梯度一維的情況：f(x)x-1x+1對(duì)于離散的數(shù)字信號(hào)，可以使用差分近似：相當(dāng)于與如下模板進(jìn)行卷積運(yùn)算：-101×0.5在數(shù)字圖像上計(jì)算梯度使用差分運(yùn)算在數(shù)值上近似一階微分運(yùn)算-101-101豎直邊緣水平邊緣×0.5×0.5病態(tài)問(wèn)題：一維信號(hào)的例子從圖像中取出某行像素值：邊緣在哪里？病態(tài)問(wèn)題：一維信號(hào)的例子Question：假設(shè)噪聲的幅度很小，是否也很??？例：噪聲為高頻的正旋波信號(hào)的微分不能由帶有噪聲的觀測(cè)信號(hào)的微分得到解決方法：先進(jìn)行濾波峰值為邊緣的位置利用卷積運(yùn)算的性質(zhì)：峰值為邊緣的位置Sobel算子Prewitt算子Roberts算子圖像梯度算子的近似Prewitt算子-101-101-101計(jì)算均值，平滑噪聲檢測(cè)豎直邊緣-1-1-1000111計(jì)算均值，平滑噪聲檢測(cè)水平邊緣Prewitt算子，近似一階微分卷積模版：去噪+增強(qiáng)邊緣Sobel算子-101-202-101計(jì)算均值，平滑噪聲檢測(cè)豎直邊緣-1-2-1000121計(jì)算均值，平滑噪聲檢測(cè)水平邊緣Sobel算子，近似一階微分去噪+增強(qiáng)邊緣，給四鄰域更大的權(quán)重常見(jiàn)的梯度算子(a):Roberts算子 (b):3x3Prewitt算子(c):Sobel算子 (d):4x4Prewitt算子Sobel,Prewitt例子在數(shù)字圖像上計(jì)算二階微分拉普拉斯算子拉普拉斯算子的數(shù)字近似3*3卷積模版0-10-14-10-10-1-1-1-18-1-1-1-1拉普拉斯算子的特點(diǎn)拉普拉斯算子的運(yùn)算結(jié)果是標(biāo)量只有幅值，只使用一個(gè)模版便可計(jì)算得到方向?qū)傩詠G失實(shí)際中幾乎不單獨(dú)使用拉普拉斯算子：二次求導(dǎo)數(shù)，對(duì)噪聲非常敏感通常配合濾波器同時(shí)使用LaplacianofGaussian(LoG)首先用Gauss函數(shù)對(duì)圖像進(jìn)行平滑，抑制噪聲然后對(duì)經(jīng)過(guò)平滑的圖像使用Laplacian算子利用卷積的性質(zhì)LoG算子等效于：

Gaussian平滑+Laplacian二階微分高斯拉普拉斯LaplacianofGaussianoperator過(guò)零點(diǎn)為邊緣的位置二維邊緣微分濾波器LoG算子:高斯拉普拉斯高斯高斯的導(dǎo)數(shù)在數(shù)字圖像上實(shí)現(xiàn)LoG00-1000-1-2-10-1-216-2-10-1-2-1000-100

LoG因其形狀，也稱(chēng)為Mexicanhat

求和為0，即對(duì)平坦圖像區(qū)域的響應(yīng)為0

一個(gè)近似的卷積模版：體現(xiàn)主要的形狀LoG：例子（a）LennaImage（b）Gaussian模版卷積（15*15）（c）Laplacian模版卷積（3*3）（a）（b）（c）分兩步實(shí)現(xiàn)LoG，可以提供更大的靈活性更小的模版尺寸LoG：例子（d）將(c)中大于0的像素置1，其余置0（e）在二值圖像（d）上檢測(cè)邊緣，使用形態(tài)學(xué)膨脹方法（f）結(jié)果顯示（d）（e）（f）幾個(gè)特點(diǎn)：（1）正確檢測(cè)到的邊緣：?jiǎn)蜗袼貙挾龋ㄎ粶?zhǔn)確（2）形成許多封閉的輪廓（spaghetti，意大利面條）（3）需要更加復(fù)雜的算法檢測(cè)過(guò)零點(diǎn)Canny邊緣檢測(cè)器最常用的邊緣檢測(cè)方法之一一個(gè)優(yōu)化的方案噪聲抑制邊緣增強(qiáng)邊緣定位J.Canny,“AComputationalApproachtoEdgeDetection”,

IEEETrans.onPAMI,8(6),1986.Canny邊緣檢測(cè)算法算法基本過(guò)程：計(jì)算圖像梯度梯度非極大值抑制雙閾值提取邊緣點(diǎn)幅值大小M(x,y)方向Theta(x,y)NMS：Non-MaximaSuppression計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)高斯函數(shù)的一階導(dǎo)數(shù)(DerivativeofGaussian)可以很近似地滿(mǎn)足以下三條邊緣檢測(cè)最優(yōu)準(zhǔn)則：好的邊緣檢測(cè)結(jié)果：Gooddetection

對(duì)邊緣的響應(yīng)大于對(duì)噪聲的響應(yīng)好的定位性能：Goodlocalization

其最大值應(yīng)接近邊緣的實(shí)際位置對(duì)同一邊緣有低的響應(yīng)次數(shù)： 在邊緣附近只有一個(gè)極大值點(diǎn)計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)

（2）使用一階有限差分計(jì)算偏導(dǎo)數(shù)的兩個(gè)陣列：（1）求圖像與高斯平滑濾波器卷積:-11-1111-1-1相當(dāng)于與模版進(jìn)行卷積運(yùn)算：代表對(duì)圖像的平滑程度計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)（3）幅值和方位角:M代表梯度幅值的大小，在存在邊緣的圖像位置處，M的值變大，圖像的邊緣特征被“增強(qiáng)”如何檢測(cè)邊緣？局部極值周?chē)嬖谙嘟鼣?shù)值的點(diǎn)非極大值抑制NMS非極大值抑制（NMS：Non-MaximaSuppression）主要思想：由梯度幅值圖像M(x,y)，僅保留極大值。（嚴(yán)格地說(shuō)，保留梯度方向上的極大值點(diǎn)。）得到的結(jié)果為N(x,y)，具體過(guò)程：初始化N(x,y)=M(x,y)對(duì)于每個(gè)點(diǎn)，在梯度方向和反梯度方向各找n個(gè)像素點(diǎn)。若M(x,y)不是這些點(diǎn)中的最大點(diǎn)，則將N(x,y)置零，否則保持N(x,y)不變。N(x,y)單像素寬度：?jiǎn)栴}：額外的邊緣點(diǎn)，丟失的邊緣點(diǎn)非極大值抑制NMS

在梯度方向的沿線上檢測(cè)該點(diǎn)是否為局部極大值簡(jiǎn)化的情形，只使用4個(gè)方向：{0，45，90，135}

得到的結(jié)果N（x,y）包含邊緣的寬度為1個(gè)像素對(duì)NMS結(jié)果進(jìn)行二值化對(duì)上述得到的N(x,y)使用閾值進(jìn)行二值化使用大的閾值，得到：少量的邊緣點(diǎn)許多空隙使用小的閾值，得到：大量的邊緣點(diǎn)大量的錯(cuò)誤檢測(cè)使用雙閾值檢測(cè)邊緣兩個(gè)閾值T1，T2：T2>>T1由T1得到E1(x,y)，低閾值邊緣圖：更大的誤檢測(cè)率由T2得到E2(x,y)，高閾值邊緣圖：更加可靠邊緣連接：E1E1E1E1E2E2E2邊緣連接將E2(x,y)中相連的邊緣點(diǎn)輸出為一幅邊緣圖像E(x,y)對(duì)于E(x,y)中每條邊，從端點(diǎn)出發(fā)在E1(x,y)中尋找其延長(zhǎng)的部分，直至與E(x,y)中另外一條邊的端點(diǎn)相連，否則認(rèn)為E1(x,y)中沒(méi)有它延長(zhǎng)的部分將E(x,y)作為結(jié)果輸出Canny算子例子原始圖像原始圖像經(jīng)過(guò)Gauss平滑Canny算子例子梯度幅值圖像梯度幅值經(jīng)過(guò)非極大值抑制Canny算子例子低閾值邊緣圖像高閾值邊緣圖像Canny輸出邊緣圖像使用Canny算子需要注意的問(wèn)題Canny算子的優(yōu)點(diǎn)：參數(shù)較少計(jì)算效率得到的邊緣連續(xù)完整參數(shù)的選擇：Gauss濾波的尺度雙閾值的選擇(LOW=HIGH*0.4)漸增高斯濾波模版的尺寸漸增雙閾值的大小，保持low=high*0.44、線特征表示邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換活動(dòng)輪廓模型活動(dòng)輪廓模型(ActiveContourModels)--Snake1987,Kass,Witkin,Terzopoulos;定義：能量達(dá)到最小值的曲線—snake的能量是根據(jù)它的形狀和在圖像中的位置確定的一種特殊的變形模板匹配必須通過(guò)交互為snake具體指定一個(gè)估計(jì)的形狀和開(kāi)始的位置49活動(dòng)輪廓模型50Snake算法的核心思想是通過(guò)最小化一個(gè)能量函數(shù)來(lái)逼近圖像中的邊緣。這個(gè)能量函數(shù)綜合考慮了輪廓的內(nèi)在屬性（如連續(xù)性和光滑性）和圖像的特征信息（如梯度），從而實(shí)現(xiàn)對(duì)目標(biāo)輪廓的精確描述。圖4-1Snake算法處理圖活動(dòng)輪廓模型活動(dòng)輪廓模型-----蛇形：（a）初始snake位置（點(diǎn)狀線），定義在真實(shí)輪廓附近；（b）snake能量函數(shù)最小化迭代；（c）snake被拉到真實(shí)輪廓處51活動(dòng)輪廓模型用于最小化的能量是外力和內(nèi)力的加權(quán)和內(nèi)力由snake的形狀計(jì)算得到，外力從圖像中獲得或是從更高級(jí)的圖像理解處理中得到Snake被定義為和是輪廓點(diǎn)的x和y的坐標(biāo)值，

曲線因?yàn)閺澢a(chǎn)生的內(nèi)部能量；從圖像中得到的力；外部的約束力52活動(dòng)輪廓模型曲線內(nèi)部能量的定義：

和規(guī)定了snake的彈性（elasticity）和剛性（stiffness）在點(diǎn)處令=0，這樣就允許snake在該點(diǎn)處出現(xiàn)二階不連續(xù)，這時(shí)就會(huì)在該點(diǎn)出現(xiàn)角點(diǎn)53活動(dòng)輪廓模型從圖像中得到的力基于輪廓線的函數(shù)項(xiàng)：

表示在點(diǎn)位置處的圖像灰度值；

的符號(hào)指定了snake是被吸引到淡色的輪廓線還是深色的輪廓線基于邊緣的函數(shù)項(xiàng)：該函數(shù)將snake吸引到圖像中具有較大梯度值的邊緣處，也就是強(qiáng)邊緣處54活動(dòng)輪廓模型來(lái)自外部的約束由用戶(hù)指定或來(lái)自其他更高層次的處理，可以讓snake朝著或是背離某些指定的特征。如果snake在目標(biāo)特征的附近，剩下的過(guò)程可以由能量最小化來(lái)完成。盡管如此，如果snake到達(dá)局部能量極小值，但更高層次的處理將其判定為錯(cuò)誤時(shí)，可在該處產(chǎn)生一個(gè)能量峰值區(qū)域，迫使snake離開(kāi)并達(dá)到一個(gè)局部極小值55活動(dòng)輪廓模型56一條snake被吸引到邊緣和端點(diǎn)：（a）輪廓錯(cuò)覺(jué)（b）一條snake被吸引到主觀輪廓處邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換4、線特征表示ASM/AAM模型

（ActiveShape/AppearanceModel）ASM是一種基于點(diǎn)分布模型（PDM）的算法。主要利用若干關(guān)鍵特征點(diǎn)（landmarks）形成一個(gè)形狀向量來(lái)描述一個(gè)目標(biāo)ASM模型的實(shí)現(xiàn)分為：ASMBuildingASMFittingASM特征點(diǎn)ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型獲得特征點(diǎn)

形狀向量歸一化（對(duì)齊）

形狀向量歸一化（對(duì)齊）

ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型PCA特征提取

正交

PCA特征提取

建立局部特征（localstragety)對(duì)于每個(gè)特征點(diǎn)xi,都可以建立局部特征：

ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型模型匹配（Fitting）模型匹配（Fitting）模型匹配（Fitting）AAM（ActiveAppearanceModel）AAM（ActiveAppearanceModel）4、線特征表示邊緣檢測(cè)：邊緣檢測(cè)算子SNAKEASM/AAMHough變換Hough變換Hough變換(HT)問(wèn)題的提出Canny或Sobel等邊緣檢測(cè)算法通過(guò)識(shí)別圖像中的亮度變化來(lái)標(biāo)記邊緣點(diǎn)在找出邊緣點(diǎn)集之后，需要連接，形成完整的邊緣圖形描述。y=kx+q(x0,y0)xykq(k,q)設(shè)直線在原始圖像空間（x,y)的直線方程為：y=kx+q（斜截式）它與參數(shù)空間上的一個(gè)點(diǎn)(k,q)相對(duì)應(yīng)。過(guò)(x0,y0)的一組直線，在參數(shù)空間中可用一條直線表示：q=-x0k+y0

所以，在圖像中一條直線上，在參數(shù)空間中為一個(gè)點(diǎn)，在參數(shù)空間中找到這個(gè)點(diǎn)，就可以找到在x,y空間中對(duì)應(yīng)的這條線的兩個(gè)參數(shù)。Hough變換的基本思想Hough變換如果圖像中有兩條直線，對(duì)于分布在這兩條直線上的點(diǎn)，就可以在參數(shù)空間中找到兩個(gè)聚類(lèi)點(diǎn)。kqxyABCD

EF

把用斜率和截距的表示變成用法線和法線與X軸的夾角表示。即：yx(x,y)(x0,y0)

‘其中是從原點(diǎn)引到直線的垂線長(zhǎng)度；是垂線和x軸的夾角。=xcos+ysin