機(jī)器人仿真、控制與應(yīng)用 課件 第九章：機(jī)器視覺(jué)基礎(chǔ)

第九章：機(jī)器視覺(jué)基礎(chǔ)

引言眼睛是心靈的窗戶(hù)，人類(lèi)通過(guò)眼睛來(lái)感知物體的形狀、色彩位置，人類(lèi)視覺(jué)感知信息約占人類(lèi)所有感官信息的80%；機(jī)器人也一樣，機(jī)器人的智能化發(fā)展必然依賴(lài)機(jī)器人視覺(jué)技術(shù)的發(fā)展，而機(jī)器人視覺(jué)技術(shù)的基礎(chǔ)便是視覺(jué)圖像處理9.1圖像傳感器與視覺(jué)系統(tǒng)機(jī)器人視覺(jué)系統(tǒng)主要包括光源、鏡頭、相機(jī)、信息處理器、視覺(jué)算法軟件等部分。物體反射光源光線，通過(guò)鏡頭在相機(jī)中成像，通過(guò)圖像處理算法處理圖像得到需要的信息，再將其傳送到執(zhí)行單元進(jìn)行運(yùn)動(dòng)控制。機(jī)器人機(jī)器人視覺(jué)系統(tǒng)9.1圖像傳感器與視覺(jué)系統(tǒng)——光源作用：使物體的重要特征可見(jiàn)，同時(shí)抑制物體不需要的特征。常用光源：白熾燈熒光燈氙燈LED對(duì)于每種不同的檢測(cè)對(duì)象,必須采用不同的照明方式才能突出被檢測(cè)對(duì)象的特征,有時(shí)可能需要采取幾種方式的結(jié)合。9.1圖像傳感器與視覺(jué)系統(tǒng)——鏡頭鏡頭：鏡頭屬于光學(xué)部分，用于控制成像光線，也決定了成像的大部分屬性。其主要參數(shù)如下：焦距：從鏡頭的中心點(diǎn)到焦平面上所形成的清晰影像之間的距離。焦距的大小決定著視角的大小。光圈：用F表示，以鏡頭焦距f和通光孔徑D的比值來(lái)衡量，控制進(jìn)入相機(jī)的光量。9.1圖像傳感器與視覺(jué)系統(tǒng)——鏡頭景深：被攝物體聚焦清楚后，在物體前后一定距離內(nèi)，其影像仍然清晰的范圍。焦距越短、光圈越小，景深越大。視場(chǎng)：視場(chǎng)是指通過(guò)相機(jī)鏡頭所攝取到的景物范圍；視(場(chǎng))角：從相機(jī)后結(jié)點(diǎn)到畫(huà)幅邊緣所形成的夾角。9.1圖像傳感器與視覺(jué)系統(tǒng)——鏡頭分類(lèi)：按照焦距的長(zhǎng)短和所拍攝畫(huà)面影響的特點(diǎn)，可將鏡頭分為標(biāo)準(zhǔn)鏡頭、廣角鏡頭、魚(yú)眼鏡頭、長(zhǎng)焦鏡頭和變焦鏡頭等。標(biāo)準(zhǔn)鏡頭：視角50°左右，焦距50mm左右。成像效果與人眼類(lèi)似，畫(huà)面貼切自然。廣角鏡頭：視角大(70°以上)，焦距偏小(30mm以下)，景深大，畸變大。9.1圖像傳感器與視覺(jué)系統(tǒng)——鏡頭魚(yú)眼鏡頭：視角180°左右，焦距16mm以下，屬于極端的超廣角鏡頭，一般用于天文觀測(cè)。長(zhǎng)焦鏡頭：又稱(chēng)遠(yuǎn)攝鏡頭，視角12°以下，焦距200mm以上。景深小，視角小，畸變小，適宜人像、遠(yuǎn)距拍攝。9.1圖像傳感器與視覺(jué)系統(tǒng)——圖像傳感器作用：將通過(guò)鏡頭投影到傳感器的圖像傳送到能夠儲(chǔ)存、分析和顯示的機(jī)器設(shè)備上。分類(lèi)：按照傳感器類(lèi)型可以分為CCD相機(jī)、CMOS相機(jī)CCDCMOS圖像傳感器是視覺(jué)成像技術(shù)的關(guān)鍵部件，會(huì)影響到目標(biāo)成像質(zhì)量和后續(xù)的圖像處理效果。好的圖像傳感器可以生成清晰、噪聲少、動(dòng)態(tài)范圍高的圖像。9.1圖像傳感器與視覺(jué)系統(tǒng)——圖像傳感器屬性CCDCMOS成像質(zhì)量噪聲隔離性好，成像質(zhì)量較好集成度高，相互之間光、電、磁干擾嚴(yán)重，噪聲大功耗三組電源供電，耗電量大耗電量小，CCD的1/8到1/10信息讀取方式存儲(chǔ)的電荷信息需要在同步信號(hào)控制下一位一位轉(zhuǎn)移后讀取光電轉(zhuǎn)換之后直接產(chǎn)生電壓信號(hào)速度電荷一位一位轉(zhuǎn)移讀取，速度慢采集光信號(hào)的同時(shí)就可以讀取，可以達(dá)到極高幀率隨著CCD和CMOS技術(shù)的發(fā)展，二者的性能差異在逐漸縮小，CMOS成本低應(yīng)用廣泛，但追求消費(fèi)級(jí)產(chǎn)品一般還是用CCD。CMOS和CCD對(duì)比9.2圖像幾何變換與攝像機(jī)成像模型透鏡成像可以更好地控制進(jìn)光量等成像參數(shù)，但是也會(huì)因?yàn)橥哥R本身的原因帶來(lái)圖像畸變等現(xiàn)象，因此需要進(jìn)行相機(jī)標(biāo)定。最早的相機(jī)成像原理是基于小孔成像原理，當(dāng)代的相機(jī)則是基于透鏡成像。小孔成像早期相機(jī)結(jié)構(gòu)現(xiàn)在相機(jī)結(jié)構(gòu)9.2圖像幾何變換與攝像機(jī)成像模型相機(jī)標(biāo)定內(nèi)容分為兩部分：(1)標(biāo)定從像素坐標(biāo)系到世界坐標(biāo)系需要的參數(shù)；(2)標(biāo)定相機(jī)的畸變參數(shù)視覺(jué)系統(tǒng)中，有像素坐標(biāo)，圖像平面坐標(biāo)，攝像機(jī)坐標(biāo)，世界坐標(biāo)四種坐標(biāo)系。像素坐標(biāo)：圖像陣列中的位置(u,v)圖像平面坐標(biāo)：場(chǎng)景點(diǎn)在圖像平面上的投影坐標(biāo)以攝像機(jī)主點(diǎn)為原點(diǎn)攝像機(jī)坐標(biāo)：以攝像機(jī)（觀察者）為中心的三維坐標(biāo)世界坐標(biāo)：絕對(duì)坐標(biāo)系中的三維坐標(biāo)9.2圖像幾何變換與攝像機(jī)成像模型世界坐標(biāo)系?相機(jī)坐標(biāo)系

相機(jī)坐標(biāo)系?圖像坐標(biāo)系

圖像坐標(biāo)系?像素坐標(biāo)系相機(jī)標(biāo)定可以確定坐標(biāo)轉(zhuǎn)換需要的各種參數(shù)(內(nèi)參、外參)9.3空間濾波圖像濾波：圖像在獲取的過(guò)程中，會(huì)由于多種因素的影響而產(chǎn)生質(zhì)量的退化，而圖像濾波往往用于預(yù)處理，以提高待處理圖像的圖像質(zhì)量。噪聲圖像1噪聲圖像2圖像濾波根據(jù)處理域不同分為空間濾波和頻域?yàn)V波9.3空間濾波平滑線性濾波器線性空間濾波處理經(jīng)常被稱(chēng)為“掩模與圖像的卷積”,類(lèi)似的,濾波模板有時(shí)也稱(chēng)為"卷積模板","卷積核"w11w12w13w21w22w23w31w32w33

x都是一些加權(quán)線性操作，所以稱(chēng)為線性濾波器9.3空間濾波均值濾波器用鄰域像素的線性加權(quán)值替代原圖像素值，用于降低噪聲；圖像邊緣也是由圖像灰度尖銳變化帶來(lái)的特性,所以均值濾波還是存在有邊緣模糊負(fù)面效應(yīng)。噪聲圖像3x3均值濾波器9x9均值濾波器9.3空間濾波統(tǒng)計(jì)排序(非線性)濾波器：對(duì)圖像領(lǐng)域內(nèi)像素按照一定統(tǒng)計(jì)特性、數(shù)理特征進(jìn)行排序等，替代原始圖像像素值。f11f12f13f21f22f23f31f32f33常見(jiàn)的非線性濾波器：中值濾波：選取鄰域內(nèi)中值最大值濾波：選取鄰域內(nèi)最大值最小值濾波：選取鄰域內(nèi)最小值與線性濾波器相比，計(jì)算量相對(duì)較大不用設(shè)計(jì)權(quán)重，只需要利用鄰域的統(tǒng)計(jì)信息9.3空間濾波中值濾波3x3中值濾波器9x9中值濾波器噪聲圖像中值濾波對(duì)脈沖噪聲(也稱(chēng)椒鹽噪聲)非常有效；對(duì)于線、尖頂?shù)燃?xì)節(jié)多的圖像不宜采?中值濾波。9.3空間濾波銳化空間濾波器：用來(lái)增強(qiáng)圖像邊緣及灰度突變區(qū)域，使圖像變得清晰。圖像銳化通過(guò)微分算子實(shí)現(xiàn)。拉普拉斯算子：是二維圖像函數(shù)各向同性的二階導(dǎo)。拉普拉斯運(yùn)算卷積核擴(kuò)展卷積核I：圖像x,y：坐標(biāo)9.3空間濾波原始圖像拉普拉斯算子作用后圖像拉普拉斯算子銳化圖像拉普拉斯算子：一般將濾波后的圖像加在原圖上，起到銳化圖像的作用。用二次微分正峰和負(fù)峰之間的過(guò)零點(diǎn)來(lái)確定，對(duì)孤立點(diǎn)或端點(diǎn)更為敏感，因此特別適用于以突出圖像中的孤立點(diǎn)、孤立線或線端點(diǎn)為目的的場(chǎng)合。同時(shí)也易受噪聲影響，一般需要提前去噪。9.3空間濾波微分算子中，基于一階微分的sobel算子也是銳化濾波器常用的一種，常用于提取圖像中的邊緣。對(duì)噪聲具有平滑作用，提供較為精確的邊緣方向信息，是一種較為常用的邊緣檢測(cè)方法。

原圖9.4頻域?yàn)V波

頻域?yàn)V波往往用于去除圖像中的高頻或者周期性噪聲原圖頻域圖像9.4頻域?yàn)V波低頻信號(hào)包含圖像的輪廓，高頻信號(hào)包含圖像的細(xì)節(jié)保留頻域圖像中不同半徑內(nèi)的信號(hào)成分，逆變換到原圖效果如下：原圖9.4頻域?yàn)V波常用的頻域低通濾波器為高斯低通濾波器。高斯低通濾波器(GLPF)的傳遞函數(shù)為高斯低通濾波器在低頻到高頻之間過(guò)渡較平滑，具有通低頻阻高頻的效果。

9.4頻域?yàn)V波通過(guò)高頻信號(hào)的衰減來(lái)實(shí)現(xiàn)頻域平滑原圖高頻成分一般為噪聲或者邊緣信息，高斯濾波后圖像更為平滑低通濾波之后的圖像9.5圖像分割圖像分割是指根據(jù)灰度、顏色、紋理和形狀等特征把圖像分成互不交迭的區(qū)域，有助于進(jìn)一步的圖像理解。圖像分割算法分為基于灰度、邊緣、區(qū)域、圖論及能量泛函的分割方法，也是當(dāng)前視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。圖像分割進(jìn)行目標(biāo)物體區(qū)域提取9.5圖像分割

12.5圖像分割大津閾值分割算法分割示例：可以快速根據(jù)圖像灰度自動(dòng)確定二值化需要的最佳閾值，具有較好的環(huán)境光線適應(yīng)性；屬于全局分割，內(nèi)容灰度級(jí)較復(fù)雜時(shí)，局部分割效果往往不會(huì)很好。9.5圖像分割思路：檢測(cè)灰度級(jí)或者結(jié)構(gòu)具有突變的地方，表明一個(gè)區(qū)域的終結(jié)，也是另一個(gè)區(qū)域開(kāi)始的地方。方法：先確定圖像中的邊緣像素，然后再把這些像素連接在一起就構(gòu)成所需的區(qū)域邊界。常見(jiàn)的邊緣類(lèi)型常見(jiàn)的邊緣提取方法圖像剖面一階導(dǎo)數(shù)二階導(dǎo)數(shù)上升邊緣下降邊緣脈沖邊緣屋頂邊緣Roberts算子sobel算子LoG算子canny算子其中效果公認(rèn)比較好的是Canny算子9.5圖像分割Canny算子：是John.F.Canny于20世紀(jì)80年代提出的一種多級(jí)邊緣檢測(cè)算法，Canny首先思考定義了最優(yōu)邊緣檢測(cè)的定義：好的檢測(cè)：算法能夠盡可能多地標(biāo)識(shí)出圖像中的實(shí)際邊緣；好的定位：標(biāo)識(shí)出的邊緣要盡可能與實(shí)際邊緣盡可能接近最小響應(yīng)：邊緣只能標(biāo)識(shí)一次，并且圖像噪聲不應(yīng)標(biāo)識(shí)為邊緣為了滿(mǎn)足這些要求，Canny設(shè)計(jì)了邊緣檢測(cè)的5個(gè)步驟：（1）高斯濾波器，平滑去噪(噪聲不應(yīng)被標(biāo)識(shí)成邊緣)（2）計(jì)算每個(gè)像素點(diǎn)的梯度強(qiáng)度和方向(梯度是邊緣計(jì)算基礎(chǔ))（3）非極大值抑制消除誤檢邊(與實(shí)際邊緣盡可能接近)（4）雙閾值確定真實(shí)和潛在的邊緣(盡可能多地標(biāo)識(shí)邊緣)（5）通過(guò)抑制孤立的弱邊緣最終完成邊緣檢測(cè)(與實(shí)際邊緣盡可能接近)9.5圖像分割1.高斯濾波器去噪2.計(jì)算每個(gè)像素點(diǎn)的梯度強(qiáng)度和方向高斯濾波原圖可以看出，邊緣寬度較寬且內(nèi)部存在較弱的邊緣干擾經(jīng)過(guò)高斯低通濾波，圖像更為平滑9.5圖像分割3.非極大值抑制消除誤檢邊邊緣(1)真正的邊緣點(diǎn)只有一個(gè)；(2)過(guò)像素點(diǎn)方向?yàn)樘荻确较虻闹本€與該像素點(diǎn)臨近的八像素點(diǎn)所組成的矩形，相交于dTmp1和dTmp2；(3)根據(jù)g1,g2和g3，g4估算出交點(diǎn)像素，如果該像素點(diǎn)均大于兩交點(diǎn)像素則為極大值邊緣點(diǎn)，否則為非邊緣點(diǎn)?？梢钥闯觯吘墝挾榷甲兂闪藛蜗袼貙挾?.5圖像分割4.雙閾值確定真實(shí)和潛在的邊緣設(shè)定雙閾值，邊緣強(qiáng)度大于高閾值的可以確定是邊緣點(diǎn)(真實(shí)邊緣，如左圖所示)，邊緣小于低閾值的可以確定不是邊緣，介于兩閾值之間的為潛在邊緣。5.通過(guò)抑制孤立的弱邊緣最終完成邊緣檢測(cè)真實(shí)邊緣是以高閾值為界限的，所以存在較多截?cái)噙吘墸瞬襟E在真實(shí)邊緣鄰域內(nèi)查找高于低閾值的潛在邊緣點(diǎn)，并將其置為真實(shí)邊緣，迭代該過(guò)程完成邊緣檢測(cè)。9.6特征提取圖像特征是圖像分析和理解的基礎(chǔ)。常見(jiàn)的低層圖像特征包括顏色特征、紋理特征和形狀特征等。顏色特征采用圖像區(qū)域內(nèi)所有像素的顏色信息對(duì)圖像進(jìn)行描述。顏色直方圖是最常用的顏色特征提取方法。圖像顏色直方圖顏色直方圖表示圖像顏色的組成分布，即各種顏色出現(xiàn)的概率?？捎糜诤饬繄D像間的全局差異，對(duì)物理變換不敏感。

9.6特征提取紋理特征可表示圖像中周期性變化的結(jié)構(gòu)組織和排列屬性。常用的紋理特征提取方法包括統(tǒng)計(jì)分析法、模型分析法、幾何分析法和頻譜分析法。Gabor濾波器可視化結(jié)果

Gabor紋理特征：用Gabor函數(shù)作為單位沖擊響應(yīng)的帶通濾波器，以檢測(cè)圖像中不同方向的邊緣，進(jìn)而提取紋理特征。9.6特征提取形狀特征根據(jù)描述對(duì)象不同可分為基于輪廓的形狀描述符和基于區(qū)域的形狀描述符。后者的抗干擾能力更強(qiáng)。Zernike矩屬于基于區(qū)域的形狀描述符，其公式如下：其中，(a)原圖像(b)旋轉(zhuǎn)45°(c)縮小一半(d)加入噪聲類(lèi)別原圖13.657913.281513.984212.9264旋轉(zhuǎn)12.777012.384213.719313.7747縮放12.745410.892013.751111.5310噪聲13.655113.270713.980112.9347各個(gè)圖像的Zernike矩9.7圖像匹配圖像匹配分為基于灰度、特征、相位的匹配，其中最為經(jīng)典是基于灰度的NCC算法。NCC(Normalizedcrosscorrelation)歸一化交叉相關(guān)性，計(jì)算時(shí)，模板圖像在目標(biāo)圖像上從左到右從上到下逐像素滑動(dòng)，計(jì)算公式如下：

9.7圖像匹配互相關(guān)結(jié)果的峰值所在位置即為匹配到的模板圖像位置減去均值除以方差的歸一化操作使得NCC算法可以抵抗線性光照變化9.8圖像拼接圖像拼接是將一組存在重疊區(qū)域的圖像序列進(jìn)行空間配準(zhǔn)和圖像融合，形成一幅全景圖像的過(guò)程，主要包括兩個(gè)步驟：圖像配準(zhǔn)和圖像融合。原始圖像拼接圖像9.8圖像拼接圖像配準(zhǔn)：計(jì)算空間變換參數(shù)，使圖像序列之間相互重疊部分的坐標(biāo)點(diǎn)對(duì)準(zhǔn)以Harris特征點(diǎn)為例，具體步驟如下：特征點(diǎn)提?。悍謩e提取參考圖像和待拼接圖像的Harris角點(diǎn)特征點(diǎn)配準(zhǔn)：通過(guò)NCC算法計(jì)算相關(guān)性找到配準(zhǔn)點(diǎn)對(duì)變換參數(shù)估計(jì)：使用透視變換模型估計(jì)圖像變換參數(shù)NCC相關(guān)性計(jì)算公式9.8圖像拼接圖像融合：對(duì)拼接后圖像中的重疊區(qū)域進(jìn)行融合，使拼接后的圖像在視覺(jué)上保持一致以漸入漸出法為例，具體公式如下：待融合圖像融合后圖像

9.9視覺(jué)標(biāo)定徑向畸變：圖像像素點(diǎn)以畸變中心為中心點(diǎn)，沿著徑向（矢徑方向）產(chǎn)生的位置偏差，從而導(dǎo)致圖像中所成的像發(fā)生形變，切向畸變相對(duì)較小，一般忽略不計(jì)。公式：枕形畸變:??>0

無(wú)畸變:??=0

桶形畸變:??<0圖像往往含有畸變，故相機(jī)標(biāo)定還包括畸變矯正參數(shù)的計(jì)算9.9視覺(jué)標(biāo)定標(biāo)定內(nèi)容:攝像機(jī)內(nèi)參和外參

標(biāo)定內(nèi)容:徑向畸變參數(shù)通常使用前兩項(xiàng)，即k1和k2，對(duì)于畸變很大的鏡頭，如魚(yú)眼鏡頭，可以增加使用第三項(xiàng)k3來(lái)進(jìn)行描述。9.9視覺(jué)標(biāo)定——張正友標(biāo)定法簡(jiǎn)介：針對(duì)辦公、家庭使用的桌面視覺(jué)系統(tǒng)(DVS)的標(biāo)定。特點(diǎn)：設(shè)備要求低，操作繁瑣，更加靈活，魯棒性較高條件：只需要相機(jī)在至少兩個(gè)不同方向拍攝一張平面圖案步驟：1.打印一張棋盤(pán)格A4紙張（黑白間距已知），并貼在一個(gè)平板上2.針對(duì)棋盤(pán)格拍攝若干張圖片（一般10-20張）3.在圖片中檢測(cè)特征點(diǎn)（Harris特征）4.利用解析解估算方法計(jì)算出5個(gè)內(nèi)部參數(shù)，以及6個(gè)外部參數(shù)5.根據(jù)極大似然估計(jì)策略，設(shè)計(jì)優(yōu)化目標(biāo)并實(shí)現(xiàn)參數(shù)的優(yōu)化以上這些步驟在matlab中和opencv中均有集成，支持傻瓜式操作，但是有必要了解一下張正友標(biāo)定法的原理。9.9視覺(jué)標(biāo)定——張正友標(biāo)定法基本原理在這里假定模板平面在世界坐標(biāo)系的平面上其中，為攝像機(jī)的內(nèi)參數(shù)矩陣，為模板平面上點(diǎn)的齊次坐標(biāo)，為模板平面上點(diǎn)投影到圖像平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)，和分別是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量9.9視覺(jué)標(biāo)定——張正友標(biāo)定法根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每幅圖像可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束：H由于攝像機(jī)有5個(gè)未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖像數(shù)目大于等于3時(shí)，就可以線性唯一求解出9.9視覺(jué)標(biāo)定——張正友標(biāo)定法張正友標(biāo)定法標(biāo)定過(guò)程張正友標(biāo)定法可獲得亞像素精度點(diǎn)坐標(biāo)，但也引入了誤差，當(dāng)鏡頭畸變較大時(shí)，誤差也會(huì)增大(matlab工具箱比opencv更好用一些)張正友標(biāo)定法標(biāo)定板提取角點(diǎn)標(biāo)定過(guò)程9.9視覺(jué)標(biāo)定——張正友標(biāo)定法標(biāo)定后圖像矯正效果原始圖像校正后圖像圖像相減中心區(qū)域需要矯正的幅度最小，越往邊緣需要矯正的幅度越大中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)雙目視差：因?yàn)槿说淖?、右眼有間距（大約6cm），造成兩眼的視角存在細(xì)微的差別。雖然差距很小，但經(jīng)視網(wǎng)膜傳到大腦里，便會(huì)產(chǎn)生遠(yuǎn)近的深度，從而產(chǎn)生立體感。雙目視覺(jué)系統(tǒng)：運(yùn)用兩個(gè)相同攝像機(jī)對(duì)同一場(chǎng)景從不同角度成像，從而根據(jù)三角測(cè)量原理恢復(fù)場(chǎng)景的深度信息。中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)三角測(cè)量原理根據(jù)三角形相似有：聯(lián)立(1),(2)得：(2)注意b,f是已知的(標(biāo)定)，要實(shí)現(xiàn)雙目立體視覺(jué)測(cè)距，最關(guān)鍵的是計(jì)算視差，即獲得空間同一物點(diǎn)P在左右兩幅圖像上投影點(diǎn)之間的對(duì)應(yīng)關(guān)系。(1)左相機(jī)右相機(jī)焦距距離物體成像平面中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)消除畸變通過(guò)標(biāo)定得到的內(nèi)參中的畸變參數(shù)可以對(duì)圖像進(jìn)行去除畸變操作消除徑向和切向方向上的鏡頭畸變中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)相機(jī)校正：輸出行對(duì)準(zhǔn)的圖像，實(shí)現(xiàn)方式是極線約束極線約束：想要計(jì)算視差，必須知道該點(diǎn)在兩幅圖像上像點(diǎn)的對(duì)應(yīng)位置，這一過(guò)程稱(chēng)為立體匹配，極線約束就是用來(lái)輔助尋找圖像對(duì)應(yīng)點(diǎn)位置的。三維空間中一點(diǎn)p，投影到兩個(gè)不同的平面I1、I2，投影點(diǎn)分別為p1，p2p、p1、p2在三維空間內(nèi)構(gòu)成一個(gè)平面SS與面I1的交線L1過(guò)p1點(diǎn)，稱(chēng)之為對(duì)應(yīng)于p2的極線，同理S與I2的交線稱(chēng)之為對(duì)應(yīng)于p1的極線將面搜索約束為線搜索，減少匹配搜索空間中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)極線約束的標(biāo)準(zhǔn)形式將雙目相機(jī)轉(zhuǎn)換成標(biāo)準(zhǔn)形式，在水平極線約束上尋找對(duì)應(yīng)點(diǎn)標(biāo)準(zhǔn)形式中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)圖像匹配：查找左右圖像中對(duì)應(yīng)的像素點(diǎn)，輸出視差圖在設(shè)定的搜索范圍內(nèi)尋找最相似的像素點(diǎn)，計(jì)算對(duì)應(yīng)的視差視差圖校正后的圖像對(duì)雙目立體匹配中國(guó)領(lǐng)先的智能制造裝備、產(chǎn)品與方案專(zhuān)家9.10立體視覺(jué)雙目立體視覺(jué)的應(yīng)用雙目立體視覺(jué)是機(jī)器視覺(jué)中獲得三維信息的主要手段移動(dòng)機(jī)器人工業(yè)三維測(cè)量，精度最高可達(dá)0.001mm抓取機(jī)器人，手眼系統(tǒng)9.11視覺(jué)檢測(cè)目標(biāo)檢測(cè)：怎么檢測(cè)和識(shí)別出圖像中的物體，如汽車(chē)、牛？9.11視覺(jué)檢測(cè)干擾因素多光照的影響物體姿態(tài)的影響背景混淆遮擋類(lèi)內(nèi)差異視點(diǎn)的影響9.11視覺(jué)檢測(cè)計(jì)算量大一幅圖像中像素個(gè)數(shù)多，目前每秒約產(chǎn)生300G像素的圖像/視頻數(shù)據(jù) -Google圖片搜索中已有幾十億幅圖像 -全球數(shù)字照相機(jī)一年產(chǎn)生180億張以上的圖片 -全球一年銷(xiāo)售約3億部照相手機(jī)人的物體識(shí)別能力是強(qiáng)大的 -靈長(zhǎng)類(lèi)動(dòng)物約使用大腦皮層的一半來(lái)處理視覺(jué)信息 -可以識(shí)別3,000-30,000種物體 -物體姿態(tài)可允許30度以上的自由度。9.11視覺(jué)檢測(cè)分類(lèi)器：獲取訓(xùn)練數(shù)據(jù)，進(jìn)行特征提取之后，訓(xùn)練分類(lèi)器分類(lèi)器輸入：檢測(cè)區(qū)域的特征向量輸出：0/1或者概率9.11視覺(jué)檢測(cè)通過(guò)滑動(dòng)窗口（slidingwindows）搜索感興趣的物體，通過(guò)訓(xùn)練分類(lèi)器來(lái)判斷窗口內(nèi)是否含有目標(biāo)物體。Car/non-carClassifier0(NO)/1(YES)9.11視覺(jué)檢測(cè)經(jīng)典的特征提取+分類(lèi)器的目標(biāo)檢測(cè)算法就是HOG特征+SVM（支持向量機(jī)）的模式。近年來(lái)，深度學(xué)習(xí)模型逐漸取代傳統(tǒng)機(jī)器視覺(jué)方法而成為目標(biāo)檢測(cè)領(lǐng)域的主流算法，但了解經(jīng)典的目標(biāo)檢測(cè)算法有利于我們理解檢測(cè)問(wèn)題的本質(zhì)，作為了解深度學(xué)習(xí)算法的基礎(chǔ)。獲取正樣本集并計(jì)算HOG特征獲取負(fù)樣本集并計(jì)算HOG特征利用SVM訓(xùn)練正負(fù)樣本，得到Model利用分類(lèi)器Model進(jìn)行滑動(dòng)搜索計(jì)算非極大值抑制滑窗搜索相似區(qū)域非極大值抑制9.12視覺(jué)跟蹤視覺(jué)跟蹤：通過(guò)視覺(jué)檢測(cè)、跟蹤算法和跟蹤平臺(tái)的配合實(shí)現(xiàn)對(duì)目標(biāo)的全自動(dòng)實(shí)時(shí)定位和跟蹤。應(yīng)用領(lǐng)域快速準(zhǔn)確魯棒(1)圖像采集目標(biāo)平面