（計算機(jī)應(yīng)用技術(shù)專業(yè)論文）基于lcd的相機(jī)標(biāo)定與三維重建問題研究.pdf

a b s t r a c t 3 dr e c o n s t r u c t i o no fo b j e c t sb a s e do n2 di m a g e si sa ni m p o r t a n tt o p i c i nt h ef i e l do f c o m p u t e rv i s i o n i th a s ab r o a da p p l i c a t i o np r o s p e c t si nm a n y f i e l d ss u c ha sv i r t u a lr e a l i t y , 3 dm e a s u r e r n e n t ，r o b o ts e l f - n a v i g a t i o n ，i n d u s t r i a li n s p e c t i o ne t c t h ep r o c e s s o f3 d r e c o n s t r u c t i o nm a i n l yi n v o l v e si m a g ep r e - p r o c e s s m g c a m e r ac a l i b r a t i o n ，f e a t u r e e x t r a c t i o na n dm a t c h i n ga n d3 d r e c o n s t r u c t i o na l g o r i t h m a ni m p r o v e ds u b p i x e le d g ec o n t o u rd e t e c t i o na l g o r i t h m b a s e do no r t h o g o n a l f o u r i e r - m e l l i nm o m e n t si sp r o p o s e d c a n n yo p e r a t o ri sf i r s t l yu s e dt oe x t r a c tp i x e ll e v e l i m a g ee d g e s ，t h e no r t h o g o n a l f o u r i e r - m e u i nm o m e n t so p e r a t o ri su s e dt od e t e r m i n e s u b - p i x e li m a g ee d g e sa tt h ep o s i t i o no ft h ep i x e ll e v e li m a g ee d g e s t h el e a s t + s q u a r e s e l l i p s ef i r i n gm e t h o di su s e dt ot h es l l b p i x e li m a g ee d g e s t og e tm o r ea c c u r a t es u b p i x e l e l l i p s ec e n t e rc o o r d i n a t e s ，a n d f u r t h e ri m p r o v et h ep r e c i s i o no fc a m e r ac a l i b r a t i o n e x p e r i m e n t sp r o v e dt h a tt h es u b p i x e ld e t e c t i o na l g o r i t h mh a ss h o r tc o m p u t i n g t i m ea n d 1 1 i 曲d e t e c t i o na c c u r a c y i ti sd i f f i c u l ta n dc o s t l yt oe n s u r et h es t r i c tf l a t n e s so ft h ec a l i b r a t i o np a n e l i n r e s p o n s et o t h i si s s u e ，an o n l i n e a rc a m e r ac a l i b r a t i o nm e t h o db a s e do nl i q u i dc r y s t a l d i s p l a y i sp r o p o s e d f i r s t l y , ac a l i b r a t i o nt a b l e ，w h i c hh a ss o m ec i r c u l a rf e a t u r ep o i n t so f d i f f e r e n ts i z e s ，i sd e s i g n e da n dd i s p l a y e do nt h el c ds c r e e n t h e ns e v e r a li m a g e so f t h e c a l i b r a t i o nt a b l ea r es h o tb yr o t a t i n gt h ec a m e r aa r o u n dt h eo p t i c a la x i s f i n a l l yc a m e r a p a r a m e t e r sa r ec a l c u l a t e db a s e do nz h e n g y o uz h a n g s c a l i b r a t i o na l g o r i t h ma n dt h e t a n g e n t i a ld i s t o r t i o na r ec o n s i d e r e d e x p e r i m e n t sp r o v e d t h a tt h ec a l i b r a t i o nm e t h o di s s i m p l ea n dc o n v e n i e n ta n di th a sh i l 曲c a l i b r a t i o na c c u r a c y a3 dr e c o n s t r u c t i o na l g o r i t h mb a s e do nm a r k e rp o i n t su s i n gm u l n p l et m a g e si s s t u d i e da f t e rt h ec a n l e r ap a r a m e t e r sa r eo b t a i n e d t h ec o d e dt a r g e t sa n du n c o d e dt a r g e t s a r em em a r k e rp o i n t s 鋤da r ed i s t r i b u t e do nt h es u r f a c eo ft h et a r g e to b j e c t a se a c hc o d e d t a r g e th a sau n i q u ei d e n t i t y , t h e yc a l lb eu s e d t oc o m p u t ep o s e so ft h ec a m e r a sa n d “x d n s 缸u(yù) c tt l l e 咖t e r so ft h ec o d e dt a r g e t s ；t h e nt h ec o r r e s p o n d e n c eo fu n c o d e dt a r g e t s c 肌b ee s t i m a t c db a s c do nt h et h e o r yo fe p i p o l a rg e o m e t r y , f i n a l l yt h ec e n t e r so ft h e u n c o d e dt a r g e t sc a nb ec o n s t r u c t e du s i n gt h et r i a n g l e r e c o n s t r u c t i o na l g o r i t h m e x p e r i m e n t sh a v ep r o v e dt h ef e a s i b i l i t yo f t h er e c o n s t r u c t i o nm e t h o d k e yw o r d s ：c a m e r ac a l i b r a t i o n ；l i q u i dc r y s t a ld i s p l a y ；s u b - p i x e le d g ed e t e c t i o n ； r o t a t i n gs h o o tm e t h o d ；3 dr e c o n s t r u c t i o n 目錄 第一章緒論1 1 1 課題背景及其意義1 1 2 國內(nèi)外研究現(xiàn)狀1 1 2 1 計算機(jī)視覺研究現(xiàn)狀1 1 2 2 相機(jī)標(biāo)定研究現(xiàn)狀2 1 2 3 基于數(shù)字圖像的三維重建研究現(xiàn)狀4 1 3 論文的主要工作與章節(jié)安排5 第二章圖像預(yù)處理6 2 1 彩色圖像灰化6 2 2 圖像平滑處理6 2 3 邊緣檢測7 2 3 1 傳統(tǒng)邊緣檢測算法7 2 3 2 亞像素邊緣檢測算法8 2 4 最小二乘橢圓擬合1 2 2 5 o p c n c v 函數(shù)庫1 3 2 6 實例分析1 4 2 7 本章小結(jié)1 5 第三章基于l c d 的相機(jī)標(biāo)定方法1 6 3 1 引言1 6 3 2 純平液晶顯示器( l c d ) 1 6 3 2 1l c d 概述1 6 3 2 2l c d 用于標(biāo)定的優(yōu)缺點1 7 3 3 相機(jī)模型1 7 3 3 1 圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系1 7 3 3 2 線性相機(jī)模型1 9 3 3 3 非線性模型2 1 3 4 標(biāo)定表設(shè)計2 2 3 5 圖像拍攝方法2 3 3 6 圖像點與空間點的對應(yīng)2 3 3 7 相機(jī)參數(shù)獲取及優(yōu)化2 4 3 8 實驗結(jié)果與分析2 6 3 9 本章小結(jié)3 1 第四章三維重建基礎(chǔ)理論3 3 4 1 兩視圖幾何3 3 4 1 1 極線幾何關(guān)系3 3 4 1 2 基本矩陣3 4 4 1 3 本質(zhì)矩陣3 5 4 2 三角形法重建3 6 4 3 本章小結(jié)3 7 第五章基于標(biāo)記點的三維重建3 8 5 1 標(biāo)記點的檢測3 8 5 1 1 標(biāo)記點設(shè)計3 8 5 1 2 標(biāo)記點自動檢測算法3 9 5 2 相機(jī)姿態(tài)及編碼元中心空間坐標(biāo)求解3 9 5 2 1 根據(jù)同名點對求解基本矩陣和本質(zhì)矩陣3 9 5 2 2 根據(jù)本質(zhì)矩陣求解相機(jī)姿態(tài)和編碼元空間坐標(biāo)4 0 5 2 3 多相機(jī)姿態(tài)求解4 2 5 3 非編碼元空間坐標(biāo)求解4 4 5 4 實例分析4 4 5 5 本章小結(jié)4 8 第六章總結(jié)與展望4 9 6 1 全文工作總結(jié)4 9 6 2 今后工作展望4 9 參考文獻(xiàn) 5 l 攻讀學(xué)位期間的研究成果5 5 致謝5 6 學(xué)位論文獨創(chuàng)性聲明5 7 學(xué)位論文知識產(chǎn)權(quán)權(quán)屬聲明5 7 第一章緒論 1 1 課題背景及其意義 第一章緒論 據(jù)統(tǒng)計，人類從外部世界獲取的信息約有8 0 9 6 是通過視覺獲取的?？梢娨曈X在 人類觀察世界和認(rèn)識世界的過程中起著非常重要的作用。人們生活在三維立體空間 中，對外部世界的感知首先是各種三維物體的形體，而圖像采集系統(tǒng)獲取的卻是物 體的二維圖像，在成像時會丟失很多信息，因而需要進(jìn)行三維信息提取。計算機(jī)視 覺是指用計算機(jī)模擬人眼并實現(xiàn)人的視覺功能對客觀世界三維場景的感知、識 別和理解，使得計算機(jī)具有通過一幅或多幅圖像感知和恢復(fù)三維環(huán)境中物體的幾何 性質(zhì)、姿態(tài)結(jié)構(gòu)、運(yùn)動、位置等信息的功能。 其中，三維重建是計算機(jī)視覺領(lǐng)域中的一個關(guān)鍵技術(shù)，三維重建指的是從相機(jī) 獲取的二維圖像信息出發(fā)，計算物體的三維位置、形狀等幾何信息，并由此重建和 識別場景中的物體。三維場景的重建涉及到計算機(jī)圖形學(xué)、圖像處理、虛擬現(xiàn)實等 研究領(lǐng)域，是近年來的研究熱點之一。 如何確定二維圖像上的點與空間物體表面某點三維幾何位置的對應(yīng)是三維重建 的關(guān)鍵。相機(jī)成像的幾何模型確定了這種對應(yīng)關(guān)系，計算模型參數(shù)即相機(jī)參數(shù)的過 程稱為相機(jī)標(biāo)定。簡單的說，相機(jī)標(biāo)定就是確定從三維空間點到成像平面上的二維 圖像點之間映射關(guān)系的參數(shù)。它是三維重建的重要步驟，相機(jī)標(biāo)定結(jié)果的好壞直接 決定著三維重建結(jié)果和其它計算機(jī)視覺應(yīng)用效果的好壞。研究相機(jī)標(biāo)定方法，進(jìn)一 步提高相機(jī)標(biāo)定精度，具有重要的理論研究意義和實際應(yīng)用價值。 隨著計算機(jī)技術(shù)、圖像處理技術(shù)和計算機(jī)視覺理論的發(fā)展，人們越來越希望能 夠快速簡便地獲取物體的三維信息，并且將物體在計算機(jī)上重建顯示出來?；跀?shù) 碼相機(jī)圖像的三維重建被廣泛應(yīng)用在醫(yī)學(xué)、虛擬現(xiàn)實、攝影測量、工業(yè)檢測、有限 元分析等方面。因此對這方面的研究具有重大的理論和實際應(yīng)用價值。 本文在山東省教育廳科技計劃項目“基于數(shù)碼相機(jī)的腳型三維測量系統(tǒng) ( 編號： j 0 7 y j l 9 2 ) 支持下研究基于液晶顯示器l c d 的相機(jī)標(biāo)定方法，并以得到的相機(jī)參數(shù) 為初值，研究采用多幅數(shù)字圖像基于標(biāo)記點的三維重建算法，通過對實際場景的實 驗驗證了本文方法的可行性。 1 2 國內(nèi)外研究現(xiàn)狀 1 2 1 計算機(jī)視覺研究現(xiàn)狀 計算機(jī)視覺的研究始于2 0 世紀(jì)5 0 年代中期，當(dāng)時的研究主要集中在二維景物 青島人學(xué)碩十學(xué)位論文 圖像的分析。r o b e r t s 在2 0 世紀(jì)6 0 年代中期利用計算機(jī)程序從數(shù)字圖像中提取出 了多面體的三維結(jié)構(gòu)，并且描述了物體形狀和物體的空問關(guān)系，開創(chuàng)了以理解三維 場景為目的的計算機(jī)視覺研究。2 0 世紀(jì)7 0 年代中期，m a r r ，b a r r o w 和t e n e n b a u m 等乜1 提出了一整套視覺計算的理論來描述視覺過程，該理論的核心是從圖像重建物 體的三維形狀。m a r t 理論。卜鍆在視覺理論的研究上影響最為深遠(yuǎn)，是視覺理論研究領(lǐng) 域的主導(dǎo)思想。 從2 0 世紀(jì)8 0 年代初到8 0 年代中期，計算機(jī)視覺開始了全球性的研究熱潮，得 到了蓬勃的發(fā)展，取得了一大批成果。但隨著研究的不斷深入，人們逐漸發(fā)現(xiàn)了m a n 視覺理論存在局限性，即由圖像序列求取景物精確的三維幾何描述并定量地確定物 體的性質(zhì)存在著困難。1 9 7 9 年，g i b s o n 瞄1 指出計算機(jī)視覺應(yīng)該朝著主動視覺方向發(fā) 展。2 0 世紀(jì)8 0 年代中后期，隨著移動式機(jī)器人等相關(guān)應(yīng)用研究的不斷深入，視覺 研究與其密切結(jié)合，人們開始用空間幾何的方法以及物理知識來研究立體視覺，出 現(xiàn)了主動視覺的研究方法。該方法可以直接獲得深度圖或通過移動獲得深度圖，使 很多病態(tài)問題變成了良態(tài)的。到了2 0 世紀(jì)9 0 年代初，對于立體視覺的研究開始趨 于成熟。最近十多年來，計算機(jī)立體視覺在特征匹配和區(qū)域匹配新技術(shù)、多攝像機(jī) 立體視覺、立體視覺實時實現(xiàn)方法等很多領(lǐng)域取得了重要進(jìn)展。目前，計算機(jī)視覺 仍然是一個非?；钴S的研究領(lǐng)域。 1 2 2 相機(jī)標(biāo)定研究現(xiàn)狀 相機(jī)標(biāo)定是三維重建的關(guān)鍵步驟。關(guān)于相機(jī)標(biāo)定的研究最早始于攝影測量界， 并且已經(jīng)持續(xù)了1 0 0 多年。在計算機(jī)和數(shù)碼相機(jī)出現(xiàn)之后，計算機(jī)視覺界才開始了 相機(jī)標(biāo)定的研究，并且在最近二十多年來發(fā)展更快。 目前，在計算機(jī)視覺領(lǐng)域已經(jīng)提出了多種相機(jī)標(biāo)定方法，并得到了廣泛應(yīng)用。 大體上可將它們分為基于標(biāo)定物的相機(jī)標(biāo)定方法和自標(biāo)定方法啪1 。 基于標(biāo)定物的相機(jī)標(biāo)定方法是在一定的相機(jī)模型下，基于特定的標(biāo)定參照物如 平面格網(wǎng)模板，三維剛體等經(jīng)過圖像處理的手段，利用一系列數(shù)學(xué)變換的計算方法； 求取相機(jī)的內(nèi)外參數(shù)。該類標(biāo)定方法適用于任意的相機(jī)模型，標(biāo)定精度高，缺點是 需要高精度的已知結(jié)構(gòu)信息，標(biāo)定過程復(fù)雜。基于標(biāo)定物的相機(jī)標(biāo)定方法主要包括 以下幾種： 1 利用最優(yōu)化算法的標(biāo)定方法 該種標(biāo)定方法包括攝影測量學(xué)中的方法和直接線性變換( d l t ) 等。f a i g 乜婦考慮攝 像機(jī)成像過程中的各種因素精心設(shè)計了攝像機(jī)成像模型，在標(biāo)定和三維重建時采用 特殊的專業(yè)量測相機(jī)取得了很高的精度，但是計算量很大。a b d e l a z i z 嘧1 等于1 9 7 1 年提出了攝影測量學(xué)中傳統(tǒng)方法的一種簡化即直接線性變換方法，通過解線性方程 2 第一章緒論 求得相機(jī)模型的參數(shù)，它沒有考慮非線性畸變問題，要想進(jìn)一步提高標(biāo)定的精度， 必須進(jìn)行非線性優(yōu)化。 2 利用透視變換矩陣的相機(jī)標(biāo)定方法 該標(biāo)定方法把透視變換矩陣中的元素作為未知數(shù)，通過對應(yīng)的三維控制點和圖 像點，利用線性方法求解。這種標(biāo)定方法與直接線性變換方法只相差一個比例因子， 它們之間沒有本質(zhì)的區(qū)別。它不需要利用最優(yōu)化方法求解相機(jī)參數(shù)，運(yùn)算速度快， 能夠?qū)崿F(xiàn)相機(jī)參數(shù)的實時計算，但沒有考慮鏡頭的非線性畸變，標(biāo)定精度不高。 3 t s a i 兩步法 t s a i 心3 1 于1 9 8 6 年提出的基于徑向排列約束( r a d i a la l i g n m e n tc o n s t r a i n t ，r a c ) 的 “兩步法 是應(yīng)用較多，精度較高的標(biāo)定方法。該方法簡便、快捷，但是僅僅考慮 了徑向畸變，不適用于切向畸變較大的場合( 如魚眼鏡頭) 。 4 平面標(biāo)定法 張j 下友啪1 提出的基于平面格網(wǎng)的相機(jī)標(biāo)定方法只需要利用對平面棋盤格模板 從不同角度拍攝的3 幅( 或3 幅以上) 的圖像即可進(jìn)行相機(jī)參數(shù)的計算，相比傳統(tǒng)標(biāo) 定方法設(shè)備要求低、操作簡單，并且標(biāo)定精度較高。但要保證模板的高平面度要求 給模板制作帶了了困難，成本較高。 5 基于平面圓標(biāo)定方法 基于平面圓的標(biāo)定方法心7 1 采用一個圓和通過圓心的若干直線進(jìn)行標(biāo)定。它與張 的方法過程相似，只是所用的模板不同。 自標(biāo)定方法由f a u g e r a s 等啪1 在1 9 9 2 年提出，它僅僅依靠多視圖對應(yīng)同名點線關(guān) 系直接進(jìn)行標(biāo)定，克服了傳統(tǒng)方法需要結(jié)構(gòu)信息精確已知的標(biāo)定物的缺點。該方法 非常靈活方便，適用于很多無法提供標(biāo)定參考物的情況。目前已有的自標(biāo)定方法可 以分為以下幾種： 1 基于k r u p p a 方程的自標(biāo)定方法 f a u g e r a s 等提出的自標(biāo)定方法是直接基于求解k r u p p a 方程的方法，該方法是在 兩圖像之間建立方程，不用對圖像序列做射影重建，與分層逐步標(biāo)定法相比，在很 難將所有圖像統(tǒng)一到一致的射影框架的場合，該方法更具優(yōu)勢，但由于該方法的所 有圖像對確定的射影空間里的無窮遠(yuǎn)平面的一致性很難得到保證，當(dāng)圖像序列較長 時，該標(biāo)定方法會不穩(wěn)定。 2 基于二次曲面的自標(biāo)定方法 t r i g g s 啪1 最早將絕對二次曲面用于自標(biāo)定方法，基于二次曲面的標(biāo)定方法與基于 k r u p p a 方程的標(biāo)定方法都利用了絕對二次曲線在歐式變換下的不變性，但是在輸入 多幅圖像并能得到一致射影重建的情形下，該標(biāo)定方法更具優(yōu)勢，因為二次曲面包 含了無窮遠(yuǎn)平面和絕對二次曲線的所有信息，且該方法是在對全部圖像做射影重建 3 青島人學(xué)碩十學(xué)位論文 的基礎(chǔ)上計算二次曲面的，能夠保證無窮遠(yuǎn)平面對全部圖像的一致性。 3 基于主動視覺的自標(biāo)定方法 該方法通過將相機(jī)精確的安裝在可以控制的平臺上，控制相機(jī)作特殊的運(yùn)動獲 取多幅圖像，利用可控制的相機(jī)運(yùn)動參數(shù)和圖像來求解相機(jī)的內(nèi)外參數(shù)。該方法如 馬松德啪1 提出的基于兩組三正交運(yùn)動的線性方法。該標(biāo)定方法由于在標(biāo)定過程中已 知了相機(jī)的運(yùn)動信息，相機(jī)的模型參數(shù)可以線性求解，且計算簡單、魯棒性較高， 但必要有可以精確控制相機(jī)運(yùn)動的平臺，系統(tǒng)成本高，且不便于移動。 4 基于空間幾何關(guān)系的自標(biāo)定方法 空間幾何特征可以是滅點、空間平行四邊形等。c a p r i l eb 口門等于1 9 9 0 年提出了 利用三滅點進(jìn)行相機(jī)標(biāo)定的思想。g u i l l o ue 。堙1 從單幅圖像中利用兩個滅點對相機(jī)進(jìn) 行標(biāo)定，并得到旋轉(zhuǎn)矩陣和平移向量。 目前，相機(jī)標(biāo)定的理論已經(jīng)非常成熟，但就實用性和精度來講，仍需進(jìn)一步深 入研究，可以從以下幾個方面考慮：從參考對象和方便性上考慮，研究實用的標(biāo)定 系統(tǒng)；從相機(jī)模型和圖像處理兩方面入手，研究適用于較高精度測量的標(biāo)定算法； 從精度和可靠性上考慮，研究靈活穩(wěn)健的自標(biāo)定算法?；谝陨峡紤]，本文將研究 基于純平液晶顯示器的標(biāo)定方法，本標(biāo)定方法簡單快捷，精度高。 1 2 3 基于數(shù)字圖像的三維重建研究現(xiàn)狀 由二維圖像信息恢復(fù)物體的三維信息的三維重建是近年來計算機(jī)視覺中的一個 熱點問題。它根據(jù)透視成像原理，對圖像信息進(jìn)行解析處理，得到所需的相機(jī)參數(shù)， 從而重建出物體的三維空間信息。 主要的三維重建方法有以下幾種1 ：( 1 ) 基于明暗的三維重建口兒引，該方法根據(jù)一 幅圖像恢復(fù)物體的三維信息，精度低、應(yīng)用范圍有限。( 2 ) 雙目立體視覺重建方法睜1 ， 這種方法通過模擬人眼的立體成像過程，用兩個數(shù)碼相機(jī)同時拍攝場景中的物體， 根據(jù)光學(xué)三角形法重建場景中物體表面空間點的三維坐標(biāo)。這種方法包括結(jié)構(gòu)光法 n 州1 等。( 3 ) 多目立體視覺重建方法n 2 h 1 引，它利用光學(xué)三角形法，對多度重疊點進(jìn)行 “多方向的前方交會 ，由于能夠利用較多的冗余數(shù)據(jù)解決隨機(jī)的誤匹配問題，因而 可以提高匹配的精度，從而提高重建的精度，但此種方法設(shè)備配置復(fù)雜，標(biāo)定過程 復(fù)雜。( 4 ) 基于運(yùn)動的三維重建n 卜1 7 1 。該方法利用相對運(yùn)動的相機(jī)對三維場景進(jìn)行拍 攝，利用拍攝得到的圖像重建三維場景，主要用于動態(tài)場景跟蹤。u l l m a n n 釘和r o a c h n 習(xí) 等對這方面的重建方法進(jìn)行了研究。 目前，在以點、直線和平面為幾何基元重建的基礎(chǔ)上，一些學(xué)者提出了基于曲 線的重建算法，如代數(shù)曲線重建算法n 引，基于二次曲線的重建方法n 鍆，基于參數(shù)模型 的b 樣條曲線重建方法等。 4 第一章緒論 1 3 論文的主要工作與章節(jié)安排 針對在相機(jī)標(biāo)定時保證平面標(biāo)定模板的嚴(yán)格平面度要求，會帶來標(biāo)定模板制作 困難和成本高的問題，提出了一種基于純平液晶顯示器( l c d ) 的非線性相機(jī)標(biāo)定方 法。然后在得到相機(jī)內(nèi)參數(shù)的情況下，在場景中設(shè)置編碼元和非編碼元，進(jìn)行標(biāo)記 點自動檢測，標(biāo)記點識別和中心定位，在對極幾何關(guān)系的基礎(chǔ)上進(jìn)行基于多幅圖像 的三維空間點的重建。 本文主要研究內(nèi)容如下：編程繪制一張具有不同大小圓形特征點的標(biāo)定表，并將 其顯示在l c d 屏幕上；用數(shù)碼相機(jī)以繞光軸旋轉(zhuǎn)的方式對其拍攝幾幅圖像；對拍攝 得到的圖像進(jìn)行預(yù)處理，同時應(yīng)用改進(jìn)的基于f o u r i e r - m e l l i n 矩的亞像素邊緣輪廓檢 測算法檢測圖像中的輪廓，采用最小二乘橢圓擬合方法得到亞像素橢圓中心坐標(biāo)； 在z h a n g 的算法的基礎(chǔ)上考慮切向畸變系數(shù)進(jìn)行相機(jī)參數(shù)的計算，計算過程中對所 求參數(shù)進(jìn)行非線性優(yōu)化。設(shè)計編碼元和非編碼元，粘貼在物體的表面，進(jìn)行標(biāo)記點 的目標(biāo)提取及分類和編碼元身份識別，在兩視圖幾何的基礎(chǔ)上，計算相機(jī)姿態(tài)和三 維點的空間坐標(biāo)。 本文的章節(jié)安排如下： 第一章緒論，概述了本課題的研究背景及其意義，介紹了計算機(jī)視覺、相機(jī)標(biāo) 定以及三維重建的國內(nèi)外研究現(xiàn)狀，在此基礎(chǔ)上提出了本文要研究的主要內(nèi)容。 第二章介紹了圖像預(yù)處理的基本理論和邊緣檢測算法，主要介紹了亞像素邊緣 輪廓檢測算法。采用亞像素邊緣檢測算法可以提高橢圓中心定位精度，從而進(jìn)一步 提高相機(jī)標(biāo)定精度。 第三章是相機(jī)標(biāo)定，對純平液晶顯示器( l c d ) 進(jìn)行了綜述，介紹了l c d 用于標(biāo) 定的優(yōu)缺點；然后介紹了線性和非線性相機(jī)模型，在此基礎(chǔ)上研究了基于純平液晶 顯示器( l c d ) 的標(biāo)定系統(tǒng)。并通過實驗驗證了該標(biāo)定系統(tǒng)是可行的，并且標(biāo)定精度 高。 第四章介紹了極線幾何關(guān)系、基本矩陣和本質(zhì)矩陣的概念和性質(zhì)以及三角形法 重建等三維重建的基礎(chǔ)理論知識，為第五章標(biāo)記點的重建提供了理論基礎(chǔ)。 第五章在相機(jī)內(nèi)參數(shù)已經(jīng)求得的情況下，研究了采用多幅圖像基于標(biāo)記點的三 維重建。首先設(shè)計了編碼元和非編碼元，然后進(jìn)行標(biāo)記點自動檢測，對標(biāo)記點提取 分類，確定標(biāo)記點中心坐標(biāo)；以極線幾何理論為基礎(chǔ)，計算基本矩陣和本質(zhì)矩陣， 進(jìn)一步進(jìn)行相機(jī)姿態(tài)參數(shù)求解和三維空間點的重建。 第六章總結(jié)了本文的主要工作，并展望了下一步的研究重點。 5 青島大學(xué)碩七學(xué)位論文 第二章圖像預(yù)處理 圖像預(yù)處理的目的是改善圖像質(zhì)量，抑制不需要的變形或者增強(qiáng)某些對于后續(xù) 處理起重要作用的圖像特征。進(jìn)行相機(jī)標(biāo)定和三維空問點的重建，圖像上特征元素 的提取和識別是首要步驟。本章將研究圖像的預(yù)處理算法，以獲得圖像的邊緣特征。 由于本文用于標(biāo)定的特征點和用于重建的標(biāo)記點的目標(biāo)點均為圓形，成像后為橢圓， 介紹了橢圓擬合的方法，同時為了提高橢圓擬合精度，研究了基于亞像素的邊緣輪 廓檢測算法。本章算法為后續(xù)研究做好準(zhǔn)備。 2 1 彩色圖像灰化 要進(jìn)行圖像處理如平滑處理、銳化處理、邊緣檢測等首先要將拍攝得到的彩色 圖像轉(zhuǎn)化為灰度圖像。 彩色圖像的亮度、色度和飽和度混合在r 、g 、b 三原色中，根據(jù)p a l 電視制 式，當(dāng)用y 表示白光的亮度時，它與r 、g 、b 的關(guān)系為1 ： y = 0 2 2 2 r + 0 7 0 7 g + 0 0 7 1 b 2 - 0 ) 按照上式計算出彩色圖像中每個像素點的r 、g 、b 值對應(yīng)的亮度值，將該亮度 值作為灰度圖像中對應(yīng)位置像素點的亮度值，這樣就可以得到與原彩色圖像對應(yīng)的 灰度圖像。 2 2 圖像平滑處理 精確提取圖像的邊緣特征是圖像處理的目的，而邊緣檢測過程中一個主要的問 題是噪聲影響。噪聲是在圖像獲取和傳輸?shù)倪^程中引起的，每個像素點上的噪聲值 往往是無關(guān)聯(lián)的或者可能相差很大，因而會產(chǎn)生圖像亮度的急劇變化，往往會將噪 聲誤認(rèn)為圖像邊緣。進(jìn)行圖像平滑處理可以抑制噪聲、改善圖像質(zhì)量，提高邊緣檢 測的有效性。 圖像的噪聲可以分為加性噪聲、乘性噪聲和量化噪聲等m 1 。由于圖像的能量主 要集中在低頻部分，而噪聲主要在高頻段，因而通常都是采用低通濾波的方法消除 噪聲。 圖像平滑包括空域法和頻域法兩大類?？沼蚍ú捎镁禐V波或中值濾波。均值 濾波是用一個有奇數(shù)點的滑動窗口在圖像上滑動，將窗口中心點對應(yīng)圖像像素點的 灰度值用窗口內(nèi)各個點灰度值的平均數(shù)代替，如果滑動窗口規(guī)定了在取均值過程中 窗口各個像素點所占的權(quán)重，即各個像素點的系數(shù)，則此時就稱為加權(quán)均值濾波。 中值濾波是將對應(yīng)像素點的灰度值用窗口的中間值代替。 6 第二章圖像預(yù)處理 2 3 邊緣檢測 2 3 1 傳統(tǒng)邊緣檢測算法 邊緣檢測是圖像分析的重要基礎(chǔ)，是圖像識別中提取圖像特征的個重要方法。 物體的邊緣以圖像局部特征不連續(xù)的形式出現(xiàn)，即圖像局部變化最顯著的部分，如 灰度值的突變、顏色的突變和紋理結(jié)構(gòu)的突變等。邊緣主要存在于目標(biāo)與目標(biāo)、目 標(biāo)與背景、區(qū)域與區(qū)域之陽j 。圖像邊緣有方向和幅度兩個特性，通常沿邊緣走向的 像素灰度變化平穩(wěn)，垂直于邊緣走向的像素灰度變化劇烈。根據(jù)灰度變化的特點， 可以將邊緣分為階躍型、房頂型和凸緣型。 傳統(tǒng)的邊緣檢測利用邊緣是圖像上灰度變化最劇烈的地方這個特點，利用微分 和二階微分對圖像上各個像素點進(jìn)行處理來確定邊緣像素點。一階微分圖像的峰值 處和二階微分圖像的過零點處分別對應(yīng)著圖像的邊緣點。傳統(tǒng)邊緣檢測方法主要有t 差分邊緣檢測、梯度邊緣檢測、r o b e r t s 邊緣檢測算子、s o b e l 邊緣檢測算子、p r e w i t t 邊緣檢測算子、l a p l a c e 邊緣檢測算子等n 引。 c a n n y 于1 9 8 6 年提出了三個指標(biāo)評價邊緣檢測性能的優(yōu)劣洶1 ：( 1 ) 信噪比高， 即對真實邊緣不漏檢，非邊緣點不錯檢。( 2 ) 定位性能好，也就是標(biāo)記出的邊緣位置 要充分接近圖像上真實邊緣的中心位置，使得邊緣定位精度高。( 3 ) 唯一響應(yīng)單一邊 緣，對同一邊緣響應(yīng)次數(shù)要少，最好只標(biāo)識一次，并且可能存在的圖像噪聲部分不 應(yīng)標(biāo)識為邊緣。c a n n y 首次將上述判據(jù)用數(shù)學(xué)的形式表示出來，用最優(yōu)化數(shù)值方法得 到了對應(yīng)給定邊緣類型的最佳邊緣檢測模板。對于階躍的邊緣，c a n n y 推出的最優(yōu) 邊緣檢測器的形狀與高斯函數(shù)的一階導(dǎo)數(shù)類似。對于二維圖像，利用二維高斯函數(shù) 的圓對稱性和可分解性，可以很容易計算高斯函數(shù)在任一方向上的方向?qū)?shù)與圖像 的卷積，再取得最可能的邊緣方向。 c a n n y 算法的過程為首先用高斯濾波器對圖像進(jìn)行平滑處理，然后采用一階偏 導(dǎo)的有限差分計算梯度的幅值和方向，再對梯度幅值進(jìn)行非極大值抑制，最后用雙 閾值算法檢測和連接邊緣。 二維次最優(yōu)階躍邊緣檢測算子的數(shù)學(xué)表達(dá)式推導(dǎo)如下： 設(shè)二維高斯函數(shù)為 1t 2 1 ，2 c ( x ，y ) = _ 二je x p ( 一圭 ) 2 ( 2 ) 在某方向刀上v ( x ，y ) 的一階方向?qū)?shù)為 q ：_ o g = n v g 仂z 7 2 - ( 3 ) 青島人學(xué)碩十學(xué)位論文 式c o s 0 v g = o g c 3 x 一是方向矢量，v g 是梯度矢量。將圖像( 毛y ) 與q 進(jìn)行卷積，并改變以的方 向，q 宰f ( x , y ) 取得最大值時的刀( 亟壘掣：o 對應(yīng)的方向) 即為正交于檢測邊 a 髓 緣的方向。由 得 a ( q 幸f ( x ，y ) ) - - - - ；- - - - 一= o n t g o = _ o g 木廠( x ，y ) d v _ o g 宰廠( 五y ) o a p = 0 2 - ( 4 ) e o s o ：勰s i n 0 ：勰2 書，= 望l 一= 蘭l _ ( 5 ) i v g 幸廠( x ，y ) ll v g 幸廠( x ，y ) l 、7 因此，對應(yīng)于a ( q 幸廠( x ，y ) ) a n = 0 的方向刀 露：_ v g * f ( x , 一y ) i v g 木f ( x ，j ，) 在該方向上v g 木廠( x ，y ) 有最大輸出響應(yīng)，此時 2 - ( 6 ) i q 宰l l = l c o s o ( o o a x ) 宰f ( x ，y ) + s i n o ( o g o y ) 幸f ( x ，y ) i = i v g 奉廠“y ) l 2 一( 7 ) 二維次最優(yōu)階躍邊緣算子是以卷積v g * f ( x ，y ) 為基礎(chǔ)的，邊緣強(qiáng)度由 i q 幸f ( x ，少) i = i v g f ( x ，y ) i 決定，而邊緣方向為以= v g 幸f ( x ，y ) v g 宰廠( 五y ) i 。 c a n n y 邊緣算子性能優(yōu)越，提取的圖像邊緣比較完整，位置比較準(zhǔn)確，并且能 夠檢測出圖像較細(xì)的邊緣。但是由于c a n n y 算子及其它經(jīng)典的邊緣提取算法得到的 都只是像素級的邊緣輪廓，用于本文的橢圓中心定位精度不高，因此將進(jìn)一步研究 基于亞像素的邊緣輪廓檢測算法。 2 3 2 亞像素邊緣檢測算法 1 亞像素邊緣檢測算法概述 圖像采集設(shè)備的像元具有一定的尺寸，在成像時物體的邊緣有時不能正好和像 元的邊緣完全一致。像素級邊緣檢測時，認(rèn)為物體的邊緣點在靠近真實邊界的像元 點處，導(dǎo)致物體真實邊緣信息在成像過程中存在丟失。進(jìn)行亞像素邊緣定位就是通 8 第二章圖像預(yù)處理 過一定的算法找出或近似找出物體真實的邊緣，也就是把物體的邊緣定位到一個像 素的內(nèi)部，使邊緣的定位精度得到提高。 亞像素邊緣檢測算法是在經(jīng)典的像素邊緣檢測算法的基礎(chǔ)上發(fā)展起來的，這些 算法一般需要先用經(jīng)典算法找出邊緣像素的位置，然后使用周圍像素的灰度值作為 判斷的補(bǔ)充信息，利用插值、擬合等方法，使邊緣定位于更精確的位置。亞像素邊 緣檢測算法主要分為三類口7 l ：基于插值的亞像素邊緣檢測算法、基于擬合的亞像素 邊緣檢測算法和基于矩的亞像素邊緣檢測算法。 插值法的主要思想是在邊緣的附近，根據(jù)一個最佳匹配函數(shù)，通過插值使得低 分辨率的離散數(shù)據(jù)對連續(xù)域數(shù)據(jù)逼近，獲得更為準(zhǔn)確的位置?；镜牟逯捣ㄓ幸淮?插值、二次插值、樣條插值啪1 、多項式插值1 和高斯函數(shù)插值等。插值法計算時間 短，但是抗噪能力差，邊緣定位精度低。 基于擬合的亞像素邊緣檢測方法以最小均方誤差為準(zhǔn)則，對離散圖像中目標(biāo)的 灰度或坐標(biāo)進(jìn)行擬合，得到目標(biāo)的連續(xù)函數(shù)形式，確定描述物體的各個參數(shù)，實現(xiàn) 對圖像的亞像素邊緣檢測。使用該方法的前提是目標(biāo)的特性滿足己知或假定的函數(shù) 形式。文獻(xiàn) 4 0 采用對邊緣附近的灰度分布用二次曲線逼近高斯分布的方法來擬合， 確定邊緣的參數(shù)。采用擬合的方法抗噪能力強(qiáng)并且穩(wěn)健，在處理噪聲圖像時比較有 效，但是它的計算量很大，且需要具有一定的先驗知識。 基于矩的亞像素邊緣檢測算法的基本原理是假設(shè)實際圖像中的邊緣分布與理想 階躍邊緣模型的矩保持一致，即矩不變原理。t a b a t a b a i 等h 婦首先采用灰度矩的方法 進(jìn)行圖像的亞像素邊緣檢測，該方法基于圖像數(shù)據(jù)的前三階灰度矩和直線邊緣模型 灰度矩的一致性，對未知的邊緣模型參數(shù)進(jìn)行求解，從而實現(xiàn)亞像素邊緣定位。 l y v c r s n 2 1 于1 9 8 9 提出了基于空間矩的亞像素邊緣檢測算法，它采用了灰度空間矩， 基本原理與灰度矩算法相同。g h o s a l h 3 1 利用正交的z e m i k e 矩進(jìn)行亞像素定位，該方 法只需要三個模板就可以估計直線邊緣模型的參數(shù)。a ol e i 3 等提出的基于正交 f o u r i e r - m e l l i n 矩( o f m m ) 的亞像素定位算子，在一定程度上改善了z e m i k e 正交矩對 小尺寸物體描述特性差的缺點。基于矩的亞像素邊緣檢測算法抗噪能力強(qiáng)。但因為 涉及模板運(yùn)算，算法定位時運(yùn)算時間相對較長。 2 基于正交f o u r i e r - m e l l i n 矩改進(jìn)的亞像素邊緣檢測算法 本文采用一種基于正交傅里葉一梅林矩的改進(jìn)的亞像素邊緣檢測算法檢測圖像 中的邊緣輪廓，先用c a n n y 邊緣檢測算子檢測圖像中像素級的邊緣輪廓，再用正交 f o u r i e r - m e l l i n 矩算子的低徑向階與旋轉(zhuǎn)不變性在已有像素級邊緣位置上進(jìn)一步定位 亞像素級邊緣位置。該算法檢測精度高，且算法耗時短。 給定圖像函數(shù)f ( x ，y ) ，則階為p 循環(huán)次數(shù)為g 的正交f o u r i e r - m e u i n 矩定義檔1 9 青島人學(xué)碩十學(xué)位論文 為 = 擊r 2 f m 川啪礦舢刪秒 2 ( 8 ) 其中，= i 未面為歸一化系數(shù)，g ( ，) = 三。( 一礦h 石瑞】為積分核， 它是多項式( ，印= 鱗( ，) p 枷的核函數(shù)，其中p 為正整數(shù)。 正交f o u r i e r - m e l l i n 矩( o f m m ) 算子的旋轉(zhuǎn)不變性可以表示為： 0 。朋= e x p ( 一肜) 2 - ( 9 ) 式中，是初始位置o f m m ， f ，為旋轉(zhuǎn)角度，o m 是圖像旋轉(zhuǎn)后的o f m m 。 求圖像的o f m m 就是用核函數(shù)對圖像加權(quán)后在單位圓上積分。假設(shè)單位圓的圓 心在某一個像素點上，并且單位圓正好壓在某個邊緣上，建立邊緣的理想階躍灰度 模型如圖2 1 所示，其中k 是灰度階躍高度，h 是背景灰度，是圓心到邊緣的距離， 是邊緣與x 軸之間的夾角。 第二章圖像預(yù)處理 可以計算旋轉(zhuǎn)后不同階次的o f m m 矩如下 0 ：a h + k a r c s i n 肝一，打7 】 拈七廚捌n ( 牢 拈肼肝一( 牢 2 m 2 ， 0 1 , = 2 m 2 i n 牢卜瓜 0 2 0 = 4 m 3 i n ( 牢卜3 瓜( 1 0 “2 ) 根掘以上公式可以進(jìn)一步得到矗，k ，的值如下： 矗= 當(dāng) 一吐剎n 瓜一，廚 j j ：2 0 1 0 , + 0 1 , 2 ( 1 一，2 ) 2 扛( 4 0 , o + 0 2 0 0 j j 2 - ( 1 3 ) 本文使用7 7 矩模板來計算矩參數(shù)，如圖2 2 是用于計算矩模板的7 7 區(qū)域， 亞像素邊緣位置可以表示為： 艄 涮 圖2 27 7 像素區(qū)域內(nèi)單位圓模板 1 1 2 - ( 1 4 ) 青島人學(xué)碩十學(xué)位論文 式中，( x ，) ，) 表示圖像2 1 的圓心坐標(biāo)，( t ，y 。) 為圖像的亞像素坐標(biāo)，為矩計算過 程中的模板大小。在使用模板與圖像進(jìn)行卷積時，得到的矩參數(shù)是圖像n x n 個像 素區(qū)域內(nèi)的矩參數(shù)，因此在計算精確位置時，還應(yīng)該在，的基礎(chǔ)上減小n 2 。 由于矩方法要對圖像上的每個點都要在模板范圍內(nèi)進(jìn)行卷積，所以運(yùn)算量較大， 為此在用o f m m 方法進(jìn)行邊緣檢測時，首先使用c a n n y 邊緣檢測算子進(jìn)行邊緣的初 始定位，然后采用計算出的o f m m 各階次的7 7 模板對圖像進(jìn)行卷積運(yùn)算。這樣不 僅能提高運(yùn)算效率還可以達(dá)到精確定位的目的。 2 4 最, j 、- - 乘橢圓擬合 本文所用的特征點均為圓形目標(biāo)，經(jīng)相機(jī)成像后，在數(shù)字圖像上呈橢圓狀。進(jìn) 行橢圓提取的算法很多，如遺傳算法、次度中心法、h o u g h 變換以及最小二乘方法 在占 守。 經(jīng)過上述方法進(jìn)行圖像邊緣的亞像素定位之后，本文采用最小二乘橢圓擬合方 法計算橢圓參數(shù)。設(shè)以個待進(jìn)行橢圓擬合的像素坐標(biāo)點集屆見各點的圖像坐標(biāo)為： 辟= hk 卜設(shè)，= “2 刪伊甜v1 r ，且 f ( p ，a ) = f r a = a u 2 + 6 w + 刪2 + 幽+ 糾+ 廠= 02 - ( 1 5 ) 式中，a = 【口，b ，c ，d ，p 】7 ，式2 一( 1 5 ) 為橢圓的隱式方程。求解最合適的參數(shù)向量a ，使其 滿足式2 - ( 1 6 ) 的過程稱為最小二乘橢圓擬合。 h 2 m i l l 【d ( b ，a ) 】 2 - ( 1 6 ) i = l 式中，d ( 易，a ) 是可以以不同形式表示的距離，根據(jù)表示形式的不同，分為不同的橢 圓擬合方法，如基于歐式距離的橢圓擬合方法、基于代數(shù)距離的橢圓擬合方法等。 基于歐式距離的橢圓擬合方法以最小化式2 - ( 1 7 ) 為目的： i v - p , i l 2 - ( 1 7 ) i = l 從幾何意義上看，它能夠最佳地擬合橢圓，但實際上，與每個只對應(yīng)的點p 無法直 接得到，通常需要引入拉格朗日因子，采用一個近似距離替代上式，擬合得到的結(jié) 果不能最近逼近實際橢圓。 基于代數(shù)距離的橢圓擬合方法以最小化代數(shù)距離 1 2 第二章圖像預(yù)處理 阿a 1 2 2 一( 18 ) 為目標(biāo)，可以將最小二乘橢圓擬合問題轉(zhuǎn)換為一個線性問題柬求解。本文就是采用 的基于代數(shù)距離的橢圓擬合方法，最終得到亞像素邊緣的橢圓參數(shù)，從而獲得各特 征圓點圓心的亞像素坐標(biāo)。 2 5 o p e n c v 函數(shù)庫 o p e n c v 。刈口5 3 的全稱是o p e ns o u r c ec o m p u t e rv i s i o nl i b r a r y ，由i n t e l 微處理器 研究實驗室( i n t e l sm i c r o p r o c e s s o rr e s e a r c hl a b ) 的視覺交互組( t h ev i s u a l i n t e r a c t i v i t yg r o u p ) 開發(fā)，是個很優(yōu)秀的開源圖像處理算法庫，它包含了一系列c 語言函數(shù)和少量c + + 的類，圖像處理和計算機(jī)視覺方面的許多通用算法在該函數(shù)庫 中得到了實現(xiàn)。它本身擁有包括3 0 0 多個c c + + 函數(shù)的跨平臺的中、高層a p i ，不 依賴于其他的外部庫，但可以使用某些外部庫。通過調(diào)用o p e n c v 算法庫，可以在 前人已完成的成熟算法的基礎(chǔ)上迅速地開展自己的工作。作