（計算機應(yīng)用技術(shù)專業(yè)論文）基于目標檢測與跟蹤的機動車視頻測速方法研究.pdf

ab str a c t a日st ract wi t hth edsvefo p i1 1 ent of com p u 1 e rh ar d w a r e ， net w o r k ， di gi tal 如age p r o c e s s i llg and c o 幻 i p u te r v i s i onte c h n o l o g i e s ， a i ntel l i gentm o n itori ng sy s t e mc an s ubst i t u t e p cop l e t o r e c e i ve and p r o c e s s 1 n fo rmation and t h e n m ake t h e dec i s io nt hi s thes i sm al n lys h id i e s howto p r o c e s sa n dana 】 y s e sthe vi deofreq u e n c yon the hi g h w a y ，a n d th e n get the s peedo f v e h ic l e ，pr o v i d e the s p e e d l n fo rmationfo r i t s (i nt e l l i g e nitr ans port s y s t e m ) t h 1 s t h e s i s m ai uly stud i e s t w 0p r o b l e m s : ti me a n dd i s t a n c e meas urement.f o r d i s t a n c e measurement ，th i s t h e s i s p ut s fo p 胃 ar d a n ew w a y o f i m a g e l o c a l i zati o n b a s e 山 edete c t i on o f th ewhi tem a r ko nt h ero ad s u ri 油 c e . t h i sw a yc an p ro v i d et h e c o nve n i e nce fromthe p o s iti o no f s o m ethi ng inthe ima g e toit s real p o s i t i on inth e worl d . t hi s w a y d o e s n ， t nee d s e ni n g t h e c o m p 1 i c ated thin g s for c a n 1 e rac a l 1 b r a t 1 o n ; a n d itism o rep racti c ableanda d a p t a b 1 e t h ant h e l ine. t y p e . at t h e s 田 m e t i m e ， th e c 別 舊 e r a i s o n a ro ads i d e p o l e ， wou l d b e b e tt e r o n m a i n t a i n a b i l i tya n d as e i smat i c ，and itise asytoi nstall ， adju standm e n d . t h ec i r c ul at i on on l h eroad c o ul dn o t be d i s tu r b e d . t h i s thes i s p uts fo n 刀 a r da m a r k . det e c t i n gal gori t hi nb ase o nt l讓 e s h o l d v a 1 ue d ivis i on a n de d g ed etectin gtod e t ect t h ep o s it i o no f t hr e em ar k s andth e ir v e rt e x o n the hi ghw a y . t h i s thes i s p r e s ent a v e h 1 c l e d e te c ti ngal gori t 知 肌b as e onb ac k g r o u ll d s u b t r a c t i o n a n d v ehicl e t r a c ki ngal gori t 加 叮b a s e o n k a l m a n filt e r l n g ，w h i c h c ant r a c k t h e v e hi cl e 。 n t h e hi g h w a y . a n d we c anrem o val the s h a d 0 wt h r o u g h s h a d o wd e t e ct in g al g 。 山加 的 b a seone d ged et e c ti ng t 七 e n we c ang etth e p o s i ti ons o f the c arinal 1 t h e i m a g e s o f v i deo freq u e n c 丫 f i n a l lym 盯o b t ai n the t r a c k o f the vehi c l e s inthe 1 m a g e a n d in1 h e re alwor l dc al c u l ate the sp e e do f v ehic l e 朗 c o rd i ngthe l m a g e fo c al i zat i on and t h e t i ln e 一 g apo f v i d e o . avehi c l e sp e e d m easurem ent s y s t e mt hr o u ghv i d e o are des i g n e d in t h i s l h e s i s . t b i s thesi s ana ly se s the p r o bl e mo f di s t a n c emeas u n n gandm o v l n go bj e cts d e l e c 血g andt r a c ki ng， a n dp uts fo ，la rdm yw a y s tosolv e t h e mandte stthem t hr o u ghe x p e ri m e n t s . the re s ul t fi 0 mt hee x p erimeni s gi v e s a pos it i v e answertot h e i i ab s 扮a c t acc urac ya n ds 1 a b 1 l i ty o fthe al g o ri t l1 m， a n dthese w a ym ee t re a l 一 t i m eand p 撇t i c al i tyre q u i r e 們 。 e n t s . k e y 、 甲 d l 幻l easl l t e們 比 、 叭】 r dg iln銘e l o c at i o n ;m o v i 飛 o bj e c td e 比 c t i o n a n d t r a c ki n g ; s p e e d e n t t hi o u gh vi d eo 學位論文獨創(chuàng)性聲明 學位論文獨創(chuàng)性聲明 本人聲明所呈交的學位論文是本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的 研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含 其他人已經(jīng)發(fā)表或撰寫過的 研究成果， 也不包含為獲得 南昌大學 或其他教育 機構(gòu)的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何 貢獻均己在論文中作了明確的說明并表示謝意。 學位一名(習 間簽 字 日 期 :洲7 年 “ 加 日 學位論文版權(quán)使用授權(quán)書 本學 位論文作者完全了 解南昌大學有關(guān)保留、使用學位論文的 規(guī)定， 有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱 和借 閱 。 本 人 授權(quán)南昌大學 可以 將 學 位 論 文的 全 部或 部分 內(nèi) 容 編入 有關(guān) 數(shù) 據(jù) 庫 進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學位論文。 ( 保密的學位論文在解密后適用本授權(quán)書) 學 位 論 文 作 者 簽 “ (手 寫 ):刁 叭 簽 字 日 期 : 問年 乙 月 ，日 導(dǎo) 師 簽 名( 手 寫 : 刀趣一 簽字日 期: 2 。 ，習年 占月孫 日 學位論文作者畢業(yè)后去向: 工作單位: 通 訊地址: 電話: 郵編: 第 1 章 引言 第一章 引言 1 . 1課題研究背景及發(fā)展現(xiàn)狀 我國的高速公路系統(tǒng)已 經(jīng)達到了 相當?shù)囊?guī)模，在利用 it s( 恤ell論 ent 腸 胡s p o ri s y s l e ln s 智能交通體統(tǒng)) 實現(xiàn)智能交通控制和誘導(dǎo)的同時， 如果能對各 種道路上車輛的速度進行實時視頻監(jiān)控和處理，對改善交通秩序，保障交通安 全，減少交通事故都將起到重要作用。 目 前對車輛的行駛速度有多種檢測方法，傳統(tǒng)方法有感應(yīng)線圈、激光測速、 雷達測速， 超聲 波測 速等11 l2j， 但是由 于各自 存在各種缺陷， 在實際 應(yīng)用中 效果 并不理想。而隨著圖像處理技術(shù)的長足發(fā)展和廣泛應(yīng)用，基于計算機視覺、圖 像處理與模式識別技術(shù)來自動獲取交通流量，車輛類型以及車輛速度成為近年 來研究的熱點。 計算機視覺作為智能交通系統(tǒng)中的一項重要技術(shù)基礎(chǔ)，受到越來越多的研 究和重視。計算機視覺即是用各種成像系統(tǒng)代替視覺感官作為視覺信息輸入手 段，由計算機來代替大腦完成處理與解釋。計算機視覺不僅能使機器感知環(huán)境 中的幾何信息，包括位置、大小、形狀、運動等，還能對它們進行描述、解釋 和理解。采用基于計算機視覺的機動車視頻測速方法對交通狀況進行速度監(jiān)控 能夠克服其它測速方法所產(chǎn)生的許多問題和不便，具有技術(shù)和經(jīng)濟優(yōu)勢。并隨 著人工智能、神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊數(shù)學等理論、方法與圖像處理技術(shù)的 聯(lián)系日 趨緊密，各種圖像處理方法不斷豐富，算法效率和可用性不斷提高，車 輛視頻檢測技術(shù)在達到以往準確性、時效性和可靠性要求的基礎(chǔ)上，越來越多 的新的車輛檢測方法和跟蹤方法被提出，視頻測速系統(tǒng)正朝著自 學習、自 適應(yīng) 和智能化的方向發(fā)展。 利用攝像機拍攝路面視頻，在視頻上利用圖像處理、計算機視覺與模式識 別技術(shù)來測量汽車速度或其它交通參數(shù)已經(jīng)成為車輛測速系統(tǒng)乃至構(gòu)建智能交 通系統(tǒng)一個熱點。 其中涉及到的圖像定位、運動目 標檢測和跟蹤等領(lǐng)域的知識， 在本文的第二章將會做簡單介紹。 第 1 章 引言 1 .2 論文的主要工作 本文將在分析和比較各種已 有的機動車測速相關(guān)的圖像處理和計算機視覺 技術(shù)基礎(chǔ)上，研究機動車測速的方法和模型，并提出一種可行的機動車視頻測 速系統(tǒng)的設(shè)計方案。課題的主要研究內(nèi)容包括: . 圖像定位方法，即建立圖像位置和真實場景位置的聯(lián)系，使測速系統(tǒng)能 夠方便地從物體在圖像上的位置推出該物體在真實場景下的位置。在路邊單桿 攝像機條件下，本文提出了一種基于高速公路道路標線檢測的圖像定位法，直 接通過圖像中標線位置，和已知的標線長度和標線間隔長度，得到在道路方向 上圖像位置和真實場景位置之間的聯(lián)系，為視頻測速系統(tǒng)中的距離的精確測量 服務(wù)。 . 道路標線的檢測技術(shù)，提出了 基于閉值分割和邊緣檢測的路面標線檢測 算法，檢測出 道路上三條車行道標線的位置，同時提取出中間的車行道間隔標 線段的端點或遠端標線的中心位置在圖像上的位置，以 此作為圖像定位的依據(jù)。 . 視頻監(jiān)控圖像上的運動車輛的檢測和跟蹤技術(shù)，得到車輛在圖像上的位 置及運動軌跡，結(jié)合圖像定位技術(shù)得出車輛在真實場景下的位置和速度信息。 本文采用背景差分法對運動車輛進行檢測。背景模型的建立采用了基于均值濾 波的背景初始化算法，提取出一段時間內(nèi)每個像素的高頻值的平均值作為初始 背景，并且用選擇更新法對背景進行實時更新。 . 提出了一種基于邊緣檢測的陰影消除算法，利用陰影內(nèi)邊緣信息較少且 主要是道路自身的邊緣，而和陰影相鄰的車輛目 標卻富含邊緣的特點找到陰影 和車輛的分界線，一定程度上消除了部分陰影的千擾。 . 提出了一個基于卡爾曼濾波器的目 標車輛跟蹤算法，以車輛的跟蹤窗口 的位置，大小和車輛的速度和加速度作為車輛的特征進行預(yù)測和跟蹤，從而得 到車輛在圖像上的運動信息。 1 .3論文的章節(jié)安排 第一章簡單介紹了車輛測速系統(tǒng)的研究背景和現(xiàn)有幾種車輛測速方法，分 析了視頻測速對于實現(xiàn)智能交通控制的目的、意義和研究現(xiàn)狀，最后介紹了本 文的主要的工作和成果。 第 1 章 引言 第二章對視頻測速問題進行了詳細的介紹和分析，把視頻測速問題分解為 兩個問題:車輛行駛距離的測量和行駛時間的測量。而行駛距離的測量同樣可 以分為兩個問題: 建立z d圖像坐標和真實場景的3 d世界坐標之間的映射關(guān)系， 和運動車輛在圖像上的檢測與跟蹤。同時還列舉出了視頻測速系統(tǒng)在實際工作 中可能遇到的一些問題。第二節(jié)到第四節(jié)對上述問題的常用的解決方法和技術(shù) 包括圖像的定位、運動目 標的檢測、運動目 標的跟蹤技術(shù)等做了簡單介紹。 第三章就本文提出的新的圖像定位法的原理，前提條件和要求作了深入的 介紹，并分析了該方法相對于攝像機標定法和非標定法的優(yōu)勢。并對該圖像定 位方法的基礎(chǔ)道路標線的檢測技術(shù)作了介紹， 提出了一種基于閡值分割和 邊緣檢測的路面標線檢測算法，檢測出道路上三條車行道標線位置以及每段標 線的端點。 第四章提出了一個高速公路條件下的車輛視頻檢測和跟蹤方法。對道路背 景特征進行了分析，采用背景差法提取運動車輛，并利用道路邊緣信息和車輛 本身的邊緣信息消除陰影的干擾。還利用卡爾曼濾波器對車輛目 標在圖像上的 位置和狀態(tài)進行預(yù)測和目 標跟蹤。 第五章對視頻測速系統(tǒng)進行了分析并給出了一種可行的機動車視頻測速系 統(tǒng)的設(shè)計方案。 第六章總結(jié)和展望。對本文的工作進行了總結(jié)，并就系統(tǒng)中不完善的地方 和需要進一步研究的問題做出了展望。 第2 章 車視頻測速問題分析及相關(guān)理論 第二章 車視頻測速問題分析及相關(guān)理論 2. 1機動車視頻測速問題分析 在分析視頻測速問題之前，為了利于問題的解決， 減少不利因素的影響， 可以對交通場景、行駛車輛和圖像采集設(shè)備做幾點假設(shè): 1 視頻監(jiān)視的路面是平坦的，可以認作或近似的看作平面，復(fù)雜的路面通 常無法從圖像上對車輛進行有效定位; 2 .車輛基本沿道路伸展的方向行駛，不會突然轉(zhuǎn)彎，故車輛行駛速度在垂 直于道路伸展方向上的分量較小，可以忽略不計; 3 ，攝像機相對于路面是靜止的，攝像機移位將使車輛在圖像上的位置發(fā)生 偏移，從而導(dǎo)致車輛定位偏差甚至錯誤。 根據(jù)物理學中速度的定義: v = 5 / t 二 s t 一 s t 一 1 / t z 一 t i 可以看出要實現(xiàn)車輛速度的檢測需要對兩個信息進行量測，一個是車輛行 駛所用的時間間隔t ，一個是車輛行駛的路程5 。這樣可以將問 題劃分為兩個子 問題，一個是車輛行駛時間的測定，一個是車輛行駛路程的測定。 2. l i車輛行駛時間的測定 要 精確的 得 到 每幀圖 像 信號的 采 集時 刻， 文獻 3 根 據(jù) 其機理的 不同 將 其 分 為軟計時 和硬計時兩 種。 文獻3 中 還提到w i n d o w s 操作 系統(tǒng)中 提供的 幾種軟件 計時方法和文獻作者自己提出的硬計時方法:幀數(shù)時計時方法。幀數(shù)時指指圖 像采集卡采集到某幀圖像所對應(yīng)的時刻。由于大多數(shù)性能良好的圖像采集卡都 工作在硬實時模式下，其采樣周期是穩(wěn)定，利用這一點就可以利用圖像采集設(shè) 備的圖像采樣頻率進行硬計時。經(jīng)過分析和實驗比較，幀數(shù)時計時方法的精度 明顯更優(yōu)。本文也將采用這種方法來進行計時，來得到每幀圖像的采集時刻。 第 2 章車視頻測速問題分析及相關(guān)理論 2. 1 .2車輛行駛路程的測定 一般視頻監(jiān)控系統(tǒng)的路程測定方法如下: 1 .如果車輛駛?cè)胍曨l監(jiān)控范圍后，系統(tǒng)將盡快檢測出這個車輛目 標，并在 一段時間內(nèi)能夠始終對其進行跟蹤，并同時記錄下它在每幀圖像上的位置和采 集該幀圖像的時刻。 2 .在得到車輛在被跟蹤過程中的多個位置點后，用這多個位置點進行圖像 定位，把車輛在視頻圖像上的位置轉(zhuǎn)換為實際道路場景的位置。 3 .利用這些實際道路場景的位置點計算出車輛的運動路程。 因此如何將車輛在圖像上的位置轉(zhuǎn)化為實際道路上的位置，以及對車輛目 標進行檢測和跟蹤，是測速系統(tǒng)必須要解決的問題。這樣就把測速系統(tǒng)中對于 路程的測量再劃分為兩個子問題: 建立z d圖 像坐標和真實場景的3 d世界坐標之間的映射關(guān)系。 運動車輛在圖像上的檢測和跟蹤。 : 對于問題一常用的解決方法是建立真實場景到攝像機成像平面的攝像機成 像幾何模型。常用的方法有攝像機的標定。問題二屬于圖像處理和計算機視覺 中的運動目 標檢測和跟蹤的范疇。 2. l 3視頻測速面臨的一些實際困難 在測速方法研究過程中，筆者在瀏覽國內(nèi)外資料和文獻的同時，也與一些 視頻測監(jiān)控系統(tǒng)的使用者 ( 交通監(jiān)控系統(tǒng)的相關(guān)管理人員) 進行過交流。交流 過程中發(fā)現(xiàn)，許多現(xiàn)有的視頻測速系統(tǒng)在正式使用過程中會有各種問題影響系 統(tǒng)的正常工作，其中有部分問題是可以在設(shè)計階段就考慮到并予以解決的。視 頻測速方法的研究者在現(xiàn)有理論和方法的基礎(chǔ)上應(yīng)該充分考慮如何解決這些問 題。 1 方法適應(yīng)性: 現(xiàn)有的各種基于圖像處理和計算機視覺的測速方法中有的方法精度較高， 但是算法復(fù)雜，系統(tǒng)開銷較大，實時性難以保證;有的方法在某種特定環(huán)境下 才能發(fā)揮作用，受環(huán)境和噪音干擾較大，不能廣泛推廣;有的方法需要的前提 條件較多，缺乏易用性。所以選取一種適合實際情況的視頻測速方法是保證測 第2 章車視頻測速問題分析及相關(guān)理論 計算機視覺常用坐標系采用右手準則來定義， 圖2. 2 表示了三個不同層次的 坐標系統(tǒng):世界坐標系、攝像機坐標系和圖像坐標系 ( 圖像像素坐標系和圖像 物理坐標系) 。 圖2 忍標定系統(tǒng)的坐標系 ( 1 )世界坐標系 ( x w，y w ，z w ) :也稱真實或現(xiàn)實世界坐標系，或全局 坐標系。它是客觀世界的絕對坐標，由用戶任意定義的三維空間坐標系。一般 的3 d 場景都用這個坐標系來表示。 (2) 攝像 機坐標系(x oy):以 小孔攝像機 模型的聚 焦中 心為原點 ，以 攝像機 光 軸為zc軸建 立的 三維 直 角 坐 標系。 x ， y 一般 與圖 像 物 理 坐標系的x f，y f 平 行，且采取前投影模型。 ( 3) 圖像坐標系，分為圖像像素坐標系和圖像物理坐標系兩種: 圖像物理坐標系:其原點為透鏡光軸與成像平面的交點，x與y軸分別平 行于攝像機坐標系的x 與y 軸，是平面直角坐標系， 單位為毫米。 圖 像像素坐標系 ( 計算機圖像 ( 幀存) 坐標系 ) :固 定在圖像上的以 像素為單 位的平面直角坐標系，其原點位于圖像左上角，圖像平面的橫坐標和縱坐標平 行于圖 像物理坐標系的x和y軸。 對于數(shù)字圖像來說， 橫縱坐標的方向分別為 圖像的行列方向。 根據(jù)三個坐標系的設(shè)定和針孔攝像機成像原理可建立世界坐標系與圖像坐 標系變換關(guān)系: 第2 章車視頻測速問題分析及相關(guān)理論 cx - xwyw孔1 幾幾1 幾幾幾 幾幾q 口qq -一 mi mz x - ，勝十lleses.j xwyw孔1 t1 嘰v01 0兒。 5 = q，c l:c 13c t4 0 x ， y 。 2 ， 1 (2 . 1 ) 其 中 ， u 。 ，vo 是 圖 像 中 心( 光 軸 與 圖 像 平 面 的 交 點 ) 坐 標 ，人 和幾分 別 為 x 和y 方 向 的 等 效 焦 距 。 人、 刀 、 uo 和v 。 等4 個 參 數(shù) 只 與 攝 像 機 內(nèi) 部 結(jié) 構(gòu) 有 關(guān) ， 因此稱為攝像機內(nèi)部參數(shù)。 式2 1 中的11參 數(shù)攝像機矩陣c可以 用最小 二乘擬合的 方法求出 141 ， 該方 法需要 至少6組數(shù) 據(jù)， 每組數(shù)據(jù)包括圖 像點(u ， ， 從 ) 和對應(yīng)被觀測的3 d點 (x ， ， y ， 2 ， )o攝像 機的 標定 的目 的 也就 是為了 得到 這個11個參 數(shù)的 矩陣， 來 建 立 像素點在給定的攝像機的圖像陣列中的位置與 3 d場景中要成像的實值點的關(guān) 系。 2. 2. 2其他圖像定位方式 還有一些其他的非攝像機標定的圖像定位技術(shù)也被用于實際的工作系統(tǒng) 中。 比 較常見的 有虛 擬 線圈 法， 還有文獻【 10 中 作者構(gòu)建 全景圖 和外極面圖 兩種 二維時空圖像的方法對所觀測的路面進行標定，也達到了側(cè)量車輛位置的目的， 而文獻13 中 用簡單直 觀的視覺直接標定法用于圖 像坐標的 定位， 在圖像上 在道 路方向上設(shè)置兩條虛擬檢測線，以探測是否有車輛通過，并分別作為車輛的初 始位置和終點位置。事先已經(jīng)確定好了這兩條檢測線在實際路面上的對應(yīng)位置 和它們之間的距離，簡單有效地獲取車輛經(jīng)過測速區(qū)域的行駛路程，從而將整 個交通場景圖像的坐標定位的問題簡化成對兩條檢測線的定位問題，但是要得 到兩條檢測線在實際路面上的對應(yīng)的位置需要人工實地測量，而且如果出現(xiàn)攝 像機因震動而偏移或工作需要的調(diào)整，改變了攝像機的鏡頭方向 ( 實際上經(jīng)常 發(fā)生) ，這兩條檢測線的實際位置就需要重新人工測量，系統(tǒng)的工作效率和實用 性不強。 第2 章車視頻測速問題分析及相關(guān)理論 2. 3運動目 標在圖像中的檢測方法 運動目 標的檢測算法根據(jù)運動目 標和攝像機的關(guān)系可分為靜態(tài)背景下運動 目 標的檢測和動態(tài)背景下運動目 標檢測11 1 。靜態(tài)背景下的 運動目 標檢測就是指 攝像機在整個監(jiān)視過程中沒有發(fā)生移動，只有被監(jiān)視目 標在攝像機的視覺范圍 內(nèi)運動，這個過程中只有目 標相對于攝像機的運動:動態(tài)背景下運動目標檢測 就是攝像機在整個監(jiān)視過程中發(fā)生了移動，這個過程產(chǎn)生了目標與攝像機之間 復(fù)雜的相對運動。 靜態(tài)背景下運動目 標檢測主要常用的三種方法是:幀間差分法、背景差分 法和光流法。光流法計算復(fù)雜，不適合實時處理:幀間差分法是將連續(xù)兩幀進 行比較，從中提取出運動目 標的信息，這種提取出運動目 標的完整性較差，但 對動態(tài)環(huán)境有較好的適應(yīng)性;背景差分法能夠較完整地提取目 標點，但對場景 的動態(tài)變化 ( 如光照或外部條件引起的場景變化)較為敏感。 動態(tài)背景下運動檢測由于存在著目標與攝像機之間的復(fù)雜的相對運動，所 有算法也要比靜態(tài)背景下運動目 標檢測算法復(fù)雜得多，常用的動態(tài)背景下運動 檢測算法是匹配塊法、光流估計法、圖像匹配法以及全局運動估計法等。 2. 4運動目 標在視頻序列中的跟蹤方法 所謂目 標跟蹤，就是在一段視頻序列的每幅圖像中找到感興趣的運動目 標 所處的位置。目 標跟蹤的作用非常重要，因為它是銜接運動目 標檢測和目 標行 為分析與理解的一個重要環(huán)節(jié)，是計算機視覺、圖像處理和模式識別領(lǐng)域里非 ?；钴S的課題。在實際應(yīng)用中，目標跟蹤不僅可以提供目標的運動軌跡和準確 的位置，也為進行場景中運動目標的運動分析和場景分析提供了可靠的數(shù)據(jù)來 源，同時運動目標的跟蹤信息也反過來為運動目 標的正確檢測以及運動目標的 識別提供了幫助。 常用的運動目 標跟蹤方法有下列機幾種: 1) 基于光流場的運動跟蹤方法112 ， 131 2) 基于特征的 跟蹤方法1 14 3 ) 基 于3 d 模 型 的 跟 蹤 方 法 1， 5 16 ，1刀 第2 章車視頻測速問題分析及相關(guān)理論 4) 基于主動輪廓 ( sna ke)的 跟蹤方法 ( 基于變形模型的方法) 115 .19l 5 ) 基于區(qū)域的 跟蹤方法12 0 6) 基于卡爾曼 濾波器的目 標跟蹤121-24 2. 5小結(jié) 本章第一節(jié)對本課題所要解決的問題視頻測速進行了詳細的分析，把 測速問題分解為車輛的行駛時間測量和距離測量兩個子問題，并且把重點定在 如何在圖像上對車輛的行駛距離的進行精確測量。同時還把把行駛距離的測量 也分為兩個子問題:建立z d圖像坐標和真實場景的3 d世界坐標之間的映射關(guān) 系，以及運動車輛在圖像上的檢測跟蹤。同時還對視頻測速系統(tǒng)在實際工作中 可能遇到的一些問題進行了討論和分析。 第二節(jié)到第五節(jié)對上述問題的常用的解決方法和技術(shù)包括攝像機的標定、 運動目 標的檢測、運動目 標的跟蹤等做了簡單介紹。 第3 章 基于路面標線檢測的圖像定位方法 第三章 基于路面標線檢測的圖像定位方法 本文提出了一種基于道路標線檢測的圖像定位方法，不需通過攝像機的標 定檢測出攝像頭的各種內(nèi)部參數(shù)和外部參數(shù)，直接通過圖像中標線位置，和己 知的標線長度和標線間隔長度，得到在道路方向上圖像位置和真實場景位置的 聯(lián)系，為視頻測速系統(tǒng)中的距離測量服務(wù)。 3. 1基于路面標線檢測的圖像定位方法 3. l i圖像定位的已有解決方法分析 在 2. 2節(jié)問題分析中，我們已經(jīng)知道要求得圖像中的車輛目 標的行駛的路 程，首先要解決第一個子問題:如何建立z d圖像坐標和真實場景的3 d世界坐 標之間的映射，常用的方法有攝像機標定方法或虛擬線圈法等。 攝像機標定一般需要在觀測場景中標定n個參照點，現(xiàn)場測量這些點的精 確位置，然后利用插值算法確定像素與地球坐標的映射。在有些時候系統(tǒng)難以 放置有效的標定物作參照點。比如在高速公路上，不可能在路面位置放置特殊 的標定物，影響高速公路的交通，也不允許在路面上以某種固定形狀和顏色的 標志作為標定物 ( 參見國家標準g b 5 7 6 8 一 1999 道路交通標志和標線 ) 。 用虛擬線圈 法實現(xiàn)距離的測量13，2” ， 就是通過人工測量或估計的 方法得到兩 條圖像上的虛擬線圈在實際道路上的距離，這種方法簡單有效，測量精度也較 好。但在系統(tǒng)實際工作時，通過的重型汽車造成的震動偏移會使鏡頭方向產(chǎn)生 偏差，之前的人工測定的距離就失去了作用，需要重新人工測量或人工恢復(fù)攝 像機鏡頭的方向。同時受到檢測線檢測效果的影響， 如文獻1 3中分析討論虛擬 線圈精度問題時提到了同一車輛的兩次 “ 撞線”時并不能保證剛好被攝像機拍 攝到，實際車輛的行駛距離會比線圈間距有一定的偏差，影響其測速性能。而 且其標定的距離也被固定了，只能是兩條線圈之間的距離，所測量的速度也只 能是兩條檢測線間的平均速度，對圖像中其他位置的車輛的速度無法進行測量。 于是本文提出了一種新的定位法，不需借助攝像機坐標系和普通的標定物 第3 章 基于路面標線檢測的圖像定位方法 的放置，而是利用攝像機的鏡頭的擺放使監(jiān)控圖像和實際道路坐標間具有易標 定的性質(zhì)，只要獲取相對較少的參數(shù)，使圖像上的所有像素點坐標都可以方便 地計算出其在道路方向上的位置。通過對道路上的白色標線端點的檢測來計算 圖像定位所需的參數(shù).這種方法可在道路邊的單桿上安裝，易于安裝修理和調(diào) 校。 3. l 2本文的圖像定位方法原理 本文研究的高速公路測速系統(tǒng)中的觀測對象車輛在道路平面上的運動 可以看作是直線運動， 系統(tǒng)最需要的 信息實際上只有車輛在真實世界的3 d信息 中道路所在直線方向 上的位置信息。若設(shè)該道路所在直線為x軸，則對測速系 統(tǒng)來說， 最關(guān)心的是車輛在x軸上的位置信息， 另外z d的位置信息 ( y軸和2 軸)不是必要的。從這點出發(fā)，本文的測速系統(tǒng)中對圖像定位問題進行了簡化: 找到z d圖像的位置坐標和世界坐標下道路方向上一維位置坐標 ( x軸上位置) 之間的關(guān)系，即可以從某物體的z d圖像坐標得到其在道路方向上的位置。 基于路面路標線檢測的圖像定位方法， 是利用攝像機的鏡頭方向的擺放( 使 攝像機的橫向感光元保持水平，同時鏡頭朝道路方向，即鏡頭光軸所在的豎直 平面和道路平行) ，使具有同一縱坐標的所有像素點相對應(yīng)的世界坐標點在道路 方向上具有相同的投影位置，即世界坐標的x軸分量相同 ( 如果假設(shè)道路和 x 軸平行) 。 這樣只要得到某一個像素對應(yīng)的世界坐標點的x軸位置，同 一行的其 它像素也能得到同樣的結(jié)果。如果我們每一行像素中都選取一個像素組成一條 豎直像素列，該象素列中每一個像素都可以代表同行其它像素對應(yīng)的世界坐標 在x軸上的分量。只要找到該像素列的像素點和對應(yīng)世界坐標點的x軸位置的 關(guān)系，就能得到所有像素和對應(yīng)世界坐標的x軸的關(guān)系。這里我們設(shè)該像素列 為圖像的豎直中線l o( 即通過圖像的中心把圖像兩個相同的部分的直線，注意 在大多數(shù)的攝像機里圖 像的中心就是攝像機的主點:光軸與成像平面的交點) 。 如圖3 . 1 中場景中道路平面上某點p ， 在x軸上的投影點為p， 在圖像平面 上的 投影 成像點 為q 。 而 道路 上 的 線 段p p 在圖 像上的 投影 為 線段qq 。 顯 然 qq， 所在的 一行像素 所對應(yīng)的世 界坐標的x軸分量都是 一樣的。 只要知 道經(jīng)過 主點的豎直像素l o 和對應(yīng)世界坐標系在x軸上的分量的關(guān)系， 就可以知道所有 像素和對應(yīng)世界坐標系在x軸上的分量之間的關(guān)系。 從圖像上看即要找到l o 和 第 3 章 基于路面標線檢測的圖像定位方法 x 軸的之間映射關(guān)系。 圖像 平面 o 一 了 - 一 1 - 一 口 一 px .。月v 圖像平面 、 勺 、 、 p x 一入 仁一 a)透視圖a)俯視圖 、-， c)圖 像平面 像素示 意圖 圖3 . 1攝像頭設(shè)置和圖像特征示意圖 為方便理解和計算，我們把世界坐標系的原點設(shè)為道路平面中間的車行道 分界 線上 某個端點 上， x 軸沿道路方向 與 汽車 前進方向 相反， y 軸為 道路延展方 向由單桿朝路面方向 ( 圖3 .2 ) 。 一d 一 朋 一 、 一 t州 圖3 之攝像機位置和道路場景的世界坐標系設(shè)置示意圖 第3 章 基于路面標線檢測的圖像定位方法 這 樣 如 果 我們 把x 軸(z= 0 ， y 二 0)， 和l o (u = uo， u 。 為l o 上 像素的 縱 坐 標)代入2. 1 得到: ( 3 . 1 ) cx r護卜卜七 c，4幾1 幾幾幾 仇幾幾 l u 。 i c ll 5 】 一 c ， t l l c 3 ， 整理后得到: ( 3 . 2 ) -!j 味幾1 qqc3 r.esesesee且.1.l - -十lesesj uovl r.，esesesesl 了 這里 得 到的 是 在 世 界 坐標x軸上 點 ( x ， ， 。 ， 0) 和圖 像 上l o 上的點 ( u 。 ，v) 之 見的 映 射 關(guān) 系。 其中“ 。 是 一固 定 值， 所以 我 們 可以 從式3 .2 可以 得到: 二 = 蘭 叢 二 蘭 .( 3 .3 ) c 3 l v 一 c z i 這樣我們把式2 1 中n個參數(shù)的攝像機矩陣簡化為了3 個參數(shù)的轉(zhuǎn)換方式。 只 要得 到 這 三個 參 數(shù)q 1 c 24 q ， ， 就 可以 找到l 。 的 點 和x 軸上的點 之間 的 映 射 關(guān)系，同樣也就得到了圖像上所有像素對應(yīng)世界坐標系在 x軸上的分量之間的 關(guān)系。 要 找 到 這 樣的 關(guān) 系 需 要 求 得 三 個參 數(shù)q : 幾 c3， 的 精 確的 值， 我 們可以 用設(shè) 立參 照 點 的 方 式 求 得 它 們的 值。 對 每 個lo上的 點， ， 及 其 對 應(yīng) 世 界 坐 標點 的x 軸 分量戈， 記為 以，戈 ) ， 從式3 .3都 可以 得到 一 個線 性方 程: x ， ，1 ， ，一v， ( 3 . 4 ) u， 一一 幾味q 理 論 上 只 要得 到 三 組數(shù) 據(jù) (v ， x ， ) 的 坐 標就 可以 得 到 三 組線 性方 程組 求出 這 三個參數(shù)， 但是由于測量噪聲， 數(shù)據(jù)并不能完全精確的和式3 .3對應(yīng)。 我們采用 對給定n 組的 數(shù)據(jù) (n3) 進行最小 二 乘擬 合文獻 4 的 方式求得這三個參數(shù)， 提高 參數(shù)的精確性。先將n 組數(shù)據(jù)帶入3 .3得到方程組: 第3 章 基于路面標線檢測的圖像定位方法 ( 3 . 5 ) 干!，!lesj ul叭uh reseseseswe.es.l ，.111j 陌鳳一風 ，.se.!幾1.esesj vl咋氣 ，-xl，-xz; 1，1，1， 隊匡|衛(wèi)氏 這 是 個 超定 系 統(tǒng)， 不 存 在 滿 足 所有 方 程的 參 數(shù)向 量 q ; ， c z 。 ， q， 。 用 最小 二 乘法解方程的方法求得三個參數(shù)，使實測圖像坐標與經(jīng)攝像機矩陣預(yù)測的坐標 之間的差平方和最小。 得到三個參數(shù)后就可以通過式3. 3 從 l o 上的像素點的坐 標 (u 。 ， ， ) 計 算對 應(yīng)的 在x軸 上 點 (x，0， 0) ， 同 樣 也 可 從圖 像 上 任何一 像 素 點的 坐 標 ( u ， v) 計算出 該像素對 應(yīng)的 世界 坐標的 位置在x軸上的 分量x(圖3 . 1) 。 從上文的分析我們可以看出式 3 .3不但適用于 l o ，而且適用于計算整個圖 像平面上的 任意 像素點 ( u ， v) 和對應(yīng)的 在x軸上點 (x ，0， 0 ) 即 道路位置的 關(guān)系。 只 要在圖 像中 得到 三組以 上的 數(shù)據(jù)(v ， ， x : ) ， 就可以 得 到這 三個參數(shù)。 3 . l 3基于路面標線檢測的圖像定位法 前 面 我 們知 道 只 要 得到 三 組以 上的 數(shù) 據(jù) ( u ， ， x ， ) ， u ， 為圖 像 上 某像 素點的 縱 坐 標， x ， 為 該 像素點 對 應(yīng)的 道 路 場 景 上的 點的 世 界 坐 標的x 軸 位置( 即 道 路位置) 。 就可以計算出式3 .3 中的三個參數(shù)， 并可以 用于道路位置和圖像坐標位置之間的 轉(zhuǎn)換.這里我們可以 在圖像上找到道路上固有的白 色標線的端點 ( 如圖3 ，3) 作 為參照物計算出這三個參數(shù)。 二 二 充 二 二 二 免 皿二.凡 卜l-1-.卜!卜 vgvt竹銘竹 三 一 二一 飛 。!f-。卜。1尸。 匆們竹 一 1 一一一一 飛 vvo 圖3. 3把標線的 端點做為參照點 從圖 像下 方 第一 個 檢測 到的 標 線段 端點 像素 ( u 。 ， vo ) 開 始， 所 有的 檢測 到的 端點像素的v 軸坐標為: l 6 第4 章 車輛目 標在視頻中的檢測及跟蹤 第四章 車輛目 標在視頻中的檢測及跟蹤 4. 1基于背景差法的機動車目 標的檢測 第二章介紹了智能交通系統(tǒng)中使用視頻監(jiān)控裝置對交通道路上的交通狀況 進行監(jiān)控，絕大部分的情況下屬于靜態(tài)背景， 采用背景差方法i35 ) 對交通場景內(nèi) 的運動車輛進行檢測和跟蹤是最常用和最方便的方法. 背景差法的一般工作流程如圖4 . 1 所示: 圖4 . 1 背景差法基本流程 只 (x ， y):l 關(guān) (x ， 力一 取x ， 州 只是 在經(jīng) 過盡和廠 (x ， y)做差 分 操 作 之后 得到 差 分圖 像( 式4 ， 1)， ( 41 ) 其中雙是 用來 減除的 背 景圖 像，廠 (x ， y)指當 前 采集 到的 視 頻圖 像， 進一步 進 行目 標分 割 二值化后得到前景點集，進行形態(tài)學處理消除內(nèi)部空孔，得到比 較完整的目 標 區(qū) 域凡， 最后 用連 通性 分 析得到 完整的 某 車輛目 標， 并由 某種 準則 進行 判別 它 是否 是要找的 運 動目 標。 這里 準確描 述 真實 靜態(tài) 背景 的 背 景圖 像盡顯得 非常 重 要。 而我們指的所謂靜態(tài)背景，指的是背景像素的灰度在時間軸上無劇烈變化. 然而，在實際中 “ 靜止”背景的像素灰度有可能由于環(huán)境光照變化、攝像機抖 動以及小物體或噪聲的干擾等因素而發(fā)生變化，從而影響檢測和分割精度。所 第4 章 車輛目 標在視頻中的檢測及跟蹤 以如何根據(jù)實際情況選取合適的精確可靠的背景模型是背景差法的關(guān)鍵。對于 于長時間的目 標檢測來說，背景的光照必然時隨時間變化的，必須采用自 適應(yīng) 地初始化和更新當前背景的方法35 ，犯 ，371 。 4. l i常用的背景的初始化方法 靜態(tài)攝像機由于場景在整個視頻序列中近似靜止，故背景對應(yīng)的時間軸上 的低頻信息可以通過對視頻序列進行時間軸上低通濾波來估計靜止背景。一般 基于時間軸的背景估計的形式如式4. 2 。 其中， hi為濾波器， n為濾波器的長度。 凡= 藝氣 廠 (x ， 力 ( 4 . 2 ) 背景 建立常 用的 濾 波器有均值濾波， 中 值濾波、 高 斯濾波1l 劉、 多 模高 斯濾 波135 加 】 、 rls濾波i3v l和卡爾曼 濾波137 1 等等。 在系 統(tǒng)實現(xiàn)時 要考慮到系 統(tǒng)應(yīng)用的 實際情況，種種條件限制，選取比較適合實際圖像特點的方法，即能保證系統(tǒng) 所要求的檢測的正確率和檢測精度，也能兼顧系統(tǒng)的實時性和可行性等。 4. l 2高速公路監(jiān)控視頻圖像特征分析 本系統(tǒng)研究的是高速公路道路上視頻測速，高速公路上視頻監(jiān)控圖像我們 可以認為有下列特點: . 攝像機位置方向及焦距固定，保證攝入的圖像的背景是靜止的。 . 背景的內(nèi)容始終不變。主要以路面和路邊的景物為靜態(tài)的背景，一般在 道路上沒有背景物被移出背景，也沒有新的目 標停在背景區(qū)造成背景區(qū)域短時 間內(nèi)改變較大。 . 高速公路視頻所要監(jiān)控的是道路上的車輛行駛區(qū)域，系統(tǒng)可以只檢測兩 條道路邊緣線內(nèi)的道路情況，減少了背景的復(fù)雜度。 . 在自 然的條件卜 ，大氣系統(tǒng)是一個時變但變化平緩的系統(tǒng)，也就是說在 短時間內(nèi)光照條件的變化是緩慢的，不考慮有光照突變的情況。 基于上面的假設(shè)，監(jiān)控視頻的背景多數(shù)時間都是暴露在鏡頭之下的，長時 間內(nèi)背景可能會發(fā)生變化，變化的原因主要有這么幾種: 1 .汽車目 標車輛通過造成幅度較大的亮度變化。 2 .光照條件的變化造成圖像灰度在整體上提高或降低一個比較小的值。 第4 章 車輛目 標在視頻中的 檢測及跟蹤 3 .比較隨機和孤立的噪聲影響。 基于以上分析，高速公路監(jiān)控視頻圖像的背景情況比較簡單，可以用針對 簡單背景的較為快速的方法來快速檢測車輛。 4. l 3背景初始化和更新方法 考慮到高速公路視頻測速系統(tǒng)對精度和實時性的要求，本文提出一個基于 統(tǒng)計的背景初始估計算法和更新算法，用于對緩慢變換光照條件下和較為簡單 背景的條件下的車輛目 標檢測和它在圖像上的定位。 1)背景模型初始化算法 從高速公路視頻監(jiān)控視頻下的靜態(tài)背景的分析中，我們可以知道該背景模 型可以 不用考慮背景中 某個象素點的值呈多峰分布135 j6的情況， 并且基于高速公 路視頻監(jiān)控視頻中的背景圖像大部分時間內(nèi)是暴露在視頻監(jiān)控鏡頭里的假設(shè)， 本文提出了一個基于統(tǒng)計的背景初始化算法，利用均值濾波對連續(xù)數(shù)幀圖像中 某個位置的像素灰度值進行比較， 找出該位置上的像素最可能出現(xiàn)的灰度值( 或 者說過去一段時間內(nèi)出現(xiàn)頻率最高的灰度值)來對背景進行估計。 背景的初始化算法如下: 1 .采集n幀 連 續(xù)圖 像， 計 算圖 像 上 某 位 置 (x ， y) 的 所 有 像素的 灰 度值的 均 值 p(x， y ) ， 并 計 算 該 位置 上 所 有象 素 和p 的 差 值的 均值6 (x ， y) 。 藝 關(guān) ( x ， ， ) “ (x， 力 = 型 萬 了 一 口 ( x ， 夕 ) = 習關(guān) (x ，力 一 川 n ( 4 . 7 ) 2. 用每 一幀圖 像上該 位置的 像 素灰 度值 和p (x ， 刃 進 行比 較， 剔除 掉 像素 灰 度值差。 (x ， y) 大的 像素， 把 保留 下來的 像素 再 次 計 算 均 值協(xié) 和6 值。 3 .若剩下的像素的數(shù)量多于一定的比例 n % ( 比如40%) ，則對剩下的像素 重復(fù)步驟 1 2 ，直到剩下的像素數(shù)量比例低于 n %。用以 近似該位置的像素出 現(xiàn)頻率最高的灰度值。 4. 用最后得到的 均值p(x， y ) 構(gòu) 建背景圖 像。 第4 章 車輛目標在視頻中的檢測及跟蹤 4. 2基于卡爾曼濾波器的機動車跟蹤方法 目 標跟蹤一般有以 下幾個步驟: 1) 視頻序列中檢測到新的 運動目 標及運動區(qū)域; 2) 對檢測到的目 標提取特征并建立目 標匹配模板; 3) 確定目 標在下一幀中的搜索范圍; 4) 在確定的搜索范圍內(nèi)， 尋找最佳的匹配位置， 如果在確定的范圍內(nèi) 未找到 目 標時需要進行例外處理; 5) 利用匹配到的目 標圖 像， 更新被跟蹤目 標的 模板數(shù)據(jù)。 按照以上步驟反復(fù)進行，就可以完成對目 標的跟蹤。 本文的目的是為了 檢測出經(jīng)過視頻監(jiān)控區(qū)域的目 標車輛的速度，就要在上 一節(jié)對目 標車輛進行精確檢測的結(jié)果的基礎(chǔ)上，實現(xiàn)對該目 標跟蹤以記錄車輛 的行駛軌跡，通過車輛的行駛軌跡和幀圖像之間的時間間隔以及圖像定位技術(shù)， 得到該車輛在實際道路平面上的行駛速度，為交通監(jiān)控部門提供必要的特定車 輛目 標的速度信息。本節(jié)將提出一種基于卡爾曼濾波的車輛目 標跟蹤方法。 4. 2. 1卡爾曼濾波器模型簡介 卡爾曼濾波122 刀 泌 解 ，45 是由“ 消息過程” 、 “ 測量過程” 和 “ 濾波過程” 組成 的，是一套線性無偏最小均方誤差的遞推公式?？梢宰C明，在一定條件下，在 最小均方誤差準則下得到的最佳線性系統(tǒng)是所有系統(tǒng)中的最佳者。 . 消息模型 ( 狀態(tài)轉(zhuǎn)移方程)就是對連續(xù)信號的采樣 乓“ 人 一 x*-. + 凡 _ . 八一( 4. 11) 式中凡為n 維向 量， 八為r 維 隨 機動 態(tài)噪 聲 . 量測模型就是測量機構(gòu)的輸出和相應(yīng)的狀態(tài)變量的關(guān)系 兒= q乓+ 叭( 4. 12) 式中兒， 叭都 是m 維 向 量 ， 叭是 測 量 帶 來 的 噪 聲 。 . 濾波模型，即進一步預(yù)測，就是要尋找x的線性估計式 第4 章 車輛目 標在視頻中的檢測及跟蹤 凡= 藝 凡 為 + dk ( 4 . 1 3 ) 式中峨為n 維 的 常 值向 量。 通過上面三個模型可以 求得