一種城市環(huán)境中縮影交通燈光檢測(cè)與識(shí)別

一種城市環(huán)境中縮影交通燈光檢測(cè)與識(shí)別

近年來(lái)，智能車輛環(huán)境的感知研究引起了人們的關(guān)注，交通信號(hào)的識(shí)別是其研究的重要方向之一。國(guó)內(nèi)外許多研究者已提出了一些檢測(cè)和識(shí)別交通信號(hào)燈算法。Yung等在視頻序列中檢測(cè)紅色、黃色和綠色交通信號(hào)燈,且假定相機(jī)固定在車輛頂部正中間。由于該算法要求交通信號(hào)燈區(qū)域的顏色清晰,因此能夠檢測(cè)到交通燈的距離較近。Chung等需預(yù)先估計(jì)交通信號(hào)燈的背景圖像及光照的平均時(shí)間,用形態(tài)學(xué)方法的模糊算法來(lái)檢測(cè)交通信號(hào)燈的候選區(qū)域。由于它需要估計(jì)背景圖像,因此不適用于移動(dòng)的智能車輛。文獻(xiàn)中的情況與文獻(xiàn)類似,也不太適合智能車輛感知環(huán)境的需要,此外,交通信號(hào)燈的識(shí)別特征采用仿射不變矩,計(jì)算成本比較高。Hwang等用6個(gè)顏色閾值來(lái)分割輸入圖像,得到候選區(qū)域。然而,它無(wú)法區(qū)分紅色和黃色交通信號(hào)燈,適應(yīng)性不強(qiáng)。Masako等采用邊緣圖像檢測(cè)交通信號(hào)燈,由于邊緣圖像中包含大量類似交通信號(hào)燈的圓形區(qū)域,算法的誤檢率較高。Shen等根據(jù)高斯分布構(gòu)建了色調(diào)和飽和度的模型,并用樣本訓(xùn)練參數(shù);用參數(shù)和形狀信息來(lái)提取并判定測(cè)試圖像中的交通信號(hào)燈候選區(qū)域。但該方法需要對(duì)圖像進(jìn)行模型化,需大量的矩陣運(yùn)算,計(jì)算復(fù)雜度高。Gong等采用HSV顏色空間的統(tǒng)計(jì)結(jié)果獲取分割閾值,對(duì)圖像進(jìn)行分割,用基于CAMSHIFT算法對(duì)交通信號(hào)燈進(jìn)行跟蹤。但該方法難以在較復(fù)雜環(huán)境中檢測(cè)和識(shí)別交通信號(hào)燈。Charette等采用聚光燈檢測(cè)和模板匹配的方法來(lái)識(shí)別交通信號(hào)燈,雖然識(shí)別較為準(zhǔn)確,但是預(yù)處理階段需要進(jìn)行多次卷積運(yùn)算,時(shí)間復(fù)雜度高。Levinson等利用GPS數(shù)據(jù)信息及先驗(yàn)的交通信號(hào)燈的位置,然后在線地檢測(cè)交通信號(hào)燈。這種方式需要大量的先驗(yàn)信息作為支撐,對(duì)系統(tǒng)構(gòu)建的要求非常高。谷明琴等研究了圓形交通信號(hào)燈的檢測(cè)和識(shí)別算法,未對(duì)箭頭型交通信號(hào)燈加以研究。Cai則研究了箭頭型交通信號(hào)燈識(shí)別算法。箭頭型交通信號(hào)燈是城市環(huán)境中常見(jiàn)的信號(hào)燈類型,能為行駛的車輛提供有用的十字路口環(huán)境信息,而上述算法主要是檢測(cè)和識(shí)別圓形交通信號(hào)燈,很少涉及箭頭型交通信號(hào)燈。針對(duì)該問(wèn)題,本文作者提出了一種檢測(cè)和識(shí)別城市環(huán)境中箭頭型交通信號(hào)燈的新方法。1出交通混凝土的背景及出交通混凝土圖1所示為一些城市環(huán)境中較為常見(jiàn)的交通信號(hào)燈樣例,從圖1可以看出交通信號(hào)燈的背景比較復(fù)雜(交通標(biāo)志,建筑物等),此外,由于光照,天氣條件及交通信號(hào)燈自身的發(fā)光性,檢測(cè)和識(shí)別交通信號(hào)燈較為困難。為此,本研究提出了如圖2所示框架來(lái)識(shí)別城市環(huán)境中的交通信號(hào)燈。1.1交通信號(hào)的選擇令v(x,y)=[vR,vG,vB]是RGB空間中的每個(gè)像素的顏色值,(x,y)是像素坐標(biāo)。由下面2種方法來(lái)分割圖像中的黑色區(qū)域:其中:T1=50和T2=20是分割閾值。則圖像中的黑色區(qū)域可由二值圖像Bin1(x,y)和Bin2(x,y)的并組成。用結(jié)構(gòu)元素相同的腐蝕和膨脹形態(tài)學(xué)操作對(duì)Bin(x,y)進(jìn)行處理,以消除噪聲和斷裂區(qū)域。對(duì)Bin(x,y)中像素個(gè)數(shù)大于300且小于3000的連通區(qū)域進(jìn)行標(biāo)記,作為交通信號(hào)燈的候選區(qū)域。假設(shè)Bin(x,y)有Nr個(gè)候選區(qū)域,記為Ri,i=1,…,Nr。令Ri(height)和Ri(width)是候選區(qū)域Ri的高和寬,則區(qū)域的寬高比Ri(Rwh)定義如下:令Ri(Saturation)表示區(qū)域Ri的凹形度,有其中:Ri(Area)和Ri(ConvexArea)分別是區(qū)域Ri中的像素個(gè)數(shù)及其最小凸包中的像素個(gè)數(shù)。對(duì)候選區(qū)域Ri,由以下的形態(tài)濾波方法對(duì)其進(jìn)行過(guò)濾:其中:TBwh,TUwh和TStrt是其對(duì)應(yīng)的閾值,這里分別取2,4,0.6。經(jīng)過(guò)形態(tài)濾波后,去除了不滿足燈板形態(tài)的區(qū)域,如圖3所示,二值圖像中僅保留了符合燈板形態(tài)的候選區(qū)域。1.2紅色和黃明確、綠通、nh,rj是交通信號(hào)較好的一個(gè)前提從輸入的原始圖像中剪切出候選燈板區(qū)域Ri的彩色圖像并轉(zhuǎn)換到Y(jié)CbCr顏色空間中。假設(shè)p(x,y)=[pY,pCb,pCr]是YCbCr空間中的每個(gè)像素的顏色值,(x,y)是其小圖像的坐標(biāo)。由于紅色和黃色交通信號(hào)燈難以僅用顏色信息將其分開(kāi),在YCbCr空間中,用閾值Tred對(duì)Cb通道進(jìn)行閾值分割:由于燈板中的紅色和黃色的交通信號(hào)燈所處的位置不同(紅色信號(hào)燈在燈板的上1/3處,黃色信號(hào)燈在燈板的中1/3處),則可以用交通信號(hào)燈與燈板的相對(duì)位置來(lái)區(qū)分紅色和黃色交通信號(hào)燈。標(biāo)記二值圖像BRed(x,y)中像素個(gè)數(shù)大于50且小于1000的連通區(qū)域,記為Rj,j=1,…,Ns,Ns是候選區(qū)域的個(gè)數(shù)。假設(shè)候選區(qū)域Rj的外接矩形框?yàn)镽etcj={Rx,Ry,Rwidth,Rheight},如果Rj的寬高比Rj(Rwh)及與燈板Ri的相對(duì)位置滿足:那么Rj是一個(gè)交通信號(hào)燈候選區(qū)域。其中,如果候選區(qū)域Rj的左上角坐標(biāo)(Rx,Ry)滿足Ry<Ri(height)/3,那么Rj是一個(gè)紅色交通信號(hào)燈候選區(qū)域。否則,如果Rj的坐標(biāo)(Rx,Ry)滿足:則Rj是一個(gè)黃色交通信號(hào)燈候選區(qū)域,否則,Rj為非交通信號(hào)燈,并從候選區(qū)域列表中移除。為了檢測(cè)綠色交通信號(hào)燈,用閾值Tgreen對(duì)Cr通道進(jìn)行分割,得到二值圖像:用標(biāo)記BRed(x,y)候選區(qū)域相同的方法對(duì)Bgreen(x,y)進(jìn)行處理,記候選區(qū)域?yàn)镽j,j=1,…,Ns,Ns是其個(gè)數(shù)。如果候選區(qū)域Rj的外接矩形框Retcj={Rx,Ry,Rwidth,Rheight}滿足公式(10),且Rj的左上角坐標(biāo)(SRx,Ry)滿足Ry>2Ri(width)/3,那么Rj是綠色交通信號(hào)燈候選區(qū)域。圖3(d)顯示了檢測(cè)到的交通信號(hào)燈候選區(qū)域結(jié)果。從燈板圖像中剪切候選區(qū)域Rj的彩色圖像,并灰度化,歸一化為30×30的圖像大小,記為I(x,y),送入識(shí)別過(guò)程進(jìn)行分類。2交通信號(hào)的方向一致性分析為了對(duì)交通信號(hào)燈候選圖像進(jìn)行分類,用二維的Gabor小波變換及二維獨(dú)立分量分析來(lái)表示圖像和降低分類特征的冗余性,最近鄰分類器來(lái)判定交通信號(hào)燈的方向。2.1ga治理濾波圖u對(duì)檢測(cè)到的候選區(qū)域灰度圖像I(x,y),可以用文獻(xiàn)定義的Gabor函數(shù)ψu(yù),v(x,y)與圖像I(x,y)的卷積作為Gabor濾波后的圖像,即:*表示卷積操作。將幅值圖像Gu,v(x,y),u={0,1,…,5},v={0,1,…,5}隔2個(gè)像素點(diǎn)采樣,連接成為一個(gè)列向量χ,作為圖像的特征。2.2獨(dú)立二維分析的特點(diǎn)獨(dú)立分量分析能降低特征的冗余度,提高特征之間的獨(dú)立性,二維獨(dú)立分量分析是其改進(jìn)方法,能大量減少特征的冗余性及相關(guān)性。2.2.1基于回歸模型的向量wi假設(shè)交通信號(hào)燈的模板庫(kù)特征為χ={χi,i∈1,2,…,L},χi∈Rnuf0b4n,L為其模板個(gè)數(shù),其協(xié)方差矩陣為:其中:為訓(xùn)練樣本圖像的平均特征。對(duì)∑進(jìn)行特征值分解,滿足∑=UΛUT,Λ=diag(λ1,λ2,…,λn),滿足λj≥λj+1,U為特征向量組成的正交陣。取r=10個(gè)最大特征值Λr=diag(λ1,…,λr)及其對(duì)應(yīng)的特征向量Ur=[u1,u2,…,ur],構(gòu)造白化矩陣Q(28)Λr-1/2UrT。為了降低模板特征χi的冗余度,需求取優(yōu)化映射矩陣S=(s1,s2,…,sr)T。令z=Q∑T,有其中:W是分離矩陣。為了得到矩陣W,令W={w1,…,wr}T,向量wi的更新步驟如下:(1)隨機(jī)選擇一個(gè)初始向量wi(L)。(2)令wi(N)=E{zg(wiT(L)z)}-E{zg′(wiT(L)z)}wi(L)。(5)如果||wiT(N)wi(L)|-1+>0.001,則返回步驟(2),否則到步驟(6)。(6)更新結(jié)束,令wi=wi(N)。其中:wi(L)和wi(N)分別是上一次和本次更新的向量,g=tanh(a1u),g′=1-(tanh(a1u))2,g′(u)是g(u)的一階導(dǎo)數(shù),取a1=1。2.2.2提取特征向量矩陣對(duì)于圖像特征χi=(χi1,χi2,…,χin),用優(yōu)化特征向量矩陣S={s1,…,sr}來(lái)提取其特征:映射特征向量Y1,…,Yr即為樣本特征χi的獨(dú)立主分量。樣本χi的特征矩陣可以降為n×r矩陣B=(Y1,Y2,…,Yr)。2.3訓(xùn)練樣本ni城市中交通信號(hào)燈的類別ci(i=1,2,…,9)有9種,分別是紅色(禁止左轉(zhuǎn),禁止右轉(zhuǎn),禁止直行),綠色(左轉(zhuǎn),右轉(zhuǎn),直行),黃色(左轉(zhuǎn)警告,右轉(zhuǎn)警告,直行警告)。每類均有Ni=200個(gè)訓(xùn)練樣本Bj(i)=[Y1(i),Y2(i),…,Yr(i)],(j=1,2,…,Ni),而是訓(xùn)練樣本的總個(gè)數(shù)。已檢測(cè)到的交通信號(hào)燈候選區(qū)域的特征為B,由式(17)度量交通信號(hào)燈與樣本庫(kù)特征間的相似性:其中:||·||2為2個(gè)向量間的歐式距離。令其中:T為相似性閾值。3實(shí)驗(yàn)分析3.1工業(yè)社會(huì)模式分析為了測(cè)試交通信號(hào)燈識(shí)別系統(tǒng)的性能,用配備工業(yè)相機(jī)的智能車在十字路口采集25段有交通信號(hào)燈的視頻,幀率為25幀/s,分辨率為1392×1040,時(shí)長(zhǎng)為16s。3.2交通信號(hào)檢測(cè)結(jié)果圖4所示為本研究算法的檢測(cè)和識(shí)別結(jié)果,圖4(a)~(d)為一段在4個(gè)交通信號(hào)燈路口采集的視頻序列的第1,172,210,701幀的實(shí)驗(yàn)結(jié)果,圖4(e)~(h)則為有2個(gè)交通信號(hào)燈的視頻序列第1,95,110,608幀圖像的識(shí)別結(jié)果。交通信號(hào)燈的檢測(cè)結(jié)果用紅色矩形在圖中框出,識(shí)別結(jié)果則顯示在矩形框的左側(cè)。為了清楚起見(jiàn),把交通信號(hào)燈區(qū)域的檢測(cè)和識(shí)別結(jié)果放大顯示在每幅圖的下方。實(shí)驗(yàn)結(jié)果表明本研究算法能有效的檢測(cè)出紅色、黃色、綠色交通信號(hào)燈及其箭頭方向信息。表1列出了不同天氣和光照條件下交通信號(hào)燈的檢測(cè)和識(shí)別效果,從表1可以看出:系統(tǒng)的檢測(cè)和識(shí)別率均在95%以上,而總體識(shí)別率(檢測(cè)率和識(shí)別率的乘積)超過(guò)了91%。交通信號(hào)燈識(shí)別失敗的主要原因是背景較為復(fù)雜,圖像曝光過(guò)度或者曝光不足等。3.3監(jiān)控存儲(chǔ)：zpertiumr內(nèi)核監(jiān)控交通信號(hào)燈的識(shí)別系統(tǒng)用VC++.NET編寫(xiě),測(cè)試環(huán)境為2.5GHzPentium(R)雙核CPU,3GB內(nèi)存。表2列出了交通信號(hào)燈識(shí)別過(guò)程的平均計(jì)算時(shí)間,單幅圖像的處理時(shí)間為152ms,即可達(dá)到6.57幀/s的識(shí)別速度,滿足了交通信號(hào)燈進(jìn)行實(shí)時(shí)識(shí)別的要求。4交通燈光檢測(cè)(1)從輸入圖像中分割出黑色區(qū)域,并根據(jù)交通信號(hào)燈的燈板形態(tài)特征,過(guò)濾明顯不符合的區(qū)域,以定位交通信號(hào)燈的黑色燈板區(qū)域。(2)從原圖中剪切出黑色燈板區(qū)域,并轉(zhuǎn)換到Y(jié)CbCr空間,以交通信號(hào)燈的顏色:對(duì)其進(jìn)行分割,根據(jù)交通信號(hào)燈