《計(jì)算機(jī)視覺》 課件 9、運(yùn)動(dòng)分析

計(jì)算機(jī)視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機(jī)械工業(yè)出版社9、運(yùn)動(dòng)分析運(yùn)動(dòng)分析簡(jiǎn)介時(shí)間差分法(Temporaldifference)背景減除法(Backgroundsubtraction)光流法（Opticalflow）運(yùn)動(dòng)分析簡(jiǎn)介運(yùn)動(dòng)分析是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向，廣泛應(yīng)用于：高級(jí)人機(jī)交互智能監(jiān)控視頻會(huì)議醫(yī)療診斷基于內(nèi)容的圖像存儲(chǔ)與檢索目前已經(jīng)開展了大量相關(guān)的研究,當(dāng)前國(guó)際上一些權(quán)威期刊如IJCV、CVIU、PAMI和主流會(huì)議CVPR、ICCV、ECCV、ACCV等均將運(yùn)動(dòng)分析作為其中的主題內(nèi)容。運(yùn)動(dòng)分析簡(jiǎn)介運(yùn)動(dòng)分析主要包括運(yùn)動(dòng)目標(biāo)的檢測(cè)、跟蹤、分類及行為理解幾個(gè)過程。運(yùn)動(dòng)目標(biāo)檢測(cè)是從序列圖像中將運(yùn)動(dòng)變化區(qū)域從背景圖像中分割提取出來。在計(jì)算機(jī)視覺、智能視頻監(jiān)控領(lǐng)域，視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，將對(duì)運(yùn)動(dòng)目標(biāo)分類、跟蹤及行為理解等后續(xù)處理產(chǎn)生重要影響。目標(biāo)檢測(cè)目標(biāo)跟蹤語義描述行為理解目標(biāo)分類攝像機(jī)低層視覺處理中層視覺處理高層視覺處理運(yùn)動(dòng)分析問題的分類按不同標(biāo)準(zhǔn)將運(yùn)動(dòng)分析方法分類：（1）攝像機(jī)數(shù)目：?jiǎn)螖z像機(jī)、多攝像機(jī)（2）攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止、攝像機(jī)運(yùn)動(dòng)（3）場(chǎng)景中運(yùn)動(dòng)目標(biāo)數(shù)目：?jiǎn)文繕?biāo)、多目標(biāo)（4）場(chǎng)景中運(yùn)動(dòng)目標(biāo)類型：剛體、非剛體估計(jì)運(yùn)動(dòng)前后相鄰時(shí)刻兩幅圖像上對(duì)應(yīng)點(diǎn)坐標(biāo)之間的差值，即運(yùn)動(dòng)矢量。特征對(duì)應(yīng)：運(yùn)動(dòng)物體上的特征與其在二維圖像平面上的投影坐標(biāo)的對(duì)應(yīng)關(guān)系OYXZyxP(X,Y,Z)P’(X,Y,Z)p(x,y)p’(x,y)(Δx,Δy)(ΔX,ΔY,ΔZ)運(yùn)動(dòng)分析的基本問題觀察到的二維運(yùn)動(dòng)與真實(shí)的投影二維運(yùn)動(dòng)的不一致性運(yùn)動(dòng)分析的基本問題運(yùn)動(dòng)分析方法時(shí)間差分法(Temporaldifference)

通過比較相鄰幀圖像的差異實(shí)現(xiàn)場(chǎng)景變化檢測(cè)，對(duì)動(dòng)態(tài)環(huán)境有較強(qiáng)適應(yīng)性，但檢測(cè)精度不高，難獲得目標(biāo)精確描述。

背景減除法(Backgroundsubtraction)關(guān)鍵是背景建模，性能與監(jiān)控場(chǎng)景復(fù)雜情況和系統(tǒng)要求有關(guān)，典型算法有中值、自適應(yīng)模型、高斯模型、多模態(tài)均值等。光流法（Opticalflow）能提取目標(biāo)完整信息（包括運(yùn)動(dòng)信息），計(jì)算復(fù)雜度高，抗噪性能差。9、運(yùn)動(dòng)分析運(yùn)動(dòng)分析簡(jiǎn)介時(shí)間差分法(Temporaldifference)背景減除法(Backgroundsubtraction)光流法（Opticalflow）10時(shí)間差分法差圖象的計(jì)算 通過逐象素比較可直接求取前后兩幀圖象之 間的差別 差圖象不為零處表明該處的象素發(fā)生了移動(dòng) 算術(shù)運(yùn)算 邏輯運(yùn)算11時(shí)間差分法差圖象的計(jì)算 設(shè)在時(shí)刻ti

和tj

采集到兩幅圖象f(x,y,ti)和f(x,y,tj)，則據(jù)此可得到差圖象： 差圖象為1時(shí)：

f(x,y,ti)是一個(gè)運(yùn)動(dòng)目標(biāo)的象素灰度閾值時(shí)間差分法優(yōu)點(diǎn)：魯棒性好，運(yùn)算量小，易于實(shí)現(xiàn)缺點(diǎn)：對(duì)噪聲有一定的敏感性，運(yùn)動(dòng)實(shí)體內(nèi)部也容易產(chǎn)生空洞現(xiàn)象，閾值T缺乏自適應(yīng)性，當(dāng)光照變化時(shí)，檢測(cè)算法難以適應(yīng)環(huán)境變化

當(dāng)前幀

當(dāng)前幀的前一幀運(yùn)動(dòng)目標(biāo)13時(shí)間差分法累積差圖象的計(jì)算累積差圖象ADI（accumulativedifferenceimage）14時(shí)間差分法累積差圖象的計(jì)算ADI有三個(gè)功能：(1) ADI中相鄰象素值間的梯度關(guān)系可用來估計(jì) 目標(biāo)移動(dòng)的速度矢量，這里梯度的方向就是 速度的方向，梯度的大小與速度成正比(2) ADI中象素的個(gè)數(shù)（值）可幫助確定運(yùn)動(dòng)目 標(biāo)的尺寸和移動(dòng)的距離(3) ADI中包含了目標(biāo)運(yùn)動(dòng)的全部歷史資料，有 助于檢測(cè)慢運(yùn)動(dòng)和尺寸較小目標(biāo)的運(yùn)動(dòng)9、運(yùn)動(dòng)分析運(yùn)動(dòng)分析簡(jiǎn)介時(shí)間差分法(Temporaldifference)背景減除法(Backgroundsubtraction)光流法（Opticalflow）背景減除法均值模型O自適應(yīng)背景模型雙背景模型O單高斯混合高斯O紋理模型ViBe算法

OCodeBook算法

背景減除法流程圖輸入圖像預(yù)處理背景建模數(shù)據(jù)驗(yàn)證前景前景分割

均值模型背景平均值在前K幀圖像中，某像素點(diǎn)在超過一半的時(shí)間里呈現(xiàn)場(chǎng)景背景像素值。自適應(yīng)背景模型前一幀前一背景當(dāng)前背景α×+（1-α）×=α為自適應(yīng)參數(shù)，其取值直接影響背景的更新質(zhì)量α是任意選擇的適應(yīng)參數(shù)雙背景模型3×3的鄰里差分-其中：當(dāng)前幀k短期背景(前一幀k-1)BST長(zhǎng)期背景(均值模型)BLT單高斯模型假設(shè)每個(gè)像素的灰度在時(shí)間域上滿足正態(tài)分布:簡(jiǎn)單統(tǒng)計(jì)差分：?jiǎn)胃咚鼓Ｐ停夯旌细咚鼓Ｐ蜑榱嗣枋龇植夹问礁鼮閺?fù)雜的背景（特別是在有微小重復(fù)運(yùn)動(dòng)的場(chǎng)合，如搖動(dòng)的樹葉、灌木叢、旋轉(zhuǎn)的風(fēng)扇、海面波濤、雨雪天氣、光線反射等），有必要應(yīng)用到多模態(tài)的分布形式。Stauffer等用多個(gè)單高斯函數(shù)來描述場(chǎng)景背景，并且利用在線估計(jì)來更新模型，可靠地處理了光照緩慢變化、背景混亂運(yùn)動(dòng)（樹葉晃動(dòng)）等影響?；诩y理的背景模型LBP（LocalBinaryPattern）是描述圖像局部空間結(jié)構(gòu)的非參數(shù)紋理算子，在紋理分類中有較高區(qū)分力，對(duì)亮度改變不敏感，計(jì)算量小等優(yōu)點(diǎn)。初始LBP僅通過像素的8鄰域得到，為描述大尺度的紋理，Ojala等把其定義擴(kuò)展為具有不同半徑的圓形鄰域。LBP算子如下紋理背景模型背景模型由一組自適應(yīng)的LBP直方圖來描述，。模型的每個(gè)直方圖有個(gè)權(quán)重，且所有權(quán)重和為1。直方圖相似性度量是直方圖，N=ViBe

背景模型利用單幀圖像初始化背景模型，并為每個(gè)像素點(diǎn)設(shè)置背景樣本空間計(jì)算每個(gè)像素點(diǎn)與其鄰域內(nèi)像素點(diǎn)的顏色空間距離，如果這個(gè)距離小于預(yù)設(shè)的閾值，則認(rèn)為該像素點(diǎn)屬于背景，否則為前景采用無記憶更新策略，即每次確定需要更新像素點(diǎn)的背景模型時(shí)，都會(huì)隨機(jī)選擇一個(gè)新的像素值來替代原樣本集中的一個(gè)樣本CodeBook

背景模型對(duì)于圖像中的每個(gè)像素，算法會(huì)根據(jù)其在一段時(shí)間內(nèi)的顏色值創(chuàng)建一個(gè)或多個(gè)CodeWordsCodeBook定期更新，更新過程中增加新的CodeWords以適應(yīng)新的背景變化，并刪除不再頻繁出現(xiàn)的CodeWords在當(dāng)前幀中，對(duì)于每個(gè)像素，算法會(huì)檢查它是否與任何現(xiàn)有的CodeWord相匹配。如果找到匹配的CodeWord，則將該像素歸類為背景前景檢測(cè)當(dāng)前像素的直方圖與當(dāng)前的B個(gè)背景直方圖比較，計(jì)算其相似度。如果至少一個(gè)背景直方圖相似度高于閾值，這個(gè)像素為背景。否則為前景。背景減除法的問題關(guān)鍵在于背景模型的建立、保持、更新。主要存在三個(gè)問題：1）背景模型沒有充分利用圖像中相鄰像素點(diǎn)之間的相關(guān)性信息。運(yùn)動(dòng)前景中具有的漏檢與虛警區(qū)域，通常用形態(tài)學(xué)濾波和判斷連通區(qū)域大小的方法來消除孤立的小區(qū)域及合并相鄰的不連通前景區(qū)域。2）背景模型的更新速度不能和運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度很好地匹配。如果更新速度比監(jiān)控場(chǎng)景的變化速度慢，則容易產(chǎn)生虛影。相反，如果背景模型的更新速度太快，也容易出現(xiàn)運(yùn)動(dòng)目標(biāo)的漏檢。為改善檢測(cè)效果，可使用多個(gè)具有不同更新速度的背景模型，或多攝像機(jī)從不同角度對(duì)同一場(chǎng)景進(jìn)行監(jiān)控，有效利用深度信息。3）復(fù)雜場(chǎng)景中搖動(dòng)的樹葉與運(yùn)動(dòng)陰影也被檢測(cè)為運(yùn)動(dòng)前景。由搖動(dòng)樹葉所產(chǎn)生的運(yùn)動(dòng)前景混亂問題。消除陰影對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的干擾是非常困難的問題，特別是處理灰度序列圖像中的陰影。9、運(yùn)動(dòng)分析運(yùn)動(dòng)分析簡(jiǎn)介時(shí)間差分法(Temporaldifference)背景減除法(Backgroundsubtraction)光流法（Opticalflow）光流法光流法主要通過對(duì)序列圖像光流場(chǎng)的分析，計(jì)算出運(yùn)動(dòng)場(chǎng)后，對(duì)場(chǎng)景進(jìn)行分割，從而檢測(cè)出運(yùn)動(dòng)目標(biāo)。光流法的核心是求解出運(yùn)動(dòng)目標(biāo)的光流，即速度。傳統(tǒng)光流法的典型代表有Hom&Schunck算法和Lucas&Kanade算法。光流法根據(jù)視覺感知原理，客觀物體在空間上一般是相對(duì)連續(xù)運(yùn)動(dòng)，在運(yùn)動(dòng)過程中，投射到傳感器平面上的圖像實(shí)際上也是連續(xù)變化的，即灰度不變性假設(shè)。根據(jù)這一基本假設(shè)，可以得到光流基本方程。設(shè)(x，y)點(diǎn)在時(shí)刻t的灰度為I(x,y,t)，設(shè)光流w=(u，v)在該點(diǎn)的水平和垂直移動(dòng)分量u(x，y)和v(x，y):經(jīng)過dt后對(duì)應(yīng)點(diǎn)為I(x+dx,y+dy,t+dt)，當(dāng)，灰度I保持不變，得到I(x,y,t)=I(x+dx,y+dy,t+dt)。此式由Taylor展開，忽略二階無窮小，整理得到基本的光流約束方程:

表示灰度對(duì)時(shí)間的變化率等于灰度的空間梯度與光流速度的點(diǎn)積。從上式引入不同約束條件，產(chǎn)生不同的光流分析方法，例如Hom&schiinck(簡(jiǎn)稱HS)算法與Lucas&Kanade(簡(jiǎn)稱LK)算法。Horn&Schunck算法Horn與Schunck于1981年引入了全局平滑性約束，假設(shè)光流在整個(gè)圖像上光滑變化，即速度的變化率為零。從而光流w=(u,v)應(yīng)滿足：取值主要考慮圖中的噪聲情況。如果噪聲較強(qiáng)，說明數(shù)據(jù)置信度較低，需要更多地依賴光流約束，其取值較大;反之其取值較小。Horn,BertholdK.P.;Schunck,BrianG.DeterminingOpticalFlow[J].1981.

Lucas&Kanade算法(1)Lucas&Kanade于1981年引入了局部平滑性約束，即假設(shè)在一個(gè)小空間領(lǐng)域上運(yùn)動(dòng)矢量保持恒定，使用加權(quán)最小二乘法估計(jì)光流。在一個(gè)小的空間領(lǐng)域上，光流估計(jì)誤差定義為:W表示窗口權(quán)重函數(shù)，使鄰域中心區(qū)域?qū)s束產(chǎn)生的影響比外圍區(qū)域更大。上式最小化問題可通過最小二乘方法求解:

Luc