《計算機(jī)視覺》 課件 8、三維視覺重建

計算機(jī)視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機(jī)械工業(yè)出版社8、三維視覺重建三維重建介紹多視幾何基于立體視覺的三維重建其他三維信息獲取技術(shù)3三維重建1.數(shù)據(jù)采集與獲取2.圖像預(yù)處理3.攝像機(jī)標(biāo)定4.特征匹配與配準(zhǔn)5.深度估計與點(diǎn)云生成6.點(diǎn)云處理與拓?fù)潢P(guān)系表面重建于紋理映射優(yōu)化與精細(xì)調(diào)整

目的與任務(wù)4三維重建1.文化遺產(chǎn)保護(hù)2.建筑設(shè)計與城市規(guī)劃3.醫(yī)學(xué)影像與手術(shù)規(guī)劃4.虛擬現(xiàn)實(shí)與娛樂5.工業(yè)制造與維護(hù)

應(yīng)用鄰域8、三維視覺重建三維重建介紹多視幾何基于立體視覺的三維重建其他三維信息獲取技術(shù)

多視幾何極幾何關(guān)系根據(jù)投影關(guān)系，可以得到三維點(diǎn)在兩幅圖像上對應(yīng)的像素位置令，，有整理化簡后有重新代入，有其中表示基礎(chǔ)矩陣，為本質(zhì)矩陣多視幾何基礎(chǔ)矩陣估計由基礎(chǔ)矩陣的推導(dǎo)過程可以知道，一對對應(yīng)點(diǎn)可以提供一個關(guān)于基礎(chǔ)矩陣的約束方程。設(shè)一組對應(yīng)點(diǎn)和，齊次坐標(biāo)分別為和，由此可以得到多視幾何基礎(chǔ)矩陣估計整理后可寫為即多視幾何基礎(chǔ)矩陣估計

秩2約束基礎(chǔ)矩陣F的秩為2，這是基礎(chǔ)矩陣的一個重要性質(zhì)。如果用一個秩不為2的矩陣作為基礎(chǔ)矩陣，則用它估計的極線不交于極點(diǎn)。然而，利用上式所確定的基礎(chǔ)矩陣F一般是滿秩的，因此必須用一個秩為2的矩陣去逼近基礎(chǔ)矩陣作為其估計，即，求解下述最小化問題并對矩陣F進(jìn)行奇異值分解得到多視幾何8、三維視覺重建三維重建介紹多視幾何基于立體視覺的三維重建其他三維信息獲取技術(shù)12基于立體視覺的三維重建基于兩視角的SFM方法：通過在不同位置拍攝的兩幅圖像來恢復(fù)攝像機(jī)的運(yùn)動以及場景的三維結(jié)構(gòu)攝像機(jī)內(nèi)參數(shù)標(biāo)定尋找圖像間的對應(yīng)點(diǎn)計算基礎(chǔ)矩陣

通過基礎(chǔ)矩陣估計攝像機(jī)的運(yùn)動參數(shù)

獲得三維點(diǎn)坐標(biāo)

基于StructurefromMotion的三維重建基于StructurefromMotion的三維重建得到基礎(chǔ)矩陣后，可以由攝像機(jī)內(nèi)參數(shù)矩陣得到本質(zhì)矩陣，并根據(jù)SVD分解可以得到以下結(jié)果由分解結(jié)果可以發(fā)現(xiàn)，對于任意一個本質(zhì)矩陣，存在4個可能的旋轉(zhuǎn)和平移運(yùn)動的組合，分別為其中，

基于StructurefromMotion的三維重建四種結(jié)果可寫為，分別對應(yīng)如下基于StructurefromMotion的三維重建根據(jù)得到的攝像機(jī)位姿和內(nèi)參數(shù)矩陣確定投影矩陣根據(jù)空間點(diǎn)在兩幅圖像下的圖像點(diǎn)和可以得到其中為圖像點(diǎn)對應(yīng)的投影矩陣。通過SVD方法求解該方程組得到三維點(diǎn)坐標(biāo)基于StructurefromMotion的三維重建多視角的運(yùn)動視覺多視角的運(yùn)動視覺通過每次添加一幅圖像，依次使用多幅圖像進(jìn)行三維重建。也可以通過融合三維重建結(jié)果進(jìn)行多視角下的三維重建捆綁調(diào)整計算出投影矩陣和重建結(jié)果后，通過投影矩陣將重建投影到圖像平面上，通過最小化投影點(diǎn)和實(shí)際圖像點(diǎn)之間的距離，來優(yōu)化投影矩陣和重建結(jié)果基于多目立體視覺MVS的三維重建視差與深度：計算機(jī)雙目視覺就是通過兩個攝像機(jī)獲得圖像信息，計算出視差，從而使計算機(jī)能夠感知到三維世界。設(shè)和分別為和在對應(yīng)像平面坐標(biāo)系下的水平方向的坐標(biāo)，那么三維點(diǎn)在左右攝像機(jī)的視差可以定義為

基于多目立體視覺MVS的三維重建兩個成像點(diǎn)和之間的距離為根據(jù)相似三角形理論可以得到整理后可以得到深度與視差的關(guān)系

基于多目立體視覺MVS的三維重建2.極線矯正：對左右圖像進(jìn)行極線校正，使得兩幅圖像的光心位于同一水平方向上。首先定義新的攝像機(jī)坐標(biāo)系：軸基向量為，軸為與軸正交的任意單位向量。軸基向量即可使用右手法則得到。第二步重新計算新的內(nèi)參數(shù)矩陣第三步為矯正過程，即計算變換矩陣

，將原圖像上的像素變換到校正以后的新圖像上的像素。

基于多目立體視覺MVS的三維重建極線矯正示例

基于多目立體視覺MVS的三維重建立體匹配：指在經(jīng)過極線校正后的左右圖像中尋找對應(yīng)點(diǎn)的過程。圖像預(yù)處理：由于光照不一致、噪聲、鏡面反射、遮擋等影響會造成對應(yīng)點(diǎn)搜索失敗。匹配代價計算：對左視圖中的像素，計算其與右視圖中可能的匹配像素之間的匹配代價，用來表征兩個像素點(diǎn)的匹配程度。代價聚合：建立鄰接像素之間的聯(lián)系，以一定的準(zhǔn)則，來對代價矩陣進(jìn)行全局優(yōu)化。視差計算：通過代價聚合之后的代價立方體來確定每個像素的最優(yōu)視差值，通常使用贏家通吃算法來計算，即某個像素的所有視差下的代價值中，選擇最小代價值所對應(yīng)的視差作為最優(yōu)視差。視差優(yōu)化：對上一步得到的視差圖進(jìn)一步優(yōu)化，改善視差圖的質(zhì)量，包括剔除錯誤視差、適當(dāng)平滑以及亞像素精度優(yōu)化等步驟。

基于多目立體視覺MVS的三維重建多視角點(diǎn)云融合配準(zhǔn)：為了消除不同視角之間的誤差和偏差，獲得完整和準(zhǔn)確的三維物體結(jié)構(gòu)，需要將不同視角的點(diǎn)云進(jìn)行融合配準(zhǔn)。一般采用迭代最近鄰算法（IterativeClosestPoint，ICP）。即需要找到源點(diǎn)云與目標(biāo)點(diǎn)云之間的剛體變換和，然后將源點(diǎn)云經(jīng)過剛體變換后能夠與目標(biāo)點(diǎn)云盡可能地完全重合。那么這個問題的數(shù)學(xué)描述形式為：上式是一個最小二乘問題，對其進(jìn)行整理變換后，即可利用SVD方法求解得到最優(yōu)的和

MVSNet:DepthInferenceforUnstructuredMulti-viewStereo，ECCV2018基于深度學(xué)習(xí)MVSNet的三維重建MVSNet:DepthInferenceforUnstructuredMulti-viewStereo，ECCV2018基于深度學(xué)習(xí)的多視三維建模單應(yīng)矩陣MVSNet:DepthInferenceforUnstructuredMulti-viewStereo，ECCV2018基于深度學(xué)習(xí)的多視三維建模DTU數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果MVSNet:DepthInferenceforUnstructuredMulti-viewStereo，ECCV2018基于深度學(xué)習(xí)的多視三維建模DTU數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果8、三維視覺重建三維重建介紹多視幾何基于立體視覺的三維重建其他三維信息獲取技術(shù)其他三維重建技術(shù)結(jié)構(gòu)光：主動傳感器直接獲取深度圖的方法由一個相機(jī)和一個投影儀組成：由投影儀向物體表面投射已知模式的結(jié)構(gòu)光圖案，處于不同角度的相機(jī)同步捕捉經(jīng)過物體表面調(diào)制后的結(jié)構(gòu)光圖案，然后對捕獲的模式圖像進(jìn)行解碼，與投射模式特征量匹配，找出各個對應(yīng)點(diǎn)。兩個相機(jī)和一個投影儀組成，稱之為雙目結(jié)構(gòu)光三維重建系統(tǒng)：通過分析投影到物體表面的結(jié)構(gòu)光圖案在兩個不同視角下的圖像，利用立體視覺重建方法來重建物體的三維形狀

其他三維重建技術(shù)相移法結(jié)構(gòu)光系統(tǒng)投射N步相移條紋來主動標(biāo)記區(qū)域。假設(shè)N步相移生成第k幅條紋圖案的相移公式：那么由四步相移的相位位移可以得到像素的相位值并通過階次計算出絕對相位，進(jìn)而確定深度值。

實(shí)驗(yàn)結(jié)果其他三維重建技術(shù)2.激光掃描儀：利用激光束照射目標(biāo)物表面，通過測量激光反射或回波的時間、相位等信息，計算目標(biāo)物表面點(diǎn)到掃描儀的距離，從而可以獲取目標(biāo)物表面的三維坐標(biāo)信息，形成點(diǎn)云數(shù)據(jù)。主要工作過程：1、激光發(fā)射與照射2、激光反射與檢測3、數(shù)據(jù)處理與點(diǎn)云生成應(yīng)用領(lǐng)域：1、地理測繪和城市規(guī)劃2、文化遺產(chǎn)保護(hù)3、工業(yè)制造

其他三維重建技術(shù)光度立體重建：依賴于物體表面的光照變化來推斷其幾何信息及反射性質(zhì)，用于從不同照明條件下以相同視點(diǎn)獲得的多幅圖像中重建物體的三維形狀。三個假設(shè)：1.相機(jī)的投影是正交投影，則圖像的像素