高動(dòng)態(tài)范圍視頻

1、高動(dòng)態(tài)范圍視頻SingBingKangMatthewUyttendaeleSimonWinderRichardSzeliskiInteractiveVisualMediaGroup,MicrosoftResearch,Redmond,WA圖1：駕駛場(chǎng)景的高動(dòng)態(tài)范圍視頻。第一行：輸入短視和長(zhǎng)視交替視頻。底行高動(dòng)態(tài)范圍視頻（色調(diào)貼圖）。.摘要使用現(xiàn)成的攝像機(jī)拍攝的典型視頻素材動(dòng)態(tài)范圍有限。本文介紹了我們根據(jù)捕獲的動(dòng)態(tài)場(chǎng)景的圖像序列生成高動(dòng)態(tài)范圍（HDR）視頻同時(shí)快速改變每幀的曝光度的方法。我們的方法由三部分組成：捕捉時(shí)的自動(dòng)曝光控制，相鄰幀之間的HDR拼接以及查看色調(diào)映射。HDR拼接需要準(zhǔn)確地記錄

2、相鄰幀并選擇合適的像素來(lái)計(jì)算輻射圖。我們展示了各種動(dòng)態(tài)場(chǎng)景的例子。我們還展示了如何從一系列括起來(lái)的靜態(tài)照片中創(chuàng)建HDR時(shí)補(bǔ)償場(chǎng)景和相機(jī)移動(dòng)。CR分類：1.3.3電腦圖像：圖片/圖像生成-顯示算法；1.4.1圖像處理和計(jì)算機(jī)視覺：增強(qiáng)-數(shù)字化和圖像捕獲。關(guān)鍵詞：圖像處理，視頻處理，高動(dòng)態(tài)范圍，色調(diào)映射。介紹真實(shí)世界的亮度變化比現(xiàn)在大多數(shù)攝像機(jī)可用的傳感器大得多。單個(gè)場(chǎng)景的光芒可能包含從陰影到全亮區(qū)域四個(gè)數(shù)量級(jí)。典型的CCD或CMOS傳感器僅捕獲大約256-1024個(gè)水平。（伽馬曲線中的非線性水平分配可以稍微改善這一點(diǎn)。）近年來(lái)，相機(jī)的動(dòng)態(tài)范圍有限，激發(fā)了許多解決方案。獲得完整輻射圖的一種方法是在

3、不同的曝光下拍攝多張圖像，并將這些圖像結(jié)合起來(lái)以創(chuàng)建場(chǎng)景的高動(dòng)態(tài)范圍（HDR）地圖MannandPicard1995;Debevec和Malik1997;Mitsunaga和Nayar1999;Tsin等人2001;曼恩等人。2002。由于這些技術(shù)需要多個(gè)輸入圖像，所以由于場(chǎng)景中的動(dòng)態(tài)元素或移動(dòng)（即手持）相機(jī)，輸入之間存在運(yùn)動(dòng)的可能性。Mitsunaga和Nayar1999通過(guò)擬合輸入的全局運(yùn)動(dòng)模型來(lái)解決這個(gè)問(wèn)題。曼恩等人。2002使用單應(yīng)性注冊(cè)不同曝光的幀，這可以補(bǔ)償較大的相機(jī)旋轉(zhuǎn)。Bogoni2000使用仿射運(yùn)動(dòng)，然后根據(jù)每像素流來(lái)記錄不同的曝光，但沒有給出幀配準(zhǔn)的細(xì)節(jié)。在相關(guān)的方法中，U

4、yttendaele等人2001使用基于塊的曝光調(diào)整技術(shù)去除圖像馬賽克中的曝光偽影。但是，他們不計(jì)算HDR圖像?？梢允褂枚鄠€(gè)圖像檢測(cè)器，新型傳感器（例如，NationalLM9628傳感器，IMS芯片HDRC傳感器，SiliconVision產(chǎn)品，SMaL相機(jī)，Pixim）或空間不同的像素曝光來(lái)重新移動(dòng)在不同時(shí)間拍攝的圖像。Mit-sunaga和Nayar2000。然而，我們?cè)诒疚闹械闹攸c(diǎn)是使用廣泛可用的常規(guī)（低動(dòng)態(tài)范圍）圖像傳感器和攝像機(jī)可以實(shí)現(xiàn)什么。圖2：制作HDR視頻的處理階段。一旦計(jì)算出高動(dòng)態(tài)范圍的圖像，就可以將其渲染為顯示。由于典型的顯示器只能產(chǎn)生約兩個(gè)數(shù)量級(jí)，因此必須在HDR圖像上

5、執(zhí)行對(duì)比度降低。最近，一些研究人員探索了這種色調(diào)映射問(wèn)題DurandandDorsey2002;Fattal等人2002;Reinhard等人2002。我們的工作解決了在展覽之間存在運(yùn)動(dòng)的情況下使用多次曝光生成HDR地圖的問(wèn)題。這使我們能夠生成HDR視頻序列以及運(yùn)動(dòng)場(chǎng)景的HDR靜態(tài)圖像。將我們的方法應(yīng)用于駕駛視頻的結(jié)果可以在圖1中看到。生成HDR視頻包括自動(dòng)確定捕捉期間的時(shí)間曝光包圍，相鄰圖像之間的運(yùn)動(dòng)補(bǔ)償信息以及觀看的色調(diào)映射（Fig-ure2）。這產(chǎn)生具有與可變曝光輸入序列相同的幀速率的HDR視頻。要生成HDR靜止圖像，我們使用類似的HDR拼接技術(shù)。我們的視頻采集解決方案不同于以前的工作，

6、因?yàn)樗捎昧藬z像頭中自動(dòng)增益機(jī)制的簡(jiǎn)單重新編程。這使我們能夠使用目前可用的廉價(jià)和高分辨率傳感器，這與新型傳感器設(shè)計(jì)尚未廣泛普及，并且可能因缺乏分辨率而不同。在第二部分中，我們提出了一種自動(dòng)增益算法，智能地改變幀與幀之間的曝光量，以捕捉場(chǎng)景輻射圖的不同部分。與空間變化的像素曝光方法MitsunagaandNayar2000相比，我們的方法可以被看作是沿著時(shí)間而不是空間維度的子采樣。采集過(guò)程之后是一個(gè)離線過(guò)程，運(yùn)動(dòng)補(bǔ)償捕獲的視頻，并在每個(gè)幀時(shí)間估算完整的輻射圖（第3節(jié)）。這種我們稱之為HDR拼接的操作可以在圖像之間建立密集的對(duì)應(yīng)關(guān)系，以便在不同的曝光條件下合并像素。在組合像素中，我們引入運(yùn)動(dòng)補(bǔ)償中

7、間結(jié)果之間的一致性檢查。這使得系統(tǒng)對(duì)流量估算中的誤差更加粗暴。在我們可以查看HDR視頻之前，必須先進(jìn)行色調(diào)映射。在逐幀的基礎(chǔ)上應(yīng)用現(xiàn)有算法之一是不夠的，因?yàn)檫@會(huì)導(dǎo)致映射中可見的時(shí)間不一致。為了彌補(bǔ)這一點(diǎn)，我們擴(kuò)展了現(xiàn)有的色調(diào)映射技術(shù)之一，使用來(lái)自時(shí)間相鄰幀的統(tǒng)計(jì)信息來(lái)處理HDR視頻，以產(chǎn)生時(shí)間上平滑變化的色調(diào)映射圖像（第4節(jié)）。實(shí)時(shí)曝光控制典型攝像機(jī)的自動(dòng)增益控制（AGC）測(cè)量場(chǎng)景的亮度并計(jì)算適當(dāng)?shù)钠毓狻４蠖鄶?shù)場(chǎng)景的動(dòng)態(tài)范圍比相機(jī)的每像素8位傳感器可以捕獲的動(dòng)態(tài)范圍更大。因此一些像素會(huì)飽和，有些像素會(huì)曝光不足。為了捕捉更大的動(dòng)態(tài)范圍，我們開發(fā)了一個(gè)系統(tǒng)，以每幀為基礎(chǔ)改變曝光設(shè)置?；舅枷胧窃诓?/p>

8、同的值之間順序排列設(shè)置，依次適當(dāng)?shù)乇┞秷?chǎng)景的黑暗和明亮區(qū)域。后處理步驟（第3部分）然后組合這些不同曝光的幀。圖3：來(lái)自駕駛視頻的兩次輸入曝光。頂部顯示輻射直方圖。紅色圖形與長(zhǎng)曝光幀（左下）一起使用，而綠色圖形與短曝光幀（右下）一起使用。請(qǐng)注意，這些圖形的組合跨越的輻射范圍大于單次曝光可捕獲的范圍。我們的系統(tǒng)與今天許多照相機(jī)中的自動(dòng)包圍系統(tǒng)類似。當(dāng)對(duì)場(chǎng)景進(jìn)行自動(dòng)包圍時(shí)，相機(jī)使用當(dāng)前測(cè)光模式確定正確的曝光，然后以原始曝光的固定倍數(shù)拍攝兩次以上的曝光，例如向上和向下兩次f-stop。我們米取類似的方法。但是，我們不是使用固定倍數(shù)，而是為當(dāng)前場(chǎng)景計(jì)算一組更理想的曝光。這允許動(dòng)態(tài)范圍擴(kuò)展，同時(shí)盡可能多地

9、在所有圖像中合理地曝光像素，從而促進(jìn)良好的運(yùn)動(dòng)分析。對(duì)于我們的實(shí)驗(yàn)，我們使用Pt每秒15幀的LadyBug火線相機(jī)?；疑芯坑幸粋€(gè)可編程控制單元。該固件升級(jí)有四個(gè)快門（CCD積分時(shí)間）和增益（ADC增益）寄存器。相機(jī)在每個(gè)幀時(shí)間通過(guò)庫(kù)存使用不同的寄存器組進(jìn)行循環(huán)。此外，攝像機(jī)使用當(dāng)前設(shè)置對(duì)每一幀進(jìn)行標(biāo)記，以便在輻射圖計(jì)算過(guò)程中使用這些設(shè)置。實(shí)時(shí)AGC算法（運(yùn)行在連接相機(jī)的PC上）確定下一組四種設(shè)置。在我們當(dāng)前的實(shí)施中，曝光設(shè)置在兩個(gè)不同的值之間交替，并且不斷更新以重新映射場(chǎng)景變化。根據(jù)在子米樣幀上計(jì)算的場(chǎng)景統(tǒng)計(jì)數(shù)據(jù)自動(dòng)確定適當(dāng)?shù)钠毓?。如果單個(gè)設(shè)置足以捕捉場(chǎng)景的強(qiáng)度，則曝光之間的比率可以從1變化

10、到用戶指定的最大值。在實(shí)踐中，我們發(fā)現(xiàn)最多16個(gè)可以產(chǎn)生良好的結(jié)果，因?yàn)檫@給出了4位的動(dòng)態(tài)范圍擴(kuò)展，同時(shí)仍允許在曝光之間進(jìn)行運(yùn)動(dòng)分析。圖3顯示了相機(jī)捕獲的連續(xù)幀以及它們?cè)谳椛淇臻g中的相應(yīng)直方圖。在這種情況下，曝光比率接近最大值16。HDR拼接由于米用時(shí)間變化的曝光拍攝幀，在任何給定時(shí)間生成HDR幀都需要從相鄰幀傳輸像素顏色信息。這反過(guò)來(lái)又要求跨不同幀的像素對(duì)應(yīng)性非常準(zhǔn)確。我們參考從相鄰幀傳輸色彩信息并將HDR圖像提取為HDR拼接的過(guò)程。源視頻包含交替的長(zhǎng)和短曝光幀。HDR拼接的第一步是在每一瞬間生成一個(gè)長(zhǎng)曝光幀和一個(gè)短曝光幀，以便可以從該對(duì)中計(jì)算輻射圖。這就要求我們使用變形過(guò)程（3.1節(jié)）合成

11、缺失的曝光，這需要高度精確的運(yùn)動(dòng)估計(jì)（3.2節(jié)和3.3節(jié)）。一旦內(nèi)插幀被合成，我們就從這些圖像中選擇性地混合像素來(lái)計(jì)算高動(dòng)態(tài)范圍輻射圖像（3.4節(jié)）。3.2幀插值的圖像變形我們的HDR拼接過(guò)程產(chǎn)生四個(gè)中間變形幀：從前一幀和下一幀（圖4中的SU-和SU+）單向變形的兩幀和通過(guò)直接比較前一幀和下一幀而計(jì)算出的兩個(gè)雙向變形幀SB-和SB+。在當(dāng)前幀和前一幀/下一幀之間存在良好對(duì)應(yīng)關(guān)系時(shí)使用單向扭曲的幀，而在當(dāng)前幀太暗或太飽和以致不能可靠地建立對(duì)應(yīng)關(guān)系的區(qū)域中使用雙向扭曲的圖像。在我們找到具有不同曝光的幀之間的像素對(duì)應(yīng)之前，我們首先用較短的曝光提高幀的強(qiáng)度。為了找到所需的強(qiáng)度增強(qiáng)量，我們使用相機(jī)響應(yīng)功

12、能將較短的曝光圖像轉(zhuǎn)換為輻射圖，然后使用逆向響應(yīng)轉(zhuǎn)換為具有較長(zhǎng)曝光的虛擬圖像。該虛擬圖像應(yīng)該與其所登記的較長(zhǎng)曝光圖像的像素值（模離散化和噪聲）相匹配。讓我們假設(shè)當(dāng)前幀L在長(zhǎng)曝光時(shí)被捕獲,并且在短曝光時(shí)捕獲鄰近幀S-和S+（圖4）。我們首先使用3.2節(jié)中描述的運(yùn)動(dòng)估計(jì)算法的單向版本來(lái)建立前一個(gè)/下一個(gè)圖像的增強(qiáng)版本與當(dāng)前幀（圖4的綠色部分）之間的密集像素對(duì)應(yīng)關(guān)系。（在相反的LSL情況下,首先增強(qiáng)中央幀。）然后將計(jì)算的流場(chǎng)直接應(yīng)用于前一幀和下一幀，以分別合成單向扭曲的前一圖像和下一個(gè)圖像SU-和SU+。計(jì)算雙向內(nèi)插幀的過(guò)程更復(fù)雜（圖4的黑色部分）。首先,如果有必要,我們會(huì)增加上一張或下一張圖片,以

13、防它們曝光不同。接下來(lái),我們使用下面描述的雙向運(yùn)動(dòng)估計(jì)算法（第3.2節(jié)）來(lái)匹配這兩個(gè)圖像。結(jié)果得到的（幀內(nèi)插的）圖像SB可用于計(jì)算當(dāng)前幀的飽和或黑暗區(qū)域中的輻射值。不幸的是，由于攝像機(jī)抖動(dòng)和物體移動(dòng)加速，SB與當(dāng)前幀L之間可能仍然存在一些記錄錯(cuò)誤。因此，我們?cè)诋?dāng)前幀中注冊(cè)了SB（即LB）的增強(qiáng)版本使用3.3節(jié)中描述的分層單應(yīng)算法，該算法在運(yùn)動(dòng)估計(jì)中更加保守。然后將產(chǎn)生的流場(chǎng)添加到原始流場(chǎng)以產(chǎn)生將應(yīng)用到相鄰幀的改進(jìn)流。我們將所得到的最終輸出稱為雙向扭曲（或內(nèi)插）圖像SB-和SB+。S+SBBS+SBBF圖4：HDR計(jì)算的圖像變形。該圖顯示序列為SLS的情況，但LSL的算法是相似的（S=短曝光圖像

14、，L=長(zhǎng)曝光圖像）。黑色雙線表示流量（運(yùn)動(dòng)）估計(jì)值，而較亮的單線表示計(jì)算圖像。B，F(xiàn)，H和W圓分別對(duì)應(yīng)于增強(qiáng)（強(qiáng)度補(bǔ)償），流動(dòng)估計(jì)，分層單應(yīng)矩陣和圖像變形。原始（捕獲）圖像以藍(lán)色顯示，單向插值圖像以綠色顯示，雙向插值圖像以黑色顯示。圖像標(biāo)簽的含義在文中給出。3.3運(yùn)動(dòng)估算我們的運(yùn)動(dòng)估計(jì)算法由兩個(gè)階段組成。首先，我們通過(guò)估計(jì)將一個(gè)映射到另一個(gè)上的仿射變換來(lái)全局記錄S-和S+。然后，我們使用基于梯度的光流計(jì)算密集運(yùn)動(dòng)場(chǎng)，形成對(duì)全局變換的局部校正。分別計(jì)算前一幀和下一幀之間的前向或后向流場(chǎng)，而不是在當(dāng)前幀時(shí)間計(jì)算一個(gè)雙向場(chǎng)。這使我們能夠在生成每個(gè)插值幀時(shí)避免前向扭曲的填孔問(wèn)題。在輸出幀（SB）中的每

15、個(gè)像素處，我們獲得一個(gè)指向前一幀和下一幀的合成向量。這些矢量都是仿射和局部分量的總和。仿射分量從全局變形參數(shù)中導(dǎo)出，重新縮放為從S-到輸出幀或從S+到輸出變形。（請(qǐng)注意，由此產(chǎn)生的兩個(gè)運(yùn)動(dòng)場(chǎng)不一定是對(duì)稱的。）本地分量由我們的對(duì)稱光流算法生成。對(duì)于局部運(yùn)動(dòng)估計(jì)，我們?cè)诶绽菇鹱炙蚣苤惺褂肔ucas和Kanade1981技術(shù)的變體Bergenetal。1992年。（請(qǐng)注意，Bergen等人1992對(duì)光流的主題做了很好的介紹。）我們?cè)黾恿艘恍┰鰪?qiáng)功能來(lái)處理退化流情況。我們不是簡(jiǎn)單地在每次迭代中將一個(gè)源圖像逐漸變形到另一個(gè)源圖像，而是將兩個(gè)源圖像扭曲到中間幀并估計(jì)這兩個(gè)變形圖像之間的殘余流向量。隨

16、著殘差沿金字塔向下堆積，它們產(chǎn)生以中間幀為中心的對(duì)稱流場(chǎng)。我們通過(guò)在翹曲過(guò)程中包含全局仿射流來(lái)擴(kuò)充這種技術(shù)，因此累積殘差總是用對(duì)非對(duì)稱全局（仿射）流的局部校正來(lái)表示。對(duì)于單向情況，我們使用上述運(yùn)動(dòng)估計(jì)程序（包括仿射階段）的修改來(lái)生成第3.1節(jié)中所述的單變形幀SU-和SU+。在這種情況下，該過(guò)程直接將當(dāng)前幀L與其相鄰增強(qiáng)進(jìn)行匹配。由此產(chǎn)生的流場(chǎng)是單向的，因?yàn)樵诿總€(gè)迭代步驟只有相鄰幀被重新扭曲。Image1(reference)Image2圖5：分層單應(yīng)計(jì)算。請(qǐng)注意，只顯示第1級(jí)的前兩個(gè)級(jí)別和一個(gè)象限。3.3層次單應(yīng)性由于相機(jī)抖動(dòng)和物體運(yùn)動(dòng)中可能的加速度，雙向內(nèi)插圖像可能無(wú)法與中央（當(dāng)前）圖像完美

17、配準(zhǔn)。因此，我們使用一種替代圖像配準(zhǔn)方法來(lái)改進(jìn)增強(qiáng)內(nèi)插幀（LB）和當(dāng)前幀（L）之間的配準(zhǔn)。此時(shí)需要限制流量，因?yàn)樗鼫p少了在飽和和低對(duì)比度像素的不可靠區(qū)域中錯(cuò)誤映射的可能性。（雖然使用圖像蒙版計(jì)算流量可以選擇飽和或黑色像素，但我們必須設(shè)置我們認(rèn)為飽和或黑暗的閾值。）圖5顯示了層次單應(yīng)矩陣的思想，該圖簡(jiǎn)化為僅說(shuō)明兩個(gè)級(jí)別和一個(gè)象限。在最高分辨率下，執(zhí)行全幀配準(zhǔn)以找到兩個(gè)輸入圖像之間的最佳2D透視變換（即單應(yīng)性），從而產(chǎn)生單應(yīng)性H0。然后將當(dāng)前圖像（圖像1）分解成部分以虛線顯示的重疊象限。每個(gè)象限的全局運(yùn)動(dòng)都是從其父項(xiàng)繼承而來(lái)的。如果象限內(nèi)的強(qiáng)度變化不足（我們將此閾值設(shè)置為10個(gè)灰度級(jí)），則不予考慮

18、。否則，通過(guò)在來(lái)自當(dāng)前圖像的該象限與來(lái)自第二圖像的適當(dāng)采樣的對(duì)象之間執(zhí)行全圖像配準(zhǔn)來(lái)改進(jìn)其全局運(yùn)動(dòng)。在該圖中基于H0計(jì)算來(lái)自第二圖像的子圖像的邊界。在圖5所示的例子中，子圖像對(duì)之間的這種改進(jìn)的變換是H1,1。對(duì)于所有級(jí)別（本例中為兩個(gè)）和所有象限重復(fù)此操作。然后使用局部單應(yīng)性計(jì)算得到的全圖像流量。在每個(gè)象限的邊界附近，它們的流量被重量平均以減少流動(dòng)不連續(xù)性。這個(gè)流程然后被用來(lái)糾正雙向流量，如第3.1節(jié)所述。3.4輻射圖恢復(fù)在本節(jié)中，我們將描述將輸入圖像與扭曲的鄰居相結(jié)合以生成輻射圖的過(guò)程這里已經(jīng)提出了幾種技術(shù)來(lái)做到這一點(diǎn)MannandPicard1995;Debevec和Malik1997;M

19、itsunaga和Nayar1999;Tsin等人2001。在這些技術(shù)中的任意一種，都使用已知的曝光值和計(jì)算出的響應(yīng)函數(shù)將輸入圖像轉(zhuǎn)換為輻射圖像。然后將像素處的最終輻射值計(jì)算為這些輻射圖像中相應(yīng)像素的加權(quán)平均值。在我們的系統(tǒng)中，我們使用Mitsunaga和Nayar1999的技術(shù)計(jì)算相機(jī)的響應(yīng)函數(shù)fR（以及相應(yīng)的加權(quán)函數(shù)fW）。Bidireetinjuillywurped耳廬VurrentBidireetinjuillywurped耳廬VurrentPrevmuswaqwd匸Nestwjiqied圖6：輻射圖計(jì)算。彩色顯示來(lái)自當(dāng)前幀和變形幀的參與區(qū)域。未通過(guò)一致性檢查的像素（因此調(diào)制權(quán)重為fM

20、=0）以白色顯示?，F(xiàn)有的輻射圖計(jì)算方法假設(shè)每一個(gè)都是注冊(cè)的輸入圖像。由于在HDR拼接的第一步中可能存在注冊(cè)錯(cuò)誤，我們放寬了這一要求，這使我們的系統(tǒng)更容忍像素配準(zhǔn)中的錯(cuò)誤。對(duì)于輸入圖像是長(zhǎng)時(shí)間曝光且相鄰幀是短曝光的情況采取以下步驟。1.使用響應(yīng)函數(shù)及其相應(yīng)的曝光值將L,SU-,SU+,SB-和SB+轉(zhuǎn)換為輻射圖像。這些輻射圖像分別由L,SU-，SU+，SB-和SB+表示。2識(shí)別當(dāng)前圖像L中高于最大值的像素飽和。假定這些像素產(chǎn)生與相鄰幀不良的配準(zhǔn)。結(jié)果，最終的輻射圖用來(lái)自SB-和SB+的雙向內(nèi)插像素填充。為了避免可能的模糊，我們使用僅來(lái)自前一幀SB-的像素，除非這些像素與當(dāng)前幀不一致(即,它們不映

21、射到飽和范圍),在這種情況下,我們使用來(lái)自SB+的像素。3.在其他地方，使用加權(quán)混合來(lái)計(jì)算輻射圖r_,-曲4)卩+/卅耐妙滬1川一丁許如Fp-)+fwM)+Jw()1其中像素p,p-和p+分別來(lái)自當(dāng)前，前一個(gè)和下一個(gè)輻射圖像L，SU和SU。加權(quán)函數(shù)fWM(p,q)=fM(lpq)fW(pw是由仿真圖fM調(diào)制的基于強(qiáng)度的權(quán)函數(shù)fMitsunagaandNayar1999，它是一個(gè)簡(jiǎn)單的Hermite立方調(diào)制，低于相應(yīng)的當(dāng)前輻射值的翹曲輻射值。5max是用戶指定的參數(shù)，我們將其設(shè)置為等同于最長(zhǎng)曝光輸入圖像中16個(gè)強(qiáng)度等級(jí)的輻射值。雖然目前f選擇啟發(fā)式，但更原始的方法是使用相機(jī)的噪聲統(tǒng)計(jì)。計(jì)算當(dāng)前圖

22、像為短曝光的情況下的輻射值遵循與步驟2相同的推理。在此步驟中，將丟棄暗像素而不是飽和像素。圖6說(shuō)明了我們的輻射圖恢復(fù)算法。當(dāng)前幀是在短時(shí)間內(nèi)拍攝的。我們只顯示有助于輻射圖的像素。4時(shí)間色調(diào)映射色調(diào)映射用于將浮點(diǎn)輻射圖轉(zhuǎn)換為適合渲染的8位表示法。這個(gè)過(guò)程必須減少每個(gè)幀的動(dòng)態(tài)范圍，同時(shí)還要保持明亮和黑暗照明區(qū)域的良好對(duì)比度。另外，相鄰幀之間的變換必須一致以防止諸如閃爍之類的時(shí)間偽像。(請(qǐng)注意，Pattanaik等2000通過(guò)對(duì)人類視覺系統(tǒng)在其(全局)時(shí)間色調(diào)映射算法中的時(shí)間響應(yīng)進(jìn)行建模來(lái)進(jìn)一步進(jìn)行研究。)由于我們不期望場(chǎng)景強(qiáng)度發(fā)生急劇變化，因此我們采用更簡(jiǎn)單的技術(shù)。我們利用Reinhard等人提出

23、的色調(diào)映射器。2002，這是基于攝影技術(shù)的閃避和燃燒。在我們的第一階段，輻射圖像被轉(zhuǎn)換為CIE空間，色度坐標(biāo)被重新覆蓋。然后處理亮度圖像以壓縮動(dòng)態(tài)范圍。最后，重新插入色度以給出最終的字節(jié)范圍RGB圖像。我們的時(shí)間色調(diào)映射器由全局和局部階段組成：對(duì)于全局映射，我們計(jì)算平均和最大亮度，它們控制傳遞函數(shù)，提供良好的初始亮度映射。對(duì)數(shù)平均亮度由下式給出：其中，是小值（106），N是像素的總數(shù)，卜U=呷（Y刀d汕4兒：）1曬和/并且Fi是由時(shí)間k-1和k處的幀組成的因果時(shí)間鄰域。使用一組幀來(lái)控制全局映射有助于防止色調(diào)映射序列中的閃爍。色調(diào)映射器還包含局部歸一化，該歸一化是使用基于比例空間的邊緣保留濾波器

24、計(jì)算的。這在Reinhardetal。2002中描述過(guò)。我們沒有在當(dāng)?shù)氐恼；^(guò)程中應(yīng)用時(shí)間連貫性。5結(jié)果在本節(jié)中，我們將展示三種不同的動(dòng)態(tài)場(chǎng)景的結(jié)果：魚市場(chǎng)，港口和繁忙街道上的駕駛。我們還描述了一個(gè)涉及用手持移動(dòng)攝像機(jī)拍攝的日出場(chǎng)景靜態(tài)圖像的例子。每個(gè)HDR視頻幀（768x1024像素）的處理時(shí)間為10秒，配準(zhǔn)和輻射映射需要8秒鐘，在2GHz奔騰4機(jī)器上需要2秒鐘的色調(diào)映射。圖7：來(lái)自兩個(gè)HDR視頻示例的代表劇照：左圖：魚市場(chǎng)景，右圖：港灣景觀。對(duì)于每個(gè)場(chǎng)景，左上象限是短曝光幀，右上象限是長(zhǎng)曝光幀。左下象限顯示了曝光量等于短曝光和長(zhǎng)曝光的幾何平均值的框架。圖7顯示了來(lái)自魚市場(chǎng)和港口場(chǎng)景的代表

25、性照片。對(duì)于每個(gè)場(chǎng)景，左上象限是短曝光幀，右上象限是長(zhǎng)曝光幀。左下象限顯示了相當(dāng)于短期和長(zhǎng)期展覽的幾何平均值的框架的外觀。右下象限中的圖像是使用我們的方法生成的。魚市場(chǎng)景。圖7左側(cè)可以看到魚市現(xiàn)場(chǎng)的快照。雖然單次曝光版本看起來(lái)合理，但仍有一些飽和（特別是在中間和右上角）以及低對(duì)比度區(qū)域。在使用我們的HDR方法生成的框架中，幾乎可以在任何地方看到好的細(xì)節(jié)（除了柜臺(tái)底部，即使長(zhǎng)時(shí)間曝光框架顯示的細(xì)節(jié)也很少）。港灣場(chǎng)景。這部影片是在一間辦公室內(nèi)拍攝的，俯瞰海港。在視頻中，可以看到渡輪在窗外移動(dòng)，而辦公室內(nèi)部可以觀察到一些人的活動(dòng)。如圖7所示，單次曝光具有顯著的大飽和和低對(duì)比度區(qū)域。另一方面，在使用我

26、們的方法生成的框架中，可以清楚地看到渡輪和水。辦公室內(nèi)部還可以看到更多細(xì)節(jié)。駕駛現(xiàn)場(chǎng)。駕駛場(chǎng)景的結(jié)果可以在圖1中看到。在這個(gè)例子中，駕駛員以大約25英里/小時(shí)的速度穿過(guò)繁忙的街道。這是一個(gè)特別困難的場(chǎng)景，因?yàn)榕紶栍捎隈{駛員的手的快速運(yùn)動(dòng)而存在大框架和框架位移。我們的光流算法有時(shí)會(huì)出現(xiàn)這樣大的運(yùn)動(dòng)失敗，但這個(gè)問(wèn)題可以通過(guò)使用更高幀率的相機(jī)來(lái)緩解。如前所述，我們相機(jī)的捕捉速率目前為每秒15幀，因此類似的曝光量以每秒7.5幀的速度進(jìn)行采樣。6來(lái)自圖像劇照的HDR圖像用于創(chuàng)建高動(dòng)態(tài)范圍視頻的想法也可應(yīng)用于圖像靜止圖像，特別是在存在相機(jī)或場(chǎng)景運(yùn)動(dòng)的情況下。圖8示出了變換這樣的一組圖像的步驟。輸入圖像序列

27、首先根據(jù)曝光進(jìn)行分類，并且選擇具有最多“有效”像素的圖像作為參考（“當(dāng)前”）幀。如果像素不飽和或?qū)Ρ榷鹊?，則認(rèn)為該像素為“有效”在我們的實(shí)現(xiàn)中，每個(gè)“有效”RGB值必須介于（和不包括）16和255之間。圖8：從圖像靜像創(chuàng)建HDR圖像的步驟。從上到下：選擇參考圖像，配對(duì)寄存器（全局后跟本地注冊(cè)），傳播流場(chǎng)和輻射圖恢復(fù)一致性檢查。然后每個(gè)相鄰對(duì)在參考方向上進(jìn)行注冊(cè)。因?yàn)樗鼈冿@示較少的視覺變化，所以選擇相鄰對(duì)，這導(dǎo)致更強(qiáng)健的配準(zhǔn)。如前所述，較短的曝光圖像被提升以匹配配準(zhǔn)之前較長(zhǎng)的曝光鄰居，并且配準(zhǔn)涉及全局運(yùn)動(dòng)估計(jì)，接著是本地每像素流。一旦流場(chǎng)已經(jīng)被計(jì)算出來(lái)，它們被適當(dāng)?shù)剡B接以允許每個(gè)幀被參考圖像配準(zhǔn)

28、（即穩(wěn)定）。然后用穩(wěn)定的圖像以類似于3.4節(jié)中所述的方式恢復(fù)輻射圖。不同之處在于每個(gè)穩(wěn)定圖像現(xiàn)在被視為單向扭曲圖像（即，SU-或SU+）。我們使用日出場(chǎng)景（圖9a）作為例子。這里有相機(jī)運(yùn)動(dòng)和云相對(duì)于地面的運(yùn)動(dòng)。如果我們只是執(zhí)行全局注冊(cè)（2D透視或單應(yīng)性），我們將獲得圖9b中所示的結(jié)果c,其中（c）是（b）中右部分的放大版本。如果我們應(yīng)用全球注冊(cè)，然后進(jìn)行本地注冊(cè)，我們會(huì)獲得顯著更好的結(jié)果，如圖9d所示。注意樹枝的清晰外觀。我們使用存儲(chǔ)在每個(gè)靜止圖像中的標(biāo)準(zhǔn)元數(shù)據(jù)信息（稱為EXIF標(biāo)簽）來(lái)自動(dòng)化我們的輻射圖計(jì)算。對(duì)于日出示例（五個(gè)仍然是1024x768的靜止圖像）,注冊(cè)（全局和本地）和輻射圖30

29、秒，而色調(diào)映射需要2秒鐘。圖9：來(lái)自劇照的HDR圖像：日出示例。（a）五個(gè)輸入圖像（每個(gè)1024x768），（b,c）僅使用全局（2D，透視）注冊(cè)的結(jié)果，（d,e）使用全局和本地注冊(cè)的結(jié)果。7討論觀察結(jié)果，您可以看到，我們的技術(shù)可以生成動(dòng)態(tài)范圍增大的視頻，同時(shí)處理相當(dāng)大量的視覺運(yùn)動(dòng)。然而，對(duì)于非常快速的運(yùn)動(dòng)，鑒于我們目前每秒15幀的低采樣率，我們的技術(shù)有時(shí)會(huì)產(chǎn)生偽影。使用具有更快捕捉速率的相機(jī)肯定會(huì)有所幫助，圖像配準(zhǔn)算法也會(huì)有所改進(jìn)。特別是，處理遮擋的能力（可能通過(guò)提取物體邊界和構(gòu)建分層運(yùn)動(dòng)模型）將會(huì)很有用。除了快速運(yùn)動(dòng)和明顯遮擋的場(chǎng)景外，具有大量非剛性效應(yīng)的場(chǎng)景對(duì)于我們的技術(shù)來(lái)說(shuō)也非常困難。

30、這些非剛性效應(yīng)包括非朗伯表面上的相互反射和鏡面反射以及復(fù)雜的半透明物體。這種影響可以用多種運(yùn)動(dòng)模型來(lái)解釋（例如，Tsinetal.2003），我們目前并沒有在我們的技術(shù)中使用這些模型。對(duì)于我們的技術(shù)來(lái)說(shuō)，最簡(jiǎn)單的場(chǎng)景是那些主要是朗伯表面，高度紋理的表面，幾乎沒有遮擋和小的運(yùn)動(dòng)。對(duì)于亮度范圍非常大的場(chǎng)景，例如在晴朗的日子里看到黑暗的室內(nèi)場(chǎng)景，僅使用兩次曝光可能就不夠。增加連續(xù)幀之間的曝光間隔會(huì)更好地捕捉動(dòng)態(tài)范圍，但會(huì)使圖像配準(zhǔn)步驟更加脆弱，并會(huì)導(dǎo)致中間色調(diào)中的圖像噪點(diǎn)增加。使用兩次以上的曝光是我們考慮的另一種選擇，但類似的曝光（注冊(cè)成功的最佳機(jī)會(huì)）則在時(shí)間上分開，再次導(dǎo)致潛在的配準(zhǔn)和插值問(wèn)題。擁

31、有更快的捕獲速率將允許采集和合并更大的一組連續(xù)不同的曝光。目前，我們的加權(quán)和調(diào)制功能是基于Mitsunaga和Nayar1999;Tsin等人2001。我們計(jì)劃使用積分球（其內(nèi)表面完全是Lam-bertian）來(lái)更準(zhǔn)確地表征相機(jī)的響應(yīng)曲線和噪聲特性。8結(jié)論在本文中，我們介紹了一種技術(shù)，用于從一系列交替的光照和黑暗曝光創(chuàng)建高動(dòng)態(tài)范圍視頻。我們系統(tǒng)的第一部分是一種新穎的增益控制算法，它根據(jù)像素亮度分布選擇最佳曝光對(duì)。我們方法的核心部分是HDR拼接過(guò)程，該過(guò)程包括全局和局部注冊(cè)步驟以補(bǔ)償像素運(yùn)動(dòng)，以及為輻射圖計(jì)算選擇最可信像素的算法第三部分是適用于產(chǎn)生臨時(shí)一致結(jié)果的色調(diào)映射算法。由此產(chǎn)生的系統(tǒng)可用于生成高動(dòng)態(tài)范圍的視頻和用手持相機(jī)拍攝的靜止圖像和場(chǎng)景運(yùn)動(dòng)。參考文獻(xiàn)Bergen，J.R.，Anandan，P.，Hanna，K.J。和Hingorani，R.1992?；诜謱幽Ｐ偷倪\(yùn)動(dòng)估計(jì)。第二屆歐洲計(jì)算機(jī)視覺會(huì)議（ECCV92），237-252。Bogoni,L.2000。通過(guò)融合擴(kuò)展單色和彩色圖像的動(dòng)態(tài)范圍。國(guó)際模式識(shí)別會(huì)議,3，7-12。Debevec