多視點視頻壓縮

1、多視點視頻壓縮 Exploiting Inter-Image Similarities. Markus Flierl and Bernd GirodInformation Systems Laboratory, Department of Electrical Engineering, Stanford University, Stanford,CA 94305.顯示器和照相機技術的發(fā)展刺激了3D場景通信的新應用。3DTV是這些應用中最重要的，它力求為所觀察到的場景創(chuàng)建一個逼真的3D深度印象。通常情況下，多視點視頻指的是由不同視點的多個攝像機從不同視角拍攝同一場景得到的一組視頻信號，是一種有效

2、的3D視頻表示方法，能夠更加生動地再現(xiàn)場景，提供立體感和交互功能。多視點視頻的數(shù)據(jù)量隨著攝像機的數(shù)目增加而線性增加。對于3DTV來說，大量的多視圖視頻數(shù)據(jù)需要存儲或傳輸。在未來互聯(lián)網(wǎng)應用中，多視點視頻數(shù)據(jù)預計將消耗更多的帶寬。這將包括的單播通信及組播通信。通過先進的多媒體內(nèi)容分發(fā)交付網(wǎng)絡和靈活的對等網(wǎng)絡，將刺激多視圖視頻的需求以及現(xiàn)場廣播。對于3D場景通信來說,由于其巨大的多視點視頻原始比特數(shù)據(jù)，我們必須采用高效的壓縮技術。源于同一場景下的視頻數(shù)據(jù)，可利用多視點圖像的固有相似性進行高效壓縮。這些相似之處可分為兩種類型。首先，視點間的相關性是在相鄰的攝像機視像中被觀察到的。二，時間的相關性是在每

3、個視頻的時間連續(xù)圖像里被觀察到的。在眾所周知單通道視頻壓縮編碼中可通過運動補償技術捕捉時間的相關性。擴展這個想法，基于多視圖的視點間的相關性的視差補償技術正是基于此思想進行視頻壓縮的。基于多視點視頻數(shù)據(jù)的設計數(shù)據(jù)壓縮方案，我們必須考慮一些約束條件來構建其結構。在通信的情況下，多視點視頻表示應該是可靠的傳輸。另外，理想的是這些表示是高度靈活的，即原始數(shù)據(jù)的子集可以很容易在不同圖像質(zhì)量等級被訪問；用戶的交互性的等級可以由一個特定的多視點視頻表示來支持，將是一個按需應用的重要考慮因素。最后，重建視野的質(zhì)量和其代表的比特率之間的權衡，將讓人在處理龐大的數(shù)據(jù)量感興趣。多視點視頻（，）是當前多媒體領域的研

4、究熱點，與傳統(tǒng)的視頻不同，多視點視頻系統(tǒng)能夠提供與場景的交互能力，增加了圖像中景物的深度信息，它允許用戶在一定范圍內(nèi)選擇任意視點或視角觀看，用戶可以實現(xiàn)對同一場景的多方位體驗，這充分滿足了用戶的交互性和個性化需求，使用戶獲得更加真實的視覺感受。多視點視頻的提出體現(xiàn)了下一代多媒體應用真實感、交互性和網(wǎng)絡化的發(fā)展方向，它將解決交互視頻的表現(xiàn)、交互、存儲和傳輸?shù)葐栴}，具有廣泛的應用前景，其編碼技術也在過去的幾年中得到了飛速發(fā)展。在多視點視頻的發(fā)展過程中，有兩項關鍵技術起著重要的作用并決定它能否被進一步應用。第一項關鍵技術是三維顯示。為提高三維顯示效果，使觀察者能夠得到“運動視差和“環(huán)視的效果，多視點

5、三維顯示技術成為近年來在顯示技術方面的研究重點。目前己有方案中，大部分方案需要在圖像分辨率與視點數(shù)目之間作折衷，不能得到人們期望的效果。新近提出的多投影機與凸透鏡陣列結合使用的方案能夠同時提供高分辨率的圖像與大量的視點數(shù)目，受到眾多研究者的青睞，并被認為能在不久的將來實現(xiàn)商業(yè)價值，。多視點視頻發(fā)展的另一項關鍵技術是多視點視頻內(nèi)容的存儲與傳輸。多視點視頻和單通道視頻相比，數(shù)據(jù)量成倍增加，所以必須采用更高效的編碼壓縮算法，才能對多視點視頻數(shù)據(jù)進行存儲和傳輸，同時隨著人們對視頻觀看質(zhì)量的提高，高分辨率、高清晰度、立體感和交互性是今后的趨勢，這將帶來數(shù)據(jù)量的急劇增加，僅僅依靠網(wǎng)絡帶寬的提高和存儲容量的

6、提升是無法解決這個問題的，還必須采用高效的編碼壓縮技術來解決這個問題。在過去的十幾年中，全世界很多學者致力于該領域的研究。為得到高效的編碼效率，他們提出的方案除了利用視頻通道內(nèi)的空間與時間相關性外，還利用了不同視頻通道之間高度的相關性（稱為交叉相關性）。早些時期，大部分的研究者提出的是針對立體視頻的編碼方案，然后將這些方案做簡單的延伸應用于多視點視頻；近幾年間，由于多視點視頻頻應用前景的逐漸明朗，針對多視點視頻的編碼研究成為該領域內(nèi)學者們的研究重點。在剩下的篇章，我們將首先討論利用圖像間的相似性進行多視點視頻壓縮的重要性。然后，我們介紹多視點視頻壓縮的基本方法。一類算法以目前使用的預測編碼視頻

7、壓縮標準進行多個視圖擴展。另一類算法采用自適應內(nèi)次級分解和跨越不同的攝像機的視頻序列。我們討論的相對優(yōu)勢和這些壓縮方法的缺點，當面對額外的限制，往往在實際系統(tǒng)中出現(xiàn)。1. 多視點視頻圖像基于深度圖的多視點3D立體視頻系統(tǒng)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應調(diào)節(jié)，用戶交互性好等優(yōu)點。多視點圖像是按照一定空間排列規(guī)律（平行或會聚）拍攝的同一場景的多幅圖象（或多幀視頻）。 視頻相機安排是根據(jù)所需的3D場景表示來安排的。例如，直鏈攝像機陣列是最簡單的安排，并且提供的視差只在一個空間維度。平面相機陣列提供了更廣闊的深度印象，但需要相當大數(shù)量的攝像機。作為多視點視頻圖像捕捉相同的動態(tài)3D場景中，在這

8、些圖像中存在固有的相似性。我們將這些相似性分為兩種。第一種是視點間的相關性，它是根據(jù)相鄰的攝像機視圖獲取的。其次是時間的相關性，它是在每個視頻的時間連續(xù)圖像里被觀察到的。這種分類對應的自然排列的多視點視頻圖像轉(zhuǎn)換成一個圖片矩陣（Matrix Of Pictures MOP）。每一行有一個視圖中時間上連續(xù)的圖片，和每一列都包含有同一時刻捕獲的在空間上相鄰的視圖。為了防止我們偏離攝像機線性陣列，所有的視圖序列仍安排到MOP的行。在這里，這個想法是僅僅只是區(qū)分視圖間的相似性和時間相關性。因此，進一步對子分類的視圖之間的相似性分析則不是我們的目的。圖1 圖片矩陣為N=4圖像序列，每個K = 4時間上連

9、續(xù)的圖片組成的圖1示出的圖片矩陣，對于N =4的圖像序列的矩陣，每一個包括為K =4時間連續(xù)畫面。 N =4形成一組視圖（GOV），K = 4時間連續(xù)圖片時間的圖像組（GOP）。例如，第一個視圖序列的圖像其中k =1,2，.，K。我們選擇MOP與NK圖像討論壓縮效率，當它們聯(lián)合處理NK圖像的編碼方案。聯(lián)合壓縮的目的是利用所有這些圖像之間的相似性。稍后，我們將討論MOP的大?。∟，K）對壓縮性能的影響和權衡在大小為N組的視圖和大小K的時間圖象組。2. 時間和視圖之間的相似性利用多視點視頻圖像的相似性利用是壓縮效率的關鍵。何時考慮一個視圖序列，即一行的MOP，同樣的時間連續(xù)的影像視點捕捉在不同的時

10、間距離。通常情況下，相同的對象出現(xiàn)在連續(xù)的影像但可能在不同的像素位置。如果是這樣，對象是在運動和實用的壓縮方案利用運動補償技術來開發(fā)這個時間相似。另一方面，在空間上相鄰的看法在相同的時刻，即圖像在同一列MOP，顯示相同的物體從不同的視點。與以前的情況相似，相同的對象出現(xiàn)在鄰近的視圖，但在不同的像素位置。在這里，每一個圖中的物體的視差和實用的壓縮方案的使用視差補償技術來開發(fā)這些視圖間的相似之處。A.時間相關性考慮一個視圖序列的時間連續(xù)圖像，即，一行MOP。如果場景中的物體是運動的主體，同樣的物體出現(xiàn)在連續(xù)的圖像，但在不同的像素位置。要利用這些時間相似性，復雜的運動補償技術已經(jīng)在過去開發(fā)。經(jīng)常使用

11、的是所謂的塊匹配技術當運動矢量建立從兩個連續(xù)的圖像中選擇兩幅連續(xù)圖像之間的對應像素塊的一致。實用的壓縮方案是這樣的運動矢量的解碼器的位流的一部分的信號?？勺儔K大小的技術激發(fā)了塊運動向?qū)ο蟮膶嶋H形狀的改變。最近，所謂的多幀的技術已被開發(fā)。經(jīng)典的塊匹配技術使用一個單一的前面的圖像時，選擇對應的參考作匹配。多幀技術，另一方面，允許選擇從幾個先前被傳送的圖像的參考; 可以選擇不同的圖像，對每個塊。最后，疊加技術也被用于廣泛的應用。在這里，指定一個以上的每塊的像素的對應信號的一部分位流。用于產(chǎn)生多個對應塊的線性組合以更好地匹配時間相似。一個特殊的例子是所謂的雙向預測圖像相結合，產(chǎn)生兩個對應的塊。一個對應

12、使用了時間前參考，其他使用時間的參考。廣義的版本是所謂的雙向預測圖像。在這里，兩個對應的任意一組的被選擇可用的參考圖像。B.視圖間的相關性考慮在空間上相鄰的觀點，即在同一時刻捕獲的，在一列中的圖像MOP。每個圖像中的物體是受視差并出現(xiàn)在不同的像素位置的對象。要利用這個視圖間的相似性，使用視差補償技術。視差補償?shù)淖詈唵畏椒ㄊ菈K匹配技術類似于那些用于運動補償?shù)?。這些技術提供的優(yōu)點是不需要知識的底層的三維對象的幾何形狀。但是，如果相機稀疏分布，基于塊的平移差距模型無法準確補償。更先進的視差補償方法是基于深度圖像渲染算法。他們合成圖像作為從一個給定的通過使用參考紋理和深度圖像的視點作為輸入數(shù)據(jù)。這些技

13、術提供了給定的視點的圖像進行補償更加準確的優(yōu)點，即使當攝像機分布非常稀疏。然而，這些技術依靠準確的深度圖象，這是很難估計。最后，這兩種方法的優(yōu)點結合起來的混合動力技術，可能也應考慮。例如，如果一個深度圖像的精度是不夠準確的基于深度圖像的渲染，基于塊的補償技術可用于選擇性細化之上。C.性能界限多視點視頻編碼率失真效率有極大興趣。對于單視圖視頻編碼，已經(jīng)為運動補償預測編碼建立了理論性能邊界以及運動補償?shù)淖訋Ь幋a。顯然，最簡單的方法，多視點視頻編碼是對獨立的各個視頻序列進行編碼。但是，對于最有效的壓縮多視點視頻數(shù)據(jù)，在各視圖之間的相似性也必須考慮在內(nèi)。因此，文獻3提出了一個數(shù)學模型來捕捉視圖間的相關

14、性和時間的相關性。它是基于運動補償?shù)囊曨l的子帶編碼的高速率的模型。模型捕捉運動補償精度和視差補償精度的影響。對于這一點，它不考慮一個特定的補償技術。相反，它假定完美的補償上升到一個給定的運動誤差和視差誤差。在這種情況下，兩者率失真界限完美的和不準確的補償可以被確定。另外，該模型也捕獲編碼N個視圖，與K在時間上連續(xù)的圖片和其整體編碼性能的影響。總之，它模擬的NK差距和運動補償畫面。這些圖片是去相關的Karhunen-Loeve變換（KLT），以獲得最佳的編碼和實現(xiàn)率失真邊界。在這一點上，我們對在一個特定的編碼方案的界限不感興趣。相反，我們對在MOP的（N，K）的大小給定的參數(shù)有興趣，如多視點視頻

15、圖像的壓縮界限或不準確的視差補償。在高頻率，可以通過良好的編碼界限最佳變換編碼KLT。這將有助于我們了解基本的權衡是固有的多視點視頻編碼?？?中記載的更詳細的信號模型。圖2 率降低是由于利用NK圖片的相似之處在高圖像質(zhì)量。率差異是計算通過模型相對于幀內(nèi)編碼的所有圖像在相同的質(zhì)量和計算為負，如比特率保存合資編碼。率的差異給出了不同時間GOP尺寸K和視圖N.組圖2示出典型的速率減少，可以實現(xiàn)通過利用NK之間的相似性高圖像質(zhì)量的圖像。率的差異是包含在數(shù)學模型3中并且是被計算通過所有圖像的幀內(nèi)編碼在相同的質(zhì)量。例如，大小為N= 1這組視圖，意味著每個視頻信號獨立編碼。通過增加時間的GOP大小K，即，共

16、同編碼運動補償?shù)膱D象，比特率降低當對比幀內(nèi)的MOP。這一觀察也持有群體N，其中N共同視差補償圖像編碼。但請注意，相對減少比特率得到更小的生長組視圖N。這一結果表明一個可能的大小之間的權衡組的視圖N和GOP K時間的大小，當只考慮節(jié)省比特率。圖中使用的數(shù)值。圖2作為一個例子，共同MOP與N=8次和K=4收益率比平均節(jié)約率相似MOP與N=2次，K=32暫時的圖像。但是請注意，實際的量化值強烈依賴于不同的多視點視頻數(shù)據(jù)，特別是在場景中的運動視差補償?shù)臏蚀_性，噪聲電平中的序列。最后，視差補償?shù)臏蚀_度會影響整體的節(jié)省比特率顯著。可以執(zhí)行的做法，既不是塊匹配技術也不是基于深度圖像渲染算法完美的視差補償。閉

17、塞和不同的照明條件之間的視圖具有挑戰(zhàn)性的。我們能夠提高精度的補償?shù)那闆r下，我們將受益整體節(jié)省比特率方面。3. 壓縮方案大量多視圖數(shù)據(jù)的采集和處理不僅是一個巨大的挑戰(zhàn)，但也進行壓縮。高效的壓縮利用多視角視頻的統(tǒng)計依賴關系圖像。通常情況下，實際計劃完成預測編碼子帶編碼。在這兩種情況下，運動補償和視差補償，更好地利用統(tǒng)計依存關系。需要注意的是預測編碼和子帶編碼的高效壓縮具有不同的約束。預測編碼是通過順序地處理圖像。因此，次序在該圖像處理是重要的。此外，在開始的序列編碼決定會影響到后續(xù)的編碼決定。另一方面，子帶編碼，不需要順序圖像處理。要被編碼的圖像，這是隨后的子帶分解由獨立編碼系數(shù)。因此，編碼在第二

18、階段做出的決定不影響在第一階段中的子帶分解。在下面，我們考慮這些實際的多視點視頻壓縮方案，并討論得更詳細。A.預測編碼預測編碼方案多視點視頻圖像編碼按順序。兩種基本類型的編碼圖片是可能的：幀內(nèi)和幀間圖像。幀內(nèi)的圖片進行編碼，獨立于任何其它圖像。幀間的圖像，另一方面，取決于在一個或多個已被編碼的參照之前的圖像。按照設計，幀內(nèi)的圖片不利用多視點圖像之間的相似之處。但幀間的圖片是能夠利用這些相似之處，通過選擇一個或多個參考圖片和產(chǎn)生運動和/或視差補償圖像進行有效的預測編碼?；靖攀龅闹械倪\動補償?shù)念A測編碼的想法在框2中。在選擇的圖像的編碼順序，應考慮各種約束。例如，編碼效率高，以及良好的時間多分辨性

19、能可能是可取的。有趣的是，這兩個目標可以結合得非常好。類似于時空多尺度分解，粗時間遙遠的圖像分辨率層先后提煉插入幀間編碼圖片一半時間距離。請注意，這些幀間編碼的圖片使用的編碼圖像的粗糙的分辨率層作為參考。分層編碼這種方法不僅提供了一個時空多尺度表示，而且編碼效率高。分層編碼，雙向預測圖像是非常有用的。它是一種特殊的幀間圖像選擇兩個參考圖像產(chǎn)生運動和/或視差補償。它的編碼效率優(yōu)于“基本”的幀間（預測圖像），只選擇一個參考圖像補償。圖3與雙向預測圖像的分層編碼的圖像（MOP）的一個矩陣 （a）MOP N = 4的圖像序列，每個包括K = 4時間上連續(xù)的圖片（b）評估不同的多視點視頻舞廳在平均實現(xiàn)利

20、用在每個MOP的大小為（N，K）的相似性為40 dB的峰值信噪比的圖像質(zhì)量。圖3（a）示出了可能的分層編碼的MOP對N = 4的圖像序列，由每個K = 4時間上連續(xù)的圖片組成。每個MOP是被編碼成一個內(nèi)幀圖像和NK-1雙向預測圖片。首先，每個MOP只被分解視圖方向在第一時刻。即，序列具有在第K個時刻的視圖分解。內(nèi)幀圖像I0在每個MOP代表最低視圖解析。下一個視圖分辨率級別達到包括雙向預測編碼的圖像B01。視圖分辨率最高達到雙向預測圖像B02。其次，重建N 視圖圖像在每隔K個時刻的圖像作為參考多尺度分解在時間方向雙向預測圖片。視圖中的分解查看每隔K個時刻的方向已經(jīng)代表的時空分辨率級別最低。雙向預

21、測圖像B1是所獲得的下一個時間分辨率等級。最高時間分辨率，實現(xiàn)與雙向預測圖像B2。因此，每個MOP的分層編碼雙向預測圖像生成一個與在時間和視圖方向中的多分辨率表示。目前正在研究的多視點視頻編碼的聯(lián)合視頻組（JVT）。 JVT開發(fā)聯(lián)合多視點視頻的模型（JMVM），這是基于標準ITU-T視頻編碼H.264 - ISO / IEC 14496-10 AVC。當前JMVM建議照明變化的自適應運動補償和預測結構與層次的雙向預測圖像。JMVM使用基于塊的編碼技術H.264/AVC的同時利用時間相似并查看相似之處。編碼結構研究在18，19。 H.264/AVC標準的編解碼器是一種混合式的視頻編解碼器，并采用

22、的幀內(nèi)編解碼器和運動補償?shù)膸g的預測指標。當圖像序列進行編碼，先進的編碼器控制技術從多個區(qū)域內(nèi)和跨雙畫面模式率失真選擇優(yōu)化效率。一個重要的參數(shù)是多少先前解碼圖像存儲在參考幀緩沖器。兩者，率失真效率和計算復雜性的增長是隨著存儲的參考圖像的數(shù)目。圖3（b）示出得到的實驗結果的包含分級雙向預測圖像的多視點視頻舞廳。它描述了幀內(nèi)編碼的實現(xiàn)率差異隨著每個MOP內(nèi)的相似之處大?。∟，K）。率差異的測量是在40 dB的峰值信噪比相對平均圖像質(zhì)量幀內(nèi)編碼率每1.4位每像素每攝像頭?？傊A測編碼方案是被開發(fā)良好的，并提供良好的圖像質(zhì)量在低比特率，特別是最新標準H.264/AVC的來臨。雖然，這樣的計劃背負了順

23、序編碼的內(nèi)在約束?；叵胍幌?，編碼所作出的決定開始的順序會影響到后續(xù)的編碼決定。這會影響整體的編碼效率并產(chǎn)生多視點視頻表示的有限的靈活性。B.子帶編碼所有圖像子帶編碼方案進行編碼子帶分解后跟其系數(shù)量化和熵編碼。這樣的計劃并不需要順序的圖像的處理，因此，提供了更靈活的多視點視頻申述。像預測編碼，子帶分解使用的多視點視頻圖像之間的相似性。如相似之處是利用運動視差補償，自適應子帶分解是被感興趣的。圖4。運動和差距自適應子帶編碼。多視圖視頻是由運動和視差的多視點視頻補償子帶分解表示。結果視圖時空子帶被編碼和復用通過運動視差成一個比特流中的邊帶信息。一個典型的運動和差距自適應子帶編碼方案如圖 4。 NK圖

24、像的NK子帶圖像的多視點視頻數(shù)據(jù)被變換成由運動視差補償子帶分解。只有一個子帶圖像，所謂的低頻帶圖像，積累的主要能源在MOP的所有圖像。其它NK - 1子帶圖像，即所謂的高頻段圖像，帶著只有輕微的能量成分，那些不能集中到低頻帶圖像。其次是空間的時間視圖的子帶系數(shù)的編碼。輸出的編碼器的比特流包括壓縮表示的子帶系數(shù)以及運動和不一致的信息。相應的解碼器簡單地反轉(zhuǎn)處理編碼器的步驟。在選擇一個自適應子帶編碼的多視點視頻變換，各種約束加以考慮。例如，給定的正向變換的未量化的子帶系數(shù)，自適應逆變換，在解碼器應該能夠完美地重建輸入圖像。此外，良好的視圖時空多尺度屬性是可取的。這兩個目標可以被結合得很好通過所謂的

25、運動和視差補償解除小波。小波實施與起重體系結構是可逆的，即使提升步驟中的操作是非線性的類似運動和視差補償。此外，多分辨率表示很容易獲得小波變換。類似預測編碼，預測和雙向預測圖片利用圖像之間的相似性，兩種基本類型的運動補償?shù)慕獬〔ㄊ鞘軞g迎的。該基本自適應小波是運動補償解除Haar小波高頻段產(chǎn)生只從一個運動補償圖像。先進的自適應小波是運動補償解除5/3小波高頻段產(chǎn)生的兩個運動補償?shù)木€性組合圖像。與自適應5/3小波，這是更復雜的實現(xiàn)更好的能量集中比自適應Haar小波?？?概述運動補償提升小波的基本概念。圖5。圖片（MOP）的矩陣的分級子帶分解。 （a）MOP N = 4的圖像序列，每個K = 4時

26、間上連續(xù)的圖片組成。 （b）評估差異在平均圖像的多視點視頻舞廳利用在每個MOP的大小為（N，K）的相似性來實現(xiàn)40分貝的峰值信噪比質(zhì)量。圖5（a）顯示了一個可能的視圖時空多尺度分解的MOP N = 4圖像序列，K = 4的時間上連續(xù)的圖片的每一個。每個MOP被編碼通過低頻段的圖片和NK-1高頻段圖片。首先，一個2級多分辨率分解每個查看序列在時間方向是通過運動補償?shù)男〔ǖ?。每個視圖第一幀表示的是時間的低頻段L2T，每個視圖的其余幀時間高頻段H1t。二，2級多分辨率分解時間低頻段L2視圖方向是通過視差補償小波。分解后的N個時間低頻段，我們得到了MOP低頻段L2 T L2 V和剩余的N - 1視圖高

27、頻段H1 v。這分解使用在第一時間即時在MOP之間的信息差距。圖5（b）給出了實驗結果獲得的自適應子帶的多視點視頻舞廳解除小波分解。結果在一個版本的基礎上聯(lián)合可擴展視頻模式（JSVM），它支持自適應提升小波。情節(jié)描繪內(nèi)實現(xiàn)率差異編碼利用在每個大小為（N，K），MOP的相似之處。請注意，速率不同的是測量是在40 dB的峰值信噪比相對平均的圖像質(zhì)量的1.4位每像素的幀內(nèi)編碼率每臺攝像機。綜上所述，子帶編碼方案的多視點圖像提供更靈活的交涉。對于靜態(tài)光場，這已被證明在，視差補償小波被調(diào)查。小波的多視點視頻編碼的另外的例子是27中給出的。雖然，解禁小波分解，產(chǎn)生運動和視差補償通常遭受補償不匹配預測和更新

28、的步驟，尤其是多聯(lián)運動和差距字段。這種補償不匹配改變由相應的非自適應小波變換提供的屬性。例如，非自適應解除Haar小波是嚴格正交的，而如果連接多運動字段的補償運動補償解除Haar小波失去正交性 。視圖時間子帶分解的發(fā)展，維持其正交任意運動和視差補償仍然是一個具有挑戰(zhàn)性的研究課題。第一次嘗試在最近報告的單向運動補償，子像素精確運動補償，和雙向運動補償。 （框4）。4壓縮額外的限制壓縮引擎通常是施加額外的信息或通信系統(tǒng)的一部分壓縮方案本身的約束?；炯s束是延遲和內(nèi)存的要求?；討贸绦?，如自由視點視頻2施加隨機存取的要求，允許獲取在壓縮的多視點視頻表示單個圖像序列。另一方面，通信系統(tǒng)要求壓縮表現(xiàn)穩(wěn)

29、固的傳輸錯誤并可能受益于率的可擴展性。在下面，我們重新審視上述的壓縮方案，而考慮到實際的制度約束。A.延遲和內(nèi)存限制延遲所造成的等待時間，就是編碼方案收集更多的圖像源所必需的編碼時所逝去的時間。預測計劃的順序編碼允許靈活編碼訂單。此等待時間只在進行前向預測時可以減少到零。對于這種情況下，雙向預測在時間方向上不能使用，因此，編碼效率降低是看得到的。所允許的延遲，可以實現(xiàn)更高的編碼增益。延遲限制是不同的子帶編碼方案。在一般情況下，必須考慮到MOP的所有圖像確定低波段圖像的子帶分解。因此，MOP的大小（N，K）的最小延遲時間是等待時間需要收集額外的K - 1時間連續(xù)的影像。內(nèi)存要求指定大小的內(nèi)存是必

30、要的，以方便編碼或解碼。對于預測計劃，多幀參考緩沖器的大小決定了內(nèi)存要求。需要至少一個參考圖像存儲器用于預測編碼。而大參照幀緩沖器有可能提高壓縮效率。內(nèi)存要求不同也有不同的子帶編碼方案。在一般情況下，子帶分解要求所有輸入的圖像用MOP對駐留在存儲器中的編碼器相關聯(lián)的。因此，對存儲器的要求增加MOP的大小，并且因此，增加所需的壓縮效率。B.隨機訪問流媒體應用如互動光場或自由視點視頻施加隨機存取多視點圖像的要求。隨機訪問是指單個圖像的輔助功能或圖像序列壓縮表現(xiàn)。對于預測編碼方案，獲得個人圖像高度依賴于實際的預測依賴。需要注意的是順序編碼要求所有中間參考圖像要被順序地解碼。因此，分層編碼需要促進比線

31、性編碼更多靈活的接入到單個圖像。對于子帶編碼方案，隨機訪問被多分辨率子帶分解促進，同樣，分層表示允許靈活地訪問單個圖像。此外，子帶計劃提供了機會去權衡訪問和檢索到的圖像質(zhì)量之間的負擔。C.靈活的表現(xiàn)和堅固性實用的3DTV系統(tǒng)需要多視點視頻表現(xiàn)抗靠不可信傳輸?？蓴U展的表現(xiàn)允許靈活適應網(wǎng)絡和渠道條件。例如，視圖可擴展性和時間的可擴展性，方便傳輸原來的多子集查看視頻數(shù)據(jù)。這是通過使用兩個預測和子帶分層編碼結構編碼方案。質(zhì)量可擴展性有利于在不同圖像質(zhì)量的傳輸?shù)亩嘁朁c視頻水平。對于有效預測編碼，在編碼器和解碼器的參考圖片必須完全匹配。如果在不同質(zhì)量水平的解碼需要的話，編碼器進行編碼所需的全部質(zhì)量水平完全

32、匹配必要的參考圖片。子帶編碼方案，在另一方面，處理不同的量化噪聲，并允許高效優(yōu)質(zhì)的可擴展性。最后，解碼器，強大的表現(xiàn)應盡量減少傳輸錯誤的影響重構的多視點視頻。需要注意的是預測編碼器的工作在閉環(huán)方式。該量化誤差能量穿過整個畫面內(nèi)和流離失所的幀差等于相應的重建圖像。在傳輸錯誤的情況下，解碼的參考幀的不同從優(yōu)化的參考幀在編碼器和錯誤傳播從幀到幀，從而導致往往是非常大的傳輸誤差能量放大。另一方面，子帶編碼器在一個開環(huán)的方式操作。特別是節(jié)約能源，對于這樣的正交變換系數(shù)域的總的量化誤差的能量等于在圖像域。如果對于傳輸誤差，同樣的關系成立。因此，誤差能量被保留，而不是擴增由解碼器，用于預測的解碼器的情況下。

33、5未來的挑戰(zhàn)預測編碼方案和子帶編碼方案兩種有可能利用間多視點視頻圖像的相似性。預測編碼方案技術先進，在低比特率提供良好的圖像質(zhì)量。雖然背負的內(nèi)在順序編碼的約束。子帶編碼方法為壓縮表示提供了理想的性能。但這些技術是不是在同一水平的成熟度預測編碼方案。龐大的數(shù)據(jù)量，配備了多視點視頻呈現(xiàn)高度結構化的表示較為可取。自適應子帶分解的額外的限制是必要的。這是一個未來的挑戰(zhàn)，使子帶編碼預測方案的競爭力，同時這樣的分解保持所有理想的特性。認知這項工作已經(jīng)由馬克斯·普朗克中心的視覺計算與通信支持在斯坦福大學。附錄一框1：多視點視頻統(tǒng)計信號模型該模型生成NK差距和運動補償畫面SI，I =1,2，.，NK

34、從一個根圖片v的兩個步驟。首先，根映像序列CK，K= 1,2，.，K與K運動補償?shù)膱D像生成從根v。對于這一點，根圖片圖像移位移誤差向量1k是由扭曲添加劑殘留的視頻噪音NK產(chǎn)生的。其次，N視圖序列NK差距和運動補償，是從根圖像生成心滿意足圖片序列。這里，圖像的根圖像序列移視差誤差矢量1，=2,3，.，N，和殘留扭曲多視圖噪聲zi，i=1,2，.，NK。需要注意的是根圖像序列的第一圖像是參考圖像。其余的K-1圖片是運動補償?shù)膮⒖紙D像對指定的位移誤差。該范圍的概念也可用于N個視圖序列。 N - 1視圖序列差距補償相對于參考視圖序列，即，首先查看序列，上升到指定的視差錯誤。完整的信號模型如圖 6。請注

35、意，所有的第個視圖的K時空的圖片是移動相同的差距錯誤載體1。我們假設每個攝像機的位置是時間不變的。因此，我們觀察到相同的視差誤差向量在每個額外的假設，功率譜密度矩陣NK運動視差補償畫面ss() = () cc() + zz()（1）其中（）是N×N的N個特征矩陣 - 1懸殊誤差，cc（）是K×K功率根圖像序列的譜密度矩陣，zz（）是NK×NK細胞的功率譜多視圖的剩余噪聲的密度矩陣。 表示Kronecker積和為載體的在水平和垂直方向上的空間頻率。模型的關鍵參數(shù)指定位移誤差和差距，以及誤差分布殘留的視頻噪聲和剩余的多視圖的噪音。位移誤差的方差差距錯誤捕獲運動誤差和視

36、差不準確。例如，非常精確的運動補償是由一個非常小的位移誤差方差模型構成。殘余視頻噪聲捕獲信號分量不能被刪除，即使是被非常精確的運動補償，例如，可視細節(jié)在一幀中，但不是在其他。多視角的剩余噪聲捕獲信號分量不能被刪除，例如，相機噪聲之間非常準確的視差補償。進一步詳情模型3中給出。附錄二框2：運動補償預測編碼運動補償預測編碼的圖像序列是通過幀內(nèi)和幀間圖像作為描繪的圖7。（a）輸入圖像xk是獨立編碼成幀內(nèi)圖像Ik。該幀內(nèi)解碼器是用來獨立地重建圖像XK。 （b）輸入圖像xk是由運動補償（MC）參考圖像XR預測的。預測誤差，也稱為位移幀差（DFD），被編碼并與幀間的運動信息的組合構成PK。畫面間解碼器反轉(zhuǎn)

37、這個過程，但需要相同的參考圖像xr來呈現(xiàn)在解碼器側(cè)。如果參考圖像在編碼器和解碼器一邊，例如由于網(wǎng)絡錯誤，解碼器是不是能夠重建相同的圖像xk即編碼器已編碼過的。需要注意的是參考圖片可以是重建內(nèi)部圖片或其他重建間圖片。圖7（b）所示的“基本的”幀間圖像（預測圖像），只選擇一個參照圖像補償。更先進的是雙向預測圖像，使用兩個運動補償參考圖片的線性組合。雙向運動補償預測是一種特殊的雙向預測圖像并且被廣泛使用在標準如MPEG-1，MPEG-2和H.263。一般雙向預測圖像的概念已實現(xiàn)在標準H.264/AVC的。幀間圖片已被廣泛研究，并已經(jīng)建立了理論性能邊界。13中提出的高利率模型預測圖像。這項工作已經(jīng)擴展

38、，以適應小數(shù)像素精度，多重假設預測，互補的假說。附錄三框3：運動補償提升小波運動補償提升小波受益于具有解除的事實，實施任何小波體系結構是可逆的，因此，雙正交的。提升架構具有梯形結構預測和更新步驟修改偶數(shù)和奇數(shù)樣品的信號，以生成低頻帶和高頻帶樣品。分別在提升步驟進行操作，不影響雙正交小波的，因此，運動補償?shù)姆蔷€性操作，如可以被引入到設計運動自適應提升小波。圖8示出運動補償?shù)奶嵘鼿aar小波（a）分析及（b）的合成。在分析中，甚至圖像的序列x2是運動補償預測步驟（MCP）來生成時間的高頻段圖像h從奇圖像x2+1。時間低頻段圖像l是來自于通過添加經(jīng)運動補償?shù)母拢∕CU）的圖像的縮放的高頻段圖像h。

39、簡單的合成反轉(zhuǎn)提升步驟，在分析中使用的順序。為了保持可逆性需要提升步驟，操作不可逆。這是有利的運動補償一般是不可逆的，由于連接和多連接的像素。但注意，非自適應提升Haar小波是嚴格正交的，而運動補償版本失去了這個屬性，多聯(lián)式像素補償。研究已進行了運動補償解禁小波子帶編碼的視頻。理論性能界限已經(jīng)衍生為添加劑運動以及互補的運動補償信號。附錄四框4：運動補償正交變換運動補償正交變換（MCOT）保持嚴格正交性，任意運動補償。對于下面的討論中，我們選擇了單向運動補償正交變換作為描繪的圖9（a）。讓x1和x2兩個向量表示的圖像序列中的連續(xù)的圖片。變換根據(jù)這些向量映射成兩個向量y1和y2表示的時間的低頻段和

40、高頻段的時間，分別變換T是考慮到序列的K增量將T像T = TkTk1···T···T2T1, (3)其中每個增量變換T本身正交，即TTT=I有的所有=1,2，···，K。這保證，也是正交變換T。增量變換T是一個身份矩陣。等于1的對角元素表示不變的像素在步驟。如果一個像素在的x2是單向運動補償在步驟里，增量變換T有兩個是不等于1的對角線上的元素。在這些兩個對角線上的元素和它們相應的非對角線元素是等于一個二維旋轉(zhuǎn)矩陣的四個要素。在這些兩個對角線上的元素也顯示了兩個像素相關聯(lián)的運動由連接向量和線性操作。此外，如

41、果單向運動補償不適合的像素或塊的在x2里，相應的增量變換被設置為在步驟T= I，其中I表示單位矩陣。這就是所謂的在畫面x2的像素或塊的幀內(nèi)預測模式。需要注意的是一個像素或圖像塊在x2里修改最多的一個增量變換。因此，該類型的增量變換能被自由地選擇在每一個步驟的受影響像素x2在不破壞了正交性的屬性運動的條件下相匹配。單向運動補償增量變換僅僅是一個例子。也有雙運動補償和雙向運動補償轉(zhuǎn)換。每一種類型的增量變換有其自己的能量能集中有效去除能源的約束在高頻段像素中，同時考慮運動補償。這些變換的任何組合可用于二進分解，同時保持嚴格的正交性。當用于多視點視頻在視圖方向，運動補償被視差補償替換，同時保持變換的原

42、則。因此，自適應視圖時空是嚴格正交的子帶分解，可以生成多視圖視頻數(shù)據(jù)。最后，自適應正交變換在預測更新步驟不遭受補償不匹配，可以觀察到塊補償提升小波。例如，圖10比較解碼的幀的多視點視頻霹靂者。舞者的復雜的運動導致的提升5/3小波產(chǎn)生惱人的噪音有沒有觀察到的物品，是雙向補償正交變換。請注意這兩個計劃以及使用相同的塊運動/視差場圖中所描繪的相同的視圖暫時分解結構在圖5（a）。圖10。解碼的圖像多視點視頻霹靂者。子帶編碼方案使用（a）運動和視差補償提升5/3小波或（b）雙向運動和視差補償正交變換。在這兩種情況下，相同的8×8塊的運動/視差字段被使用。時間視圖子帶編碼以JPEG2000。RE

43、FERENCES1 M. Tanimoto, .FTV (free viewpoint television) creating ray-based image engineering,. in Proceedings of the IEEE international Conference on Image Processing, Genova, Italy, Sept. 2005.2 A. Smolic and P. Kauff, .Interactive 3-D video representation and coding technologies,. Proceedings of t

44、he IEEE, vol. 93,no. 1, pp. 98.110, Jan. 2005.3 M. Flierl, A. Mavlankar, and B. Girod, .Motion and disparity compensated coding for multi-view video,. IEEE Transactions on Circuits and Systems for Video Technology, 2007, invited paper, to appear.4 J. Jain and A. Jain, .Displacement measurement and i

45、ts application in interframe image coding,. IEEE Transactions on Communications, vol. 29, no. 12, pp. 1799.1808, Dec. 1981.5 P. Strobach, .Tree-structured scene adaptive coder,. IEEE Transactions on Communications, vol. 38, no. 4, pp. 477.486,Apr. 1990.6 T. Wiegand, X. Zhang, and B. Girod, .Long-ter

46、m memory motion-compensated prediction,. IEEE Transactions on Circuits and Systems for Video Technology, vol. 9, no. 1, pp. 70.84, Feb. 1999.7 M. Flierl and B. Girod, Video Coding with Superimposed Motion-Compensated Signals: Applications to H.264 and Beyond. Boston . Dordrecht . London: Kluwer Acad

47、emic Publishers (now Springer), 2004.8 A. Puri, R. Aravind, B. Haskell, and R. Leonardi, .Video coding with motion-compensated interpolation for CD-ROM applications,. Signal Processing: Image Communication, vol. 2, no. 2, pp. 127.144, Aug. 1990.9 M. Flierl and B. Girod, .Generalized B pictures and t

48、he draft H.264/AVC video compression standard,. IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 587.597, July 2003, invited paper.10 M. Lukacs, .Predictive coding of multi-viewpoint image sets,. in Proceedings of the IEEE International Conference onAcoustics, Spee

49、ch and Signal Processing, Tokyo, Japan, Apr. 1986.11 L. McMillan and G. Bishop, .Plenoptic modeling: An image-based rendering system,. in Proceedings of the ACM SIGGRAPH, Los Angeles, CA, Aug. 1995, pp. 39.46.July 27, 2007 DRAFT12 E. Martinian, A. Behrens, J. Xin, and A. Vetro, .View synthesis for m

50、ultiview video compression,. in Proceedings of the Picture Coding Symposium, Beijing, China, Apr. 2006.13 B. Girod, .The efciency of motion-compensating prediction for hybrid coding of video sequences,. IEEE Journal on Selected Areas in Communications, vol. SAC-5, no. 7, pp. 1140.1154, Aug. 1987.14

51、M. Flierl and B. Girod, .Video coding with motion-compensated lifted wavelet transforms,. Signal Processing: Image Communication, vol. 19, no. 7, pp. 561.575, Aug. 2004.15 M. Flierl, A. Mavlankar, and B. Girod, .Motion and disparity compensated coding for video camera arrays,. in Proceedings of the

52、Picture Coding Symposium, Beijing, China, Apr. 2006, invited paper.16 A. Vetro, Y. Su, H. Kimata, and A. Smolic, .Joint multiview video model JMVM 2.0,. ITU-T and ISO/IEC Joint VideoTeam, Document JVT-U207, Nov. 2006, http:/ ftp3. itu. int/ av-arch/ jvt-site/ 2006 10 Hangzhou/ JVT-U207.zip.17 ITU-T

53、Rec. H.264 . ISO/IEC 14496-10 AVC : Advanced Video Coding for Generic Audiovisual Services, ITU-T and ISO/IEC Joint Video Team, 2005.18 K. Mueller, P. Merkle, H. Schwarz, T. Hinz, A. Smolic, T. Oelbaum, and T. Wiegand, .Multi-view video coding based onH.264/AVC using hierarchical B-frames,. in Proce

54、edings of the Picture Coding Symposium, Beijing, China, Apr. 2006.19 P. Merkle, K. Mueller, A. Smolic, and T. Wiegand, .Efcient compression of multi-view video exploiting inter-view dependencies based on H.264/MPEG4-AVC,. in Proceedings of the IEEE International Conference on Multimedia andExpo, Tor

55、onto, Canada, July 2006.20 T. Kronander, .Motion compensated 3-dimensional wave-form image coding,. in Proceedings of the IEEE InternationalConference on Acoustics, Speech and Signal Processing, vol. 3, Glasgow, Scotland, May 1989, pp. 1921.1924.21 J.-R. Ohm, .Three-dimensional subband coding with m

56、otion compensation,. IEEE Transactions on Image Processing,vol. 3, no. 5, pp. 559.571, Sept. 1994.22 S.-J. Choi and J. Woods, .Motion-compensated 3-d subband coding of video,. IEEE Transactions on Image Processing,vol. 8, no. 2, pp. 155.167, Feb. 1999.23 B. Pesquet-Popescu and V. Bottreau, .Three-di

57、mensional lifting schemes for motion compensated video compression,. In Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 3, Salt Lake City, UT,May 2001, pp. 1793.1796.24 A. Secker and D. Taubman, .Motion-compensated highly scalable video compression u

58、sing an adaptive 3D wavelettransform based on lifting,. in Proceedings of the IEEE International Conference on Image Processing, vol. 2, Thessaloniki,Greece, Oct. 2001, pp. 1029.1032.25 J. Reichel, H. Schwarz, and M. Wien, .Joint scalable video model JSVM 4.0,. ITU-T and ISO/IEC Joint Video Team,Document JVT-Q202, Nov. 2005, http:/ ftp3. itu. int/ av-arch/ jvt-site/ 2005 10 Nice/ JVT-Q202.zip.26 C.-L. Chang, X. Zhu, P. Ramanathan, and B. Girod, .Light eld compression using dispa