新一代視頻壓縮編碼標(biāo)準(zhǔn)H264學(xué)習(xí)心得

1、第一章和第二章 緒論和數(shù)字視頻1.一個(gè)是壓縮比2. 保持主觀質(zhì)量和客觀質(zhì)量信噪比（S/N）視頻壓縮可能性的依據(jù)：1.預(yù)測(cè)編碼 ，根據(jù)幀內(nèi)相關(guān)性和幀間的相關(guān)性，即找到相應(yīng)的參考像素或參考幀作為預(yù)測(cè)值，已達(dá)到視頻壓縮編碼。2. 變換編碼，視頻信號(hào)在能量上包含著的大部分都是直流和低頻部分（圖像的平坦部分），少量的高頻部分（圖像細(xì)節(jié)）。用數(shù)學(xué)變換后得到2維矢量空間，其中大部分的直流和低頻是相同的，可以不必用碼去表示，結(jié)果完成壓縮編碼視頻壓縮技術(shù)基本結(jié)構(gòu)按照信源模型可將視頻編碼區(qū)分為基于波形的編碼和基于內(nèi)容的編碼，信源模型采用“一副圖像由許多像素構(gòu)成”， 視頻編碼是基于波形的編碼，其采用把預(yù)測(cè)編碼和變換

2、編碼組合起來(lái)的基于塊的混合編碼把一副圖像分割成塊8x8(像素) 或者16x16，然后進(jìn)行壓縮處理信源模型采用“一個(gè)分量有幾個(gè)物體構(gòu)成”， 視頻編碼是基于內(nèi)容的編碼塊的編碼方式在邊界時(shí)會(huì)有高的預(yù)測(cè)誤差和失真。MPEG-4采用的編碼方式就是既基于塊的混合編碼，也采用基于內(nèi)容的編碼方法低于15幀的視頻質(zhì)量不高，一般要25要30 ，可視頻電話會(huì)議可取15-20幀每秒。數(shù)字視頻數(shù)值電視的優(yōu)勢(shì)。數(shù)值電視的PCM原理：取樣，就是在時(shí)間軸上連續(xù)變化的模擬信號(hào)變?yōu)殡x散量的過(guò)程。量化 取樣后得到的脈沖信號(hào)在時(shí)間上是離散的，但是在賦值上空間上仍然是連續(xù)的，比如可以取3.56，3.7812344等等，我們采用四舍五入

3、將其變?yōu)橛邢迋€(gè)值。這種將信號(hào)幅值由連續(xù)量變?yōu)殡x散量的過(guò)程稱為量化。由于四舍五入?yún)?shù)的失真稱為“量化噪音”。PCM編碼 對(duì)于量化后的信號(hào)，通常用二進(jìn)制表示，這時(shí)的編碼稱為脈沖編碼調(diào)制-即PCM編碼。上述取樣，量化，PCM編碼都由A/D轉(zhuǎn)換器完成，反之則由D/A轉(zhuǎn)換器完成。數(shù)字電視信號(hào)：時(shí)間取樣隔行掃描幀圖像由 頂場(chǎng) 底場(chǎng) 組成 一幀由一個(gè)頂場(chǎng)和底場(chǎng)組成，幀和場(chǎng)的鄰近行相關(guān)性并不相同：幀的空間相關(guān)性強(qiáng)，時(shí)間相關(guān)性弱；場(chǎng)的時(shí)間相關(guān)性強(qiáng)，空間相關(guān)性弱靜態(tài)圖像，運(yùn)動(dòng)量小的圖像用幀編碼 ，運(yùn)動(dòng)量多的用場(chǎng)編碼實(shí)際中要 幀/場(chǎng)編碼相結(jié)合空間取樣在同一電視信號(hào)幀中，同一行由若干取樣點(diǎn)構(gòu)成，這些取樣點(diǎn) 稱為像素，

4、這些取樣屬于空間取樣 。前提：一幀圖像是靜止的，每個(gè)像素處于同一時(shí)間不同空間上。不同國(guó)家間標(biāo)準(zhǔn)電視格式不同（即掃描格式），為了不同國(guó)家點(diǎn)的視頻通信，往往采用一個(gè)中間格式(CLF)彩色空間 RGB YCbCr（YUY）彩色電視取樣格式4:2:0數(shù)字電視信號(hào)的編碼參數(shù)：量化值Qp(量化節(jié)距)一般取8位 即8位bit表示一個(gè)取樣值 8位取樣即有258個(gè)灰度級(jí)；取樣頻率;視頻信號(hào)的預(yù)處理 色彩差值以Bayer圖像 陣列舉例：為降低成本，簡(jiǎn)化工藝，圖像傳感器一個(gè)像素點(diǎn)只能給出單色的色調(diào)值，不能同時(shí)給出G,R,B的值，所以要根據(jù)周圍的點(diǎn)的相關(guān)性來(lái)獲得。紅色/藍(lán)色點(diǎn)處的像素綠色分量插值等于其相鄰的四個(gè)像素點(diǎn)

5、的綠色分量平均值。例如，G8 = (G3+G7+G9+G13) / 4。在綠色點(diǎn)處的紅色/藍(lán)色分量的插值這分兩種情況：一種情況是如果存在相鄰的兩個(gè)像素的紅色/藍(lán)色分量，就取紅色/綠色分量的均值，例如B7=(B6+B8)/2，R7= (R2+R12)/2。另一個(gè)情況是周圍沒有相鄰的紅色/藍(lán)色分量，就取對(duì)象線方形的四角像素點(diǎn)處紅色/藍(lán)色分量的均值，R8=(R2+R4+R12+R14)/4，B12=(B6+B8+B16+B18)/4。色彩校正伽馬校正光強(qiáng)度I和顯示器加載電壓P ywei 伽馬值是非線性的 需要伽馬校正 使其變?yōu)榫€性的圖像增強(qiáng)圖像增強(qiáng)作為一種重要的圖像處理技術(shù)，目的無(wú)非就是兩個(gè)：第一更

6、適合人眼的感覺；第二有利于后續(xù)的分析處理。圖像增強(qiáng)主要包括直方圖均衡、平滑濾波、中值濾波、銳化等內(nèi)容。一般情況下，圖像增強(qiáng)既可以在空間域?qū)崿F(xiàn)，也可以在頻域內(nèi)實(shí)現(xiàn) 對(duì)于消除相關(guān)性的理解，相關(guān)性就是說(shuō)明有些值并不是它實(shí)際的值，只是根據(jù)相關(guān)性，由周圍的值計(jì)算出來(lái)的，這里面是包含誤差的 ，所以相關(guān)性也說(shuō)明了有誤差。平滑濾波圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時(shí)圖像中的細(xì)節(jié)信息也主要集中在其高頻部分，因此，如何去掉高頻干擾又同時(shí)保持細(xì)節(jié)信息是關(guān)鍵。在空域法中，圖像平滑的常用方法是采用均值濾波或中值濾波，對(duì)于均值濾波，它是用一個(gè)有奇數(shù)點(diǎn)的滑動(dòng)窗口在圖像上滑動(dòng)，將窗口中心點(diǎn)對(duì)應(yīng)的圖

7、像像素點(diǎn)的灰度值用窗口內(nèi)的各個(gè)點(diǎn)的灰度值的平均值代替，如果滑動(dòng)窗口規(guī)定了在取均值過(guò)程中窗口各個(gè)像素點(diǎn)所占的權(quán)重，也就是各個(gè)像素點(diǎn)的系數(shù)，這時(shí)候就稱為加權(quán)均值濾波；對(duì)于中值濾波，對(duì)應(yīng)的像素點(diǎn)的灰度值用窗口內(nèi)的中間值代替。圖像蛻化使圖像的邊緣變得更加鮮明經(jīng)過(guò)平滑的圖像變得模糊的根本原因是因?yàn)閳D像受到了平均或積分造成的，因此可以對(duì)其進(jìn)行逆運(yùn)算（如微分運(yùn)算）就可以使圖像變的清晰。從頻率域來(lái)考慮，圖像模糊的實(shí)質(zhì)是因?yàn)槠涓哳l分量被衰減，因此可以用高通濾波器來(lái)使圖像清晰。圖像銳化的技術(shù)有兩種方法：微分法和高通濾波法。圖形直方圖它描述了一幅圖像的灰度級(jí)內(nèi)容，從 數(shù)學(xué)上來(lái)說(shuō)圖像直方圖是圖像各灰度值統(tǒng)計(jì)特性與圖像

8、灰度值的函數(shù)白平衡圖像傳感器沒有這種人眼的適應(yīng)性， 在不同的光線下，由于圖像傳感器輸出的不平衡性，造成其輸出的彩色失真：或者圖像偏藍(lán)，或者偏紅，理解白平衡，涉及到另一個(gè)重要的概念：色溫。所謂色溫，簡(jiǎn)而言之，就是定量地以開爾文溫度表示色彩。色溫越高，藍(lán)色成分就越多；色溫越低，紅色成分就越多第三章 熵編碼 就是利用信源的統(tǒng)計(jì)特性進(jìn)行碼率壓縮的編碼；有變長(zhǎng)編碼和算數(shù)編碼：變長(zhǎng)編碼又稱哈弗曼編碼（也稱最佳編碼）：原理是 對(duì)出現(xiàn)概率大的符號(hào)分配短字長(zhǎng)的二進(jìn)制碼，對(duì)出現(xiàn)概率小的符號(hào)分配長(zhǎng)字節(jié)碼。第四章 視頻編碼標(biāo)準(zhǔn)簡(jiǎn)介H261 各個(gè)國(guó)家的彩色格式 (PAL和NTSC) H261采用中間格式CIF采用CIF

9、格式，視頻信號(hào) 采用CIF及QCIF格式時(shí)，視頻信號(hào)的結(jié)構(gòu)采用下圖所示的圖像、塊組（GOB，groupof block）、宏塊（MB，macroblock）、塊（B，block）四級(jí)結(jié)構(gòu)。每幀CIF圖像由2個(gè)GOB組成，每個(gè)GOB由33個(gè)MB組成，每個(gè)MB由4個(gè)亮度塊和1個(gè)Cr塊及1個(gè)Cb塊組成，每個(gè)塊（B）又由88像素構(gòu)成。一幀QCIF圖像由3個(gè)GOB組成。視頻信源編碼器將視頻信號(hào)編碼壓縮，主要采用混合編碼方法；視頻復(fù)合編碼器將每幀圖像數(shù)據(jù)編排成四層結(jié)構(gòu)，并通過(guò)熵編碼對(duì)視頻數(shù)據(jù)進(jìn)行進(jìn)一步壓縮輸出；傳輸緩沖器和碼率控制器用于保證輸出碼流盡量穩(wěn)定；傳輸編碼器用于視頻數(shù)據(jù)的誤碼檢測(cè)和糾正。H263

10、 有5種圖像格式 H264視頻信源編碼框和H261相同，不同的是H264輸入有多種格式，輸出為H263碼流MPEG-1 標(biāo)準(zhǔn)的功能：（1） 視頻壓縮編碼，壓縮后碼率在1.5Mbps，可用于視頻傳輸和視頻存儲(chǔ)；編碼前必須將視頻圖像轉(zhuǎn)換成逐行掃描圖像。（2）錄像機(jī)的正放、圖像凍結(jié)快進(jìn)、快退和慢放功能以及隨機(jī)存儲(chǔ)功能。MPEG-1 的圖像類型和編碼結(jié)構(gòu)：MPEG-1定義了3種圖像類型：I,P,B圖像，I 圖像即幀內(nèi)（Intra）圖像，采用幀內(nèi)編碼，不參考其它圖像，但可作為其它類型圖像的參考幀。P圖像即預(yù)測(cè)（Predicted）圖像，采用幀間編碼，參考前一幅I或P圖像，用作運(yùn)動(dòng)補(bǔ)償。B圖像即雙向預(yù)測(cè)（Bi- predicted）圖像，參考前后兩個(gè)方向圖像。雙向預(yù)測(cè)編碼解決了“暴露”問題， 讓圖像能更柔和