信息論與編碼概念總結(jié)

1、第一章1.通信系統(tǒng)的基本模型:2.信息論研究?jī)?nèi)容：信源熵，信道容量，信息率失真函數(shù)，信源編碼，信道編碼，密碼體制的安全性測(cè)度等等第二章.自信息量：一個(gè)隨機(jī)事件發(fā)生某一結(jié)果所帶的信息量。.平均互信息量：兩個(gè)離散隨機(jī)事件集合X和Y，若其任意兩件的互信息量為 I（Xi;Yj），則其聯(lián)合概率加權(quán)的統(tǒng)計(jì)平均值，稱為兩集合的平均互信息量，用I（X;Y ）表示.熵功率：與一個(gè)連續(xù)信源具有相同熵的高斯信源的平均功率定義為熵功率。如果熵功率等于信源平均功率，表示信源沒(méi)有剩余；熵功率和信源的平均功率相差越大，說(shuō)明信源的剩余越大。所以信源平均功率和熵功率之差稱為連續(xù)信源的剩余度。信源熵的相對(duì)率(信源效率)：實(shí)際熵與

2、最大熵的比值信源冗余度：意義：針對(duì)最大熵而言，無(wú)用信息在其中所占的比例。.極限熵：平均符號(hào)熵的N取極限值，即原始信源不斷發(fā)符號(hào)，符號(hào)間的統(tǒng)計(jì)關(guān)系延伸到無(wú)窮。.平均符號(hào)熵：.離散信源和連續(xù)信源的最大熵定理。離散無(wú)記憶信源，等概率分布時(shí)熵最大。連續(xù)信源，峰值功率受限時(shí)，均勻分布的熵最大。平均功率受限時(shí)，高斯分布的熵最大。均值受限時(shí)，指數(shù)分布的熵最大.限平均功率的連續(xù)信源的最大熵功率：若一個(gè)連續(xù)信源輸出信號(hào)的平均功率被限定為，則其輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，信源有最大的熵，其值為.對(duì)于維連續(xù)平穩(wěn)信源來(lái)說(shuō)，若其輸出的維隨機(jī)序列的協(xié)方差矩陣被限定，則維隨機(jī)矢量為正態(tài)分布時(shí)信源的熵最大，也就是

3、維高斯信源的熵最大，其值為7.離散信源的無(wú)失真定長(zhǎng)編碼定理：離散信源無(wú)失真編碼的基本原理原理圖說(shuō)明：（1） 信源發(fā)出的消息：是多符號(hào)離散信源消息，長(zhǎng)度為L(zhǎng),可以用L次擴(kuò)展信源表示為： XL=(X1X2XL) 其中，每一位Xi都取自同一個(gè)原始信源符號(hào)集合（n種符號(hào)）： X=x1，x2，xn 則最多可以對(duì)應(yīng)nL條消息。（2）信源編碼后，編成的碼序列長(zhǎng)度為k,可以用k次擴(kuò)展信宿符號(hào)表示為：Yk=(Y1Y2Yk) 稱為碼字/碼組其中，每一位Yi都取自同一個(gè)原始信宿符號(hào)集合：Y=y1，y2，ym 又叫信道基本符號(hào)集合（稱為碼元，且是m進(jìn)制的）則最多可編成mk個(gè)碼序列，對(duì)應(yīng)mk條消息定長(zhǎng)編碼：信源消息編成

4、的碼字長(zhǎng)度k是固定的。對(duì)應(yīng)的編碼定理稱為定長(zhǎng)信源編碼定理。變長(zhǎng)編碼：信源消息編成的碼字長(zhǎng)度k是可變的。8.離散信源的最佳變長(zhǎng)編碼定理最佳變長(zhǎng)編碼定理：若信源有n條消息，第i條消息出現(xiàn)的概率為pi，且p1>=p2>=>=pn，且第i條消息對(duì)應(yīng)的碼長(zhǎng)為ki，并有k1<=k2<=<=kn即：把經(jīng)常出現(xiàn)的消息編成短碼，不經(jīng)常出現(xiàn)的消息編成長(zhǎng)碼。這樣可使平均碼長(zhǎng)最短，從而提高通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。在不等長(zhǎng)碼字組成的序列中，要正確識(shí)別每個(gè)長(zhǎng)度不同的碼字的起點(diǎn)就比等長(zhǎng)編碼復(fù)雜得多。第三章1.信道容量的概念及用途：最大的信息傳輸速率為信息容量信道的功能：

5、以信號(hào)形式傳輸和存儲(chǔ)信息2.信道編碼定理：若有一個(gè)離散無(wú)記憶平穩(wěn)信源，其容量為C，輸入序列長(zhǎng)度為L(zhǎng)，則只要傳輸?shù)男畔⑺俣萊<C則總可以找到一種編碼，使當(dāng)L足夠大時(shí)，得到的譯碼錯(cuò)誤概率反之，若R>C時(shí)，則無(wú)論采用何種編碼，必然會(huì)有譯碼差錯(cuò)第四章1.保真度準(zhǔn)則下的信源編碼定理：設(shè)有某一信源的信息率失真函數(shù)為R(D)，選擇有限的失真函數(shù)d，對(duì)于任意允許的平均失真度D，當(dāng)壓縮后的信息率 R>R(D)則一定存在某種信源編碼方法，使譯碼后的平均失真度<=D反之，若壓縮后的信息率R<R(D)則無(wú)論用什么編碼方法，必有譯碼后的平均失真>=D2.信息率失真函數(shù)的概念及應(yīng)用：給

6、定信源和失真函數(shù)，要使信源的平均失真 (D為給定的失真上限)，則需找到某個(gè)信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱為試驗(yàn)信道）上傳輸?shù)男畔⑺俾蔬_(dá)到最小，這個(gè)最小的信息速率稱為信息率失真函數(shù)，記作R(D)。信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。3.信道容量和信息率失真函數(shù)的比較：相同點(diǎn)：二者都是求平均互信息的極值不同點(diǎn)：1、C和R(D)的不同：（1）信道容量：選擇某一信源分布的情況下，求平均互信息的極大值。依據(jù)：平均互信息I是信源概率分布p(xi)的嚴(yán)格上凸函數(shù)。（2）信息率失真函數(shù)：求選擇某一壓縮試驗(yàn)信道（轉(zhuǎn)移概率分布）的情況下，依據(jù)保真度準(zhǔn)

7、則，求平均互信息的極小值。依據(jù)：平均互信息I是信道轉(zhuǎn)移概率分布p(yj/xi)的嚴(yán)格下凸函數(shù)。2、 C和R(D)的不同：（1）信道容量C一旦求出來(lái)，則與信源分布無(wú)關(guān)（只是證明存在這樣的滿足信道容量的信源分布），它只和信道轉(zhuǎn)移概率分布p(yj/xi)有關(guān)。即信道容量和信源特性無(wú)關(guān)，反映信道特性。2）信息率失真函數(shù)R(D)一旦求出來(lái)，則與信道轉(zhuǎn)移概率分布無(wú)關(guān)（只是證明存在達(dá)到最小信息率的壓縮試驗(yàn)信道），它只和信源概率分布p(xi)有關(guān)。即信息率失真函數(shù)和信道特性無(wú)關(guān)，反映信源特性。3、 C和R(D)的不同：（1）信道容量是通過(guò)信道編碼增加信息冗余度來(lái)提高通信的可靠性，是信息傳輸?shù)睦碚摶A(chǔ)。（2）信

8、息率失真函數(shù)是通過(guò)信源編碼減少信息冗余度來(lái)提高通信有效性，是信源壓縮的理論基礎(chǔ)。第五章最佳變長(zhǎng)信源編碼定理：最佳變長(zhǎng)編碼定理：若信源有n條消息，第i條消息出現(xiàn)的概率為pi，且p1>=p2>=>=pn，且第i條消息對(duì)應(yīng)的碼長(zhǎng)為ki，并有k1<=k2<=<=kn即：把經(jīng)常出現(xiàn)的消息編成短碼，不經(jīng)常出現(xiàn)的消息編成長(zhǎng)碼。這樣可使平均碼長(zhǎng)最短，從而提高通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。在不等長(zhǎng)碼字組成的序列中，要正確識(shí)別每個(gè)長(zhǎng)度不同的碼字的起點(diǎn)就比等長(zhǎng)編碼復(fù)雜得多。第六章1.信道編碼的作用：一類信道編碼的是對(duì)傳輸信號(hào)的碼型進(jìn)行變換，使之跟適合與信道特性或滿足接收端對(duì)恢復(fù)信號(hào)的要求，從而減少信息損失；一類信道編碼是在信息序列中人為的增加冗余位，使之具有相關(guān)特性，在接收端利用相關(guān)特性進(jìn)行檢錯(cuò)或糾錯(cuò)。2.信道編碼器的性能指標(biāo)及其與碼長(zhǎng)之間