限失真信源與信息率失真函數(shù)R(D)

1、第四章 限失真信源與信息率失真函數(shù)R(D)§4-1 引言（一） 引入限失真的必要性：1） 失真在傳輸中是不可避免的;2） 接收者（信宿）無論是人還是機(jī)器設(shè)備，都有一定的分辨能力與靈敏度，超過分辨能力與靈敏度的信息傳送過程是毫無意義的;3） 即使信宿能分辨、能判別，但對通信質(zhì)量的影響不大，也可以稱它為允許范圍內(nèi)的失真；4） 我們的目的就是研究不同的類型的客觀信源與信宿，在給定的Qos要求下的最大允許（容忍）失真D，及其相應(yīng)的信源最小信息率R(D).5） 對限失真信源，應(yīng)該傳送的最小信息率是R(D)，而不是無失真情況下的信源熵H(U).顯然 H(U)R(D).當(dāng)且僅當(dāng) D=0時(shí)，等號成立

2、；6） 為了定量度量D，必須建立信源的客觀失真度量，并與D建立定量關(guān)系；7） R(D)函數(shù)是限失真信源信息處理的理論基礎(chǔ)；（二） R(D)函數(shù)的定義1） 信源與信宿聯(lián)合空間上失真測度的定義：: 其中： （單消息信源空間） （單消息信宿空間） 則有 稱為統(tǒng)計(jì)平均失真，它在信號空間中可以看作一類“距離”，它有性質(zhì)1, 當(dāng) 23對離散信源：i=j=1,2.n,則有： 若取 為漢明距離，則有：對連續(xù)信源，失真可用二元函數(shù)d(u,v)表示。則有：推而廣之，d(u,v)可表示任何用v表達(dá)u時(shí)所引進(jìn)的失真，誤差，損失，風(fēng)險(xiǎn)，甚至是主觀感覺上的差異等等。進(jìn)一步定義允許失真D為平均失真的上界：-對離散在討論信息

3、率失真函數(shù)時(shí)，考慮到信源與信宿之間有一個(gè)無失真信道，稱它為試驗(yàn)信道，對離散信源可記為，對限失真信源這一試驗(yàn)信道集合可定義為：根據(jù)前面在互信息中已討論過的性質(zhì)： 且互信息是的上凸函數(shù)，其極限值存在且為信道容量：這里，我們給出其對偶定義： 即互信息是的下凸函數(shù)。其極限值存在且為信息率失真函數(shù)。它還存在下列等效定義：稱D(R)為失真信息率函數(shù)，是R(D)的逆函數(shù)，它是求在允許最大速率情況下的最大失真D。至此，我們已給定R(D)函數(shù)一個(gè)初步描述。由定義，R(D)函數(shù)是在限定失真為最大允許失真為D時(shí)信源最小信息速率，它是通過改變試驗(yàn)信道特性（實(shí)際上是信源編碼）來達(dá)到的。所以R(D)是表示不同D值時(shí)對應(yīng)的

4、理論上最小信息速率值。然而對于不同的實(shí)際信源，存在著不同類型的信源編碼，即不同的試驗(yàn)信道特性并可以求解出不同的信息率失真R(D)函數(shù)，它與理論上最佳的R(D)之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，這也正是R(D)函數(shù)的理論價(jià)值所在。特別對于連續(xù)信源，無失真是毫無意義的，這時(shí)R(D)函數(shù)具有更大的價(jià)值。例：若有一個(gè)離散、等概率單消息（或無記憶）二元信源： ,且采用漢明距離作為失真度量標(biāo)準(zhǔn)：即 若有一具體信源編碼方案為：N個(gè)碼元中允許錯(cuò)一個(gè)碼元，實(shí)現(xiàn)時(shí)N個(gè)碼元僅送N-1個(gè)，剩下一個(gè)不送，在接收端用隨機(jī)方式?jīng)Q定（為擲硬幣方式）。此時(shí)，速率R及平均失真D相應(yīng)為：若已知這一類信源理論上的（

5、后面將進(jìn)一步給出計(jì)算），則有陰影范圍表示實(shí)際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務(wù)。§4-2 R(D)函數(shù)的性質(zhì)討論R(D)性質(zhì)以前先簡要介紹R(D)的定義域。對離散：對應(yīng)R(D)值：。對連續(xù)： R(D)函數(shù)性質(zhì)可用下列定理總結(jié)：定理421：對離散、單個(gè)消息限定失真信源，其R(D)函數(shù)滿足下列性質(zhì)：（1）R(D)是D的下凸（）函數(shù)；（2）R(D)是D的單調(diào)非增函數(shù)；（3）R(D)是D的連續(xù)函數(shù)；（4）； 證明：（1）證明思路：根據(jù)R(D)函數(shù)定義，與下凸函數(shù)定義，只需證明： 首先證，再利用互

6、信息對的下凸性。即：若用與表示達(dá)到與時(shí)的條件分布，且 則有： 這里，由可得 再利用互信息對的下凸性，有（2）設(shè) 則 即R(D)是D的單調(diào)非增函數(shù)。（3）設(shè)。由定義，有。同時(shí)，由于是連續(xù)函數(shù)。即當(dāng) 有 即，R(D)是D的連續(xù)函數(shù)。（4）當(dāng)，即無失真時(shí)，一一對應(yīng)§4-3 離散信源R(D)函數(shù)計(jì)算： 可見，求解R(D)實(shí)質(zhì)上是求解互信息的條件極值，可采用拉氏乘子法求解。但是，在一般情況下只能求得用參量（R(D)的斜率S）來描述的參量表達(dá)式，并借助計(jì)算機(jī)進(jìn)行迭代運(yùn)算。 由信道容量C與R(D)數(shù)學(xué)上對偶關(guān)系：其迭代運(yùn)算與求信道容量迭代運(yùn)算相仿的。在正式討論R(D)迭代運(yùn)算前，這里，我們先介紹特

7、殊情況下的R(D)計(jì)算。具有等概率、對稱失真信源的R(D)計(jì)算：例1：有一個(gè)二元等概率平穩(wěn)無記憶信源U，且失真函數(shù)為： 試求其R(D)=? 解：由：為了運(yùn)算方便，取上式中，已知：，D（允許失真）給定。則一一對應(yīng)。這時(shí)，由概率歸一性，可進(jìn)一步假設(shè)：可見：代入上述公式，有再將它代入轉(zhuǎn)移概率公式中：由：，得：則：例2：若有一個(gè)元等概率、平穩(wěn)無記憶信源，且規(guī)定失真函數(shù)為：試求R(D)=? 解：由，求得 取，4，8，有由上圖可見無失真時(shí) ， ， ，有失真，比如時(shí)顯然 ，進(jìn)制越小，壓縮比越大； ，但相對關(guān)系不變， 允許失真越大，壓縮比亦越大。R(D)的參量表達(dá)式：要討論R(D)的計(jì)算，由R(D)函數(shù)定義，

8、需要求下列約束條件下的互信息極值。 求解這類極值有好幾種方法：變分法、拉氏乘子法、凸規(guī)劃方法等等。這里引用最簡單的拉氏乘子法。但是它不能處理不等式約束關(guān)系，因此需對上述條件進(jìn)行必要的修改，這時(shí)上述問題可歸納為在下列組約束條件下：求互信息的極小值。引用拉氏乘子法，并設(shè)與分別表示個(gè)約束條件的待定參數(shù)，則有：求得 由歸一化條件有 求得 再將式兩邊同乘并對i求和，且設(shè)qj>0，則有 代入，得： 當(dāng)信源給定，選定與以后，它是一個(gè)求解個(gè)的方程組，則可按下列順序求解：最后求得參量方程如下： 這就是用參量的斜率表達(dá)的函數(shù)形式，又稱為參量方程。定理4-3-1：，即R(D)斜率為參量S。證明從略。例：引用上

9、述參量方程求解一個(gè)二進(jìn)不等概率離散信源：，且其中，試求解：首先求參量與由公式，有：求得 將它帶入式，有求得 再將帶入式中： 再將它帶入，有： 取，的曲線：由圖可見：無失真： 限失真，比如時(shí)結(jié)論：1) 信源概率分布越不均勻，壓縮比越大；2) 越大，壓縮比也越大。R(D)函數(shù)的迭代算法首先讓我們從信道容量與函數(shù)定義與數(shù)學(xué)上的對偶性來分析：顯然，我們可以利用求解信道容量的計(jì)算迭代公式的方法與思路求解函數(shù)。其關(guān)鍵步驟為：1)尋求兩個(gè)決定互信息的互為因果關(guān)系的自變量對，這里選，且通過求極值；2)對互信息求條件極值（極小值），引用拉氏乘子法；具體求解步驟如下：1) 兩個(gè)自變量中首先固定值，則在滿足和的約束

10、條件下求的極小值。引用拉氏乘子法，有： 即 ， 求得：，再由歸一化條件 ，再代入原式得： 2) 再固定值，在滿足（對所有值）和的約束條件下求極值： 由歸一化條件，有求出： 再將它帶入表達(dá)式，求得 式與式是兩個(gè)基本迭代公式若假設(shè)一個(gè)值，比如，通過逐次迭代，求得，代入互信息公式中，求得再繼續(xù)假設(shè)、等。求得相應(yīng)的、。最后再將其值連成一個(gè)曲線，即為函數(shù)曲線。下面，為了迭代方便，可將改寫為：假設(shè)，則可按下列順序迭代：（當(dāng)信源給定，選一初始分布） 上述迭代至前后兩值間誤差小于給定值為止?？汕蟮?重新假設(shè)、 ，分別求得、。最后連接各值為一條曲線，即為所求的函數(shù)曲線。§4-4 連續(xù)信源R(D)函數(shù)連

11、續(xù)信源比離散信源更需要R(D)函數(shù)。因?yàn)檫B續(xù)信源信息量為無限大（取值無限），傳送信息量既無必要，也不可能。所以連續(xù)信源都是屬于限失真范疇；連續(xù)信源R(D)與離散信源R(D)類似：只需將概率換為概率密度 求和換為積分 則當(dāng)已知信源概率分布密度為、條件密度為、失真函數(shù)為、信源平均失真而 則有： 同樣，可以求出類似于離散的參量表達(dá)式：即在下述限制條件下：求互信息的下確界。引用變分，并引入待定常數(shù)和任意函數(shù)，再對取變分，并置之為0。所謂變分是指求泛函的極值。即其求解順序完全類似于離散情況，但需求解一個(gè)積分方程。最后結(jié)果為：連續(xù)信源能否有類似于離散信源的一些特殊情況，不需求解繁瑣的積分方程呢？的確存在，

12、在某些情況下，比如時(shí)，求解可大大減化。即若二元函數(shù)僅與與差值有關(guān)，比如這時(shí)令參量，設(shè)，其中，且，這時(shí)可求得：可見，由上述卷積表達(dá)式，無需求解積分方程就可以求得分布密度。進(jìn)一步，若令、和分別表示、和的特征函數(shù)，則由以上時(shí)域的卷積關(guān)系，求得下列特征函數(shù)間的關(guān)系如下： 則 再由類似于離散信源的下列求解順序：例：若 當(dāng)時(shí)，求 則即 而信源p(u)的特征函數(shù)為再由最后求得：定理2-4-1：對任一連續(xù)非正態(tài)信源，若已知其方差為，熵為，并規(guī)定失真函數(shù)為，則其R(D)滿足下列不等式： （正態(tài)） （上限）可見，在平均功率受限條件下，正態(tài)分布R(D)函數(shù)值最大，它是其他一切分布的上限值，也是信源壓縮比中最小的。所

13、以人們往往將它作為連續(xù)信源壓縮比中最保守的估計(jì)值。例：對連續(xù)有記憶信源R(D)函數(shù)計(jì)算相當(dāng)復(fù)雜，下面考慮一個(gè)簡單的特例：對一個(gè)廣義平穩(wěn)遍歷馬氏鏈信源，且有，其中。現(xiàn)求其R(D)函數(shù)。下面我們僅給出結(jié)果：而結(jié)論：1）（越大）， （越?。?， 壓縮比2） ， ， 壓縮比K下面利用連續(xù)信源的R(D)函數(shù)，進(jìn)一步分析語音的波形編碼：為了分析方便，假設(shè)語音遵從平穩(wěn)正態(tài)分布：例1：分析PCM編碼及其壓縮潛力：現(xiàn)有PCM編碼是8KHz采樣率，8位編碼，8*8=64Kb/s，它認(rèn)為樣點(diǎn)間獨(dú)立，且每個(gè)樣點(diǎn)8bit，這時(shí)信噪比可達(dá)到入公用網(wǎng)26dB的要求，在語音編碼中信噪比是，其中D為噪聲（允許失真）功率，由正態(tài)分布的信息率失真函數(shù)的公式：實(shí)際語音的R(D)值要小于4.3bit，因?yàn)檎Z音不遵從正態(tài)分布，而是近似遵從Laplace分布（一級近似）、Gamma分布（二級近似）。它們的R(D)函數(shù)值均小于正態(tài)分布的R(D)值，?？梢姡?.3bit至PCM 8bit，大約有一倍差距。例2：若對語音編碼進(jìn)一步計(jì)入相關(guān)性，則其R(D)函數(shù)為：，則可算出其R(D)值，即對應(yīng)壓縮比（相對于PC