信息論第5講——平均互信息的凸性(含習(xí)題)

1、平均互信息平均互信息 定義及含義定義及含義 信息信息/數(shù)據(jù)處理定理數(shù)據(jù)處理定理Review)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI);();();();(VUIYXIZXIYXI 凸性凸性 性質(zhì)：性質(zhì)： 對(duì)稱性、非負(fù)性、極值性對(duì)稱性、非負(fù)性、極值性凸集凸集若集合若集合nRC（n維歐氏空間），有維歐氏空間），有CqCp , 且對(duì)任意實(shí)數(shù)且對(duì)任意實(shí)數(shù)有有(1),pqC顯然，顯然，n維歐氏空間維歐氏空間 為一凸集合。為一凸集合。01則稱為則稱為C為凸集合。為凸集合。概率矢量構(gòu)成集合為凸集概率矢量構(gòu)成集合為凸集定義定義 若一個(gè)若一個(gè)K維矢量維矢量 =( 1, 2,

2、 , K)的所有分量的所有分量為非負(fù)的，且和為為非負(fù)的，且和為1，即就稱，即就稱 為概率矢量。為概率矢量。引理引理 概率矢量全體所構(gòu)成的區(qū)域概率矢量全體所構(gòu)成的區(qū)域R是凸的。是凸的。證：若證：若 ,R，對(duì)，對(duì)0 1構(gòu)造矢量構(gòu)造矢量 =(1- )Kkakkk, 2, 10)1 (因此因此 是概率矢量，仍屬于是概率矢量，仍屬于R，所以，所以R是凸的。是凸的。KkKkkkKkka1111)1 (凸函數(shù)定義凸函數(shù)定義定義在凸集定義在凸集R上的一個(gè)上的一個(gè)實(shí)函數(shù)實(shí)函數(shù)f，若它對(duì)所有，若它對(duì)所有,R和和0 1滿足滿足 f( )+(1 ) f ()f ( (1 ) 就稱函數(shù)就稱函數(shù)f為為R上的上的凸凸函數(shù)函

3、數(shù)。若式中不等號(hào)的方向相反，就稱若式中不等號(hào)的方向相反，就稱f為為凸凸函數(shù)函數(shù)。若等號(hào)僅當(dāng)若等號(hào)僅當(dāng) =0或或1時(shí)成立，就稱時(shí)成立，就稱f為為嚴(yán)格凸嚴(yán)格凸或嚴(yán)格凸或嚴(yán)格凸的。的。在在a,b上定義的上凸函數(shù)上定義的上凸函數(shù)在在a,b上定義的下凸函數(shù)上定義的下凸函數(shù)凸函數(shù)性質(zhì)凸函數(shù)性質(zhì)1) 若若f( )是凸是凸的，則的，則-f( )是凸是凸的，反過(guò)來(lái)也成立。的，反過(guò)來(lái)也成立。 2) 若若f1( ), f2( ), fL( )是是R上的凸上的凸函數(shù)，函數(shù)，c1,c2,cL是正是正數(shù)，則數(shù)，則 為為R上的凸上的凸函數(shù)，若其中任一個(gè)是嚴(yán)函數(shù)，若其中任一個(gè)是嚴(yán)格凸的，則和式也是嚴(yán)格凸的。格凸的，則和式也是

4、嚴(yán)格凸的。 Llllfc1)(3) (Jensen不等式不等式) 若若f( )是是R上的凸上的凸函數(shù)，則函數(shù)，則Ef( ) f (E ( )Jensen不等式不等式:若f( )是R上的凸函數(shù)，則 E f( ) f (E ( ) 其中，E表示數(shù)學(xué)期望。證明證明：只對(duì)離散情況證明。 對(duì)于離散變量，令 ，則E f( ) f (E ( ) 可寫成可用歸納法進(jìn)行證明。對(duì)兩點(diǎn)分布，根據(jù)凸函數(shù)的定義有假設(shè)當(dāng)分布點(diǎn)個(gè)數(shù)為n時(shí)不等式成立，考察分布點(diǎn)個(gè)數(shù)為n+1時(shí)的情況。Llllpp11, 011221()()LLLlllf pppp f1212(1)()(1) ()fff對(duì) ，令 則有 證畢證畢 111, 0n

5、iiippniip1 1111111111111111()()()()()()1() nnnnnnnnniinniniinniniiip fp fpfppffpffppffppfp定理定理: 如果函數(shù)f(x)在某個(gè)區(qū)間上存在非負(fù)(正)的二階導(dǎo)數(shù)，則 f(x)為該區(qū)間上的凸函數(shù)(嚴(yán)格凸函數(shù))。 證明證明：利用函數(shù)f(x)在x0點(diǎn)的泰勒級(jí)數(shù)展開:其中x*位于x0和x之間。根據(jù)假設(shè) ，因此，對(duì)任意的x，最后一項(xiàng)總是非負(fù)。設(shè) 取 ，可得類似地，取 ，可得20000( *)( )()()()()2fxf xf xfxxxxx( *)0fx012(1)xxx1xx10012()()(1)()()f xf

6、xfxxx2xx20021()()()()f xf xfxxx因此，得 證畢證畢 同理可證：如果函數(shù)f(x)在某個(gè)區(qū)間上存在的二階導(dǎo)數(shù)0（0 對(duì)所有對(duì)所有 k k =0 =0 )(f)(kf)(kf其中為一常數(shù)。證證：首先證明充分性。首先證明充分性。設(shè)函數(shù)f在 點(diǎn)滿足KT條件，今證明 為極大值，即對(duì)任意 ，恒有 。由于f是凸函數(shù)，所以 f ( )(1 ) f ( )f (1 ) 0 1即f ( )f ( )f (1 ) f ( )/ 01R( )( ) 0ff( )f 1211122212111222122212221( )(,)(1) )( )(),(),()(,)(),(),()(,(),

7、()(,(),()(KKKKKKKKKKKKKKffffffffff 21212112,()(,()(,()(,)KKKKKKkKKKKfff 0(1)()()()lim( )()kkkkfffff 因上式對(duì)任意 (0 1)成立，可令 0，得由KT條件有將其代入上式得從而證明 為極大值?，F(xiàn)在證明必要性。令 使f 達(dá)到極大值，并假定偏導(dǎo)數(shù)在 處連續(xù)。則對(duì)任意 ,有式中01。以除兩邊并令0 得)()()(kkkkkf0)()(11KkKkkkff( )f RR0)()1(ff0)1(0ddf即因 為是概率矢量，所以至少有一個(gè)分量，例如i是嚴(yán)格正的，即i0。選擇另一概率矢量滿足式中 。于是有對(duì)于 也

8、可選負(fù)值和正數(shù)，有 和kikkkkf0)()(ilkllilkl其 它 值( )( )0kiff0,k1( )( )0kff1( )( )0kff即( )( )kiff對(duì)對(duì) ，因?yàn)楦怕适噶康年P(guān)系，只能選擇，因?yàn)楦怕适噶康年P(guān)系，只能選擇 ，由此得，由此得0k0( )( )kiff證畢證畢熵的凸性熵的凸性證明：證明：),(112111KpppP),(222212KpppP10)()1 ()()1 (2121PHPHPPH令令則則KiiiiiPpPpPPH1212121)1 (log()1 ()1 (KiiiiKiiiiPpPPpp12121211)1 (log()1 ()1 (log(1)1 (1

9、21KiiiPp由于由于KiiiKiiippppPPH12211121log1log)1 ()()1 ()(21PHPH當(dāng)且僅當(dāng)當(dāng)且僅當(dāng) 時(shí)等號(hào)成立時(shí)等號(hào)成立21PP p平均互信息量凸性平均互信息量凸性由互信息的定義式：由互信息的定義式：可知，它是輸入分布可知，它是輸入分布 及轉(zhuǎn)移概率分布及轉(zhuǎn)移概率分布 的函數(shù)。的函數(shù)。可以記為：可以記為： 如果轉(zhuǎn)移概率分布固定，I(X,Y)就是先驗(yàn)概率Q(X)的函數(shù)； 如果信源先驗(yàn)概率固定，I(X,Y)就是轉(zhuǎn)移概率P(Y/X)的函數(shù)。( )q x( / )p y x(;)( ),(/)I X Yf Q xP yxxyyxypxypxqYXI)()(log)(

10、)()(；例例 設(shè)二元對(duì)稱信道(BSC)的信源空間為：X=0,1; Q(X)=, 1-; 0 1-p 0 p p 1 1-p 1因?yàn)橐阎D(zhuǎn)移概率，所以利用公式I(X,Y)=H(Y)-H(Y/X) 。 H(Y/X)=-q(xi) p(yj/xi) log p(yj/xi) =q(xi) -plog p+(1-p) log (1-p) =H(p) 其中：H(p)= -plog p+(1-p) log (1-p) 另外：為了求H(Y)，利用w(yj)= q(xi) p(yj/xi)；可得： w(y=0)=(1-p)+(1-)p w(y=1)=p+(1-)(1-p)所以：H(Y)=-(1-p)+(1-

11、)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1-)(1-p) =H(1-p)+(1-)p) 可得平均互信息量為： I(X,Y)=H(1-p)+(1-)p)-H(p)當(dāng)固定信源先驗(yàn)概率分布當(dāng)固定信源先驗(yàn)概率分布時(shí)，時(shí)，I(X,Y)是信道轉(zhuǎn)移概率是信道轉(zhuǎn)移概率p的下凸函數(shù)的下凸函數(shù)，如圖所示。 0 1/2 1 p從圖中可知，當(dāng)信源固定后，存在一種BSC信道，p=(1-p)=1/2，使在信道輸出端獲得信息量最小，即等于0。也就是說(shuō)，信源的信息全部損失在信道中了。這是最差的信道，這個(gè)性質(zhì)說(shuō)明，每個(gè)信源都存在一種最差的信道，此信道的干擾最大。 I(X,Y) H() 根據(jù)這個(gè)關(guān)系，

12、當(dāng)當(dāng)p值一定，即固定信道，可知值一定，即固定信道，可知I(X,Y)是是的上凸函數(shù)的上凸函數(shù)，其曲線如圖： I(X,Y) 1-H(p) 0 1/2 1 從圖中可知，當(dāng)BSC信道的信道矩陣固定后，若輸入符號(hào)集X的概率分布不同，在接收端平均每個(gè)符號(hào)獲得的信息量就不同。只有當(dāng)輸入為等概分布時(shí)即，p(0)=p(1)=1/2時(shí)，接收端的信息量才為最大值1-H(p)。定理定理2.5.2 當(dāng)條件分布當(dāng)條件分布 p(y/x)給定時(shí)，平均互信息給定時(shí)，平均互信息I(X;Y)是是輸入分布輸入分布q(x)的凸的凸函數(shù)。函數(shù)。證明：令q1和q2是輸入集X上的任意兩個(gè)概率矢量，相應(yīng)的互信息為I1和I2，令滿足01，q=q

13、1(1)q2是合成概率矢量，此時(shí)輸入X和輸出Y之間的互信息為I。 今需要證明: . 令p1(xy)=q1(x)p(y/x), p2(xy)=q2(x)p(y/x), 有 p(xy)= q(x)p(y/x)=p1(xy) (1) p2(xy) 1122( )(),( )()xxw yp xyw yp xyIII21)1 (12( )()( )(1)( )xw yp xyw yw y根據(jù)平均互信息的定義，得因?yàn)?log x 是嚴(yán)格凸函數(shù)，所以 證畢121212121212()()(1)()log(1)()log( )( )()()(1)()log( )( )( )()log(1)()log( )(

14、 )xyxyxyxyxyp y xp y xIIIp xypxyw ywyp y xp xypxyw yw yw yp xypxyw ywy12121212121212( )( )(1)()log(1)()log( )( )( )( )log()(1)log()( )( )( )( )log()(1)log()( )( )0 xyxyxyxyyxyxw yw yIIIp xypxyw ywyw yw yp xypxyw ywyw yw yp xypxyw ywy 當(dāng)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù)當(dāng)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù)1) 對(duì)于一定的信道轉(zhuǎn)移概率分布，總

15、可以找到一個(gè)對(duì)于一定的信道轉(zhuǎn)移概率分布，總可以找到一個(gè)先驗(yàn)概率分布為先驗(yàn)概率分布為P的信源的信源X，使平均互信息達(dá)到相，使平均互信息達(dá)到相應(yīng)的最大值應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹，這時(shí)稱這個(gè)信源為該信道的匹配信源。配信源。2) 不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的Imax，或者說(shuō)，或者說(shuō)Imax是是P(Y/X)的函數(shù)。的函數(shù)。 平均互信息的凸性平均互信息的凸性定理定理2.5.3 當(dāng)集當(dāng)集X的概率分布保持不變時(shí)，平均互信息量是的概率分布保持不變時(shí)，平均互信息量是條件概率分布條件概率分布p(y/x)的凸的凸函數(shù)。函數(shù)。證明：令p1和p2是兩個(gè)任意條件概率分布，相

16、應(yīng)的平均互信息為I1和I2，令滿足01,p=p1(1)p2是合成條件概率分布，此時(shí)輸入X和輸出Y之間的互信息為I。今需要證明 . 令 根據(jù)平均互信息的定義，得12(1)III1111122222( )( )( / ),( /)( )( / )/( )( )( )( / ),( /)( )( / )/( )( )( )( / ),( /)( ) ( / )/( )xxxw yq x py xp x yq x py xw ywyq x py xpx yq x py xwywyq x py xp x yq x p y xwy因?yàn)閘ogx是嚴(yán)格凸函數(shù)，所以 證畢121212121212()(1)( )

17、(/ )(1) ( )(/ )log( )()()( )(/ )log(1)( )(/ )log( )( )()()( )(/ )log(1)( )(/ )log( /)( /)xyxyxyxyxyp x yIIIq x py xq x py xq xpx ypx yq x py xq x py xq xq xp x yp x yq x py xq x py xpxypxy121212121212()()(1)log( ) ( / ) (1)log( )( / )( / )( / )()()log() (1)log()( / )( / )log( ) () (1)log( ) ()0 xyxy

18、xyxyxyxyp x yp x yIIIq x p y xq x p y xp x yp x yp x yp x yp xyp xyp x yp x yw y p x yw y p x yn 當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)1) 對(duì)于一個(gè)已知先驗(yàn)概率為對(duì)于一個(gè)已知先驗(yàn)概率為P的離散信源，總可以找到一的離散信源，總可以找到一個(gè)轉(zhuǎn)移概率分布為個(gè)轉(zhuǎn)移概率分布為P(Y/X)的信道，使平均互信息達(dá)到相的信道，使平均互信息達(dá)到相應(yīng)的最小值應(yīng)的最小值Imin。2) 可以說(shuō)不同的信源先驗(yàn)概率對(duì)應(yīng)不同的可以說(shuō)不同的信源先驗(yàn)概率對(duì)應(yīng)不同的Imin，或者

19、說(shuō)，或者說(shuō)Imin是是P(X)的函數(shù)。即平均互信息的最小值是由體現(xiàn)了信源的函數(shù)。即平均互信息的最小值是由體現(xiàn)了信源本身的特性。本身的特性。 平均互信息的凸性平均互信息的凸性本章小結(jié)本章小結(jié) 熵、互信息定義及含義熵、互信息定義及含義互信息互信息與熵的關(guān)系與熵的關(guān)系 信息處理定理信息處理定理)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI);();(ZXIYXI 凸性凸性信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù)信源一定時(shí)，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù)信源一定時(shí)，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù) 微分熵的定義及

20、與熵的差別微分熵的定義及與熵的差別27個(gè)硬幣中有一個(gè)重量偏輕，其它個(gè)硬幣中有一個(gè)重量偏輕，其它26個(gè)為標(biāo)準(zhǔn)個(gè)為標(biāo)準(zhǔn)重量。重量。試用信息量觀點(diǎn)分析在試用信息量觀點(diǎn)分析在不用砝碼的天平上至少不用砝碼的天平上至少稱多少次，就能發(fā)現(xiàn)這個(gè)輕的硬幣？怎樣稱？稱多少次，就能發(fā)現(xiàn)這個(gè)輕的硬幣？怎樣稱？思考思考:設(shè)有設(shè)有4枚同值硬幣，其中枚同值硬幣，其中1枚硬幣可能是假幣，枚硬幣可能是假幣，如是假幣，其重量與真幣不同，但不知比真幣如是假幣，其重量與真幣不同，但不知比真幣輕還是重?，F(xiàn)在給你一部沒(méi)有砝碼的天平和輕還是重?，F(xiàn)在給你一部沒(méi)有砝碼的天平和1枚真幣，要求你回枚真幣，要求你回答有無(wú)假幣？如答有無(wú)假幣？如有假幣

21、要求有假幣要求找出那枚假幣，并指出那枚假幣是比真幣輕還找出那枚假幣，并指出那枚假幣是比真幣輕還是重？是重？試用信息量觀點(diǎn)分析最少需稱多少次才能保證試用信息量觀點(diǎn)分析最少需稱多少次才能保證一定能找出那枚假幣，并給出具體稱法。一定能找出那枚假幣，并給出具體稱法。思考思考:第二章 習(xí)題2.1 莫爾斯電報(bào)系統(tǒng)中，若采用點(diǎn)長(zhǎng)為莫爾斯電報(bào)系統(tǒng)中，若采用點(diǎn)長(zhǎng)為0.2s，劃長(zhǎng)為，劃長(zhǎng)為0.4s，且點(diǎn)和劃出現(xiàn)的概率分別為且點(diǎn)和劃出現(xiàn)的概率分別為2/3和和1/3，試求它的信息，試求它的信息速率速率(bits/s)。解: 平均每個(gè)符號(hào)長(zhǎng)為 秒秒 每個(gè)符號(hào)的熵為 比特比特 所以，信息速率為 比特比特/秒秒1544 .

22、0312 .0329183. 03log3123log32444. 34159183. 02.3 擲一對(duì)無(wú)偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：擲一對(duì)無(wú)偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：(a) 7；(b) 12。 試問(wèn)各得到了多少信息量試問(wèn)各得到了多少信息量?366585.2)366(log236117.5361log2解: (a)一對(duì)骰子總點(diǎn)數(shù)為7的概率是所以，得到的信息量為 (b) 一對(duì)骰子總點(diǎn)數(shù)為12的概率是所以，得到的信息量為 比特比特2.4 經(jīng)過(guò)充分洗牌后的一付撲克經(jīng)過(guò)充分洗牌后的一付撲克(含含52張牌張牌)，試問(wèn)：，試問(wèn)： (a) 任何一種特定排列所給出的信息量是多少任何一種特定排

23、列所給出的信息量是多少? (b) 若從中抽取若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量多少信息量?!52158.225!521log21 31 31 31 35 25 21 3 !44AC21.134log1313522C 解: (a)任一特定排列的概率為所以，給出的信息量為 (b) 從中任取13張牌,所給出的點(diǎn)數(shù)都不相同的概率為 所以，得到的信息量為 比特.比特2.5 設(shè)有一個(gè)非均勻骰子，若其任一面出現(xiàn)的概率與該面設(shè)有一個(gè)非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時(shí)所給出的信息量，上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時(shí)所給出的信息

24、量，并求擲一次平均得到的信息量。并求擲一次平均得到的信息量。 解解:易證每次出現(xiàn)i點(diǎn)的概率為21i所以 比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log)(2612iiXHxIxIxIxIxIxIiiixIi2-6 園丁植樹一行，若有園丁植樹一行，若有3棵白楊、棵白楊、4棵白樺和棵白樺和5棵梧桐。設(shè)棵梧桐。設(shè)這這12棵樹可隨機(jī)地排列，且每一種排列都是等可能的。棵樹可隨機(jī)地排列，且每一種排列都是等可能的。若告訴你沒(méi)有兩棵梧桐樹相鄰時(shí)，你得到了多少關(guān)于若告訴你沒(méi)

25、有兩棵梧桐樹相鄰時(shí)，你得到了多少關(guān)于樹的排列的信息樹的排列的信息? 解解: 可能有的排列總數(shù)為可能有的排列總數(shù)為 27720!5!4!3!12沒(méi)有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得.Y X Y X Y X Y X Y X Y X Y X Y3758圖中:X表示白楊或白樺，它有種排法，種排法.Y表示梧桐樹可以栽種的位置，它有5837所以共有*=1960種排法保證沒(méi)有兩棵梧桐樹相鄰。 因此，若告訴你沒(méi)有兩棵梧桐樹相鄰時(shí)，得到關(guān)于樹排因此，若告訴你沒(méi)有兩棵梧桐樹相鄰時(shí)，得到關(guān)于樹排列的信息為列的信息為 =3.822 比特比特1960log27720log222.9 隨機(jī)擲三顆骰子，以隨機(jī)擲三顆骰子，

26、以X表示第一顆骰子拋擲的結(jié)果，表示第一顆骰子拋擲的結(jié)果，以以Y表示第一和第二顆骰子拋擲的點(diǎn)數(shù)之和，以表示第一和第二顆骰子拋擲的點(diǎn)數(shù)之和，以Z表示表示三顆骰子的點(diǎn)數(shù)之和。試求三顆骰子的點(diǎn)數(shù)之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和和H(Z|X)。6log2 解解:令令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)=H(X)= H(X1) =2.585 比特比特=2.585 比特比特 H(Y)= H(X2+X3) 6log61)536log365436log364336log363236log36236log361( 2222222

27、= 3.2744 比特比特H(Z)= H(XH(Z)= H(X1 1+X+X2 2+X+X3 3) )27216log2162725216log2162521216log2162115216log2161510216log216106216log21663216log2163216log2161( 222222222= 3.5993 = 3.5993 比特比特所以所以H(Z/Y)= H(X3)= 2.585 比特比特H(Z/X) = H(X2+X3)= 3.2744 比特比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955 比特比特H(Z

28、/XY)=H(Z/Y)= 2.585 比特比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805 比特比特2-12 計(jì)算習(xí)題計(jì)算習(xí)題2.9中的中的I (Y；Z)，I (X；Z)，I (XY；Z)， I (Y；Z|X)和和I (X；Z|Y)。 解解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特比特I(Y;Z/X)=H

29、(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =02-10 設(shè)有一個(gè)系統(tǒng)傳送10個(gè)數(shù)字：0, 1, , 9。奇數(shù)在傳送時(shí)以0.5的概率錯(cuò)成另外的奇數(shù)，而其它數(shù)字總能正確接收。試求收到一個(gè)數(shù)字平均得到的信息量。解:設(shè)系統(tǒng)輸出10個(gè)數(shù)字X等概,接收數(shù)字為Y,顯然顯然 101)(101)()()(9190i jpi jpiQjwii，H(Y)=log10 比特奇奇奇奇偶18log81101452log211015)(log)()()(log)()(0)(log)

30、,()(log),()/(22,2222 xypxypxpxxpxxpxpxypyxpxypyxpXYHxyxiyxyx所以所以 I(X;Y)= 3219. 2110log2比特比特2.11 令令ul, u2, , u8為一等概消息集，各消息相應(yīng)被為一等概消息集，各消息相應(yīng)被編成下述二元碼字編成下述二元碼字: cl=0000， c2=0011，c3=0101，c4=0110 c5=1001，c6=1010，c7=1100，c8=1111通過(guò)轉(zhuǎn)移概率為通過(guò)轉(zhuǎn)移概率為p的的BSC傳送。試求傳送。試求 (a) 接收的第一個(gè)數(shù)字接收的第一個(gè)數(shù)字0與與u l之間的互信息量。之間的互信息量。 (b) 接收

31、的前二個(gè)數(shù)字接收的前二個(gè)數(shù)字00與與u l之間的互信息量。之間的互信息量。 (c) 接收的前三個(gè)數(shù)字接收的前三個(gè)數(shù)字000與與u l之間的互信息量。之間的互信息量。 (d) 接收的前四個(gè)數(shù)字接收的前四個(gè)數(shù)字0000與與u l之間的互信息量。之間的互信息量。解:（a）接收前一個(gè)數(shù)字為0的概率2180)0()()0(iiiupuqwbitsppwupuI)1 (log11log)0()0(log)0 ;(2212121（b）同理 4180)00()()00(iiiupuqwbitsppwupuI)1 (log22)1 (log)00()00(log)00;(24122121（c）同理 8180)0

32、00()()000(iiiupuqwbitsppwupuI)1 (log33)1 (log)000()000(log)000;(28132121（d）同理 )1 (6)1()0000()()0000(42268180ppppupuqwiiibitsppppppppppwupuI42264242268142121)1 (6)1 ()1 (8log)1 (6)1()1 (log)0000()0000(log)0000;(2.13 令X、Y、Z是概率空間，試證明下述關(guān)系式成立。 (a) H(YZ|X)H(Y|X)H(Z|X)，給出等號(hào)成立的條件。 (b) H(YZ|X)=H(Y|X)H(Z|XY)。

33、 (c) H(Z|XY)H(Z|X)，給出等號(hào)成立的條件。證明: (b) )/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XYZHXYHxyzpxyzpxypxyzpxyzpxypxyzpxyzpxyzpXYZHxyzxyzxyzxyz(c)/()/(1log)/()()/(1log)/()()/(XZHxzpxyzpxypxyzpxyzpxypXYZHxyzxyz 等號(hào)成立的條件為等號(hào)成立的條件為 , 對(duì)所有對(duì)所有 ,即在給定即在給定X條件下條件下Y與與Z相互相互獨(dú)立。獨(dú)立。)/()/(xzpxyzpZzYyXx,(a) )/()/()/()/

34、()/(XYZHXYZHXYHXZHXYH等號(hào)成立的條件同（等號(hào)成立的條件同（c c）2.14 對(duì)于任意概率事件集X、Y、Z，證明下述三角不等式成立。 H(X|Y)H(Y|Z)H(X|Z) H(X|Y)/H(XY)H(Y|Z)/H(YZ)H(X|Z)/H(XZ)證明: (a) )/()/()/()/()/()/(ZXHZXYHZYHYZXHZYHYXH(b) baabaaaabaaababababaa221121221121210,0)()/()()/()/()()/()/()/()/()()/()()/(0)(,0)/()/()/()()/()/()/()/()/()()/()/()/()/

35、()()/()/()/()/()()/()/()/()()/()/()()/()/()()/()()/()()/(XZHZXHZHZXHZXHZHZYHYXHZYHYXHYZHZYHXYHYXHZHZXHZYHYXHZHZYHYXHZYHYXHYXHYZHZYHYXHYZHYXHYHZYHYXHYXHYZHYHZYHYZHYXHYHYXHYZHYHZYHYXHYHYXHYZHZYHXYHYXH2.18 若三個(gè)隨機(jī)變量有如下關(guān)系：xy=z，其中x和y獨(dú)立。試證明： H(X)H (Z) H(Y)H(Z) H(XY)H(Z) I(X；Z)=H(Z)H(Y) I(XY；Z)=H(Z) I(X；YZ)=H(X) I(Y；Z|X)=H(Y) I(X；Y|Z)=H(X|Z)=H(Y|Z)證明: (a)()(0)