信息與編碼理論 第2版 課件 2.6 離散多符號信源的信息熵

2.6離散多符號信源的信源熵1.離散平穩(wěn)無記憶信源為了研究離散平穩(wěn)無記憶信源的極限熵，把信源輸出的符號序列看成是一組一組發(fā)出的。例1：電報系統(tǒng)中，可以認(rèn)為每2個二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由2個二進(jìn)制數(shù)字組成的一組組符號。這時可以將它們等效看成一個新的信源，它由四個符號00，01，10，11組成，把該信源稱為二進(jìn)制無記憶信源的二次擴展。例2：如果把每三個二進(jìn)制數(shù)字組成一組，這樣長度為3的二進(jìn)制序列就有8種不同的符號，可等效成一個具有8個符號的信源，把它稱為二進(jìn)制無記憶信源的三次擴展信源。1.離散平穩(wěn)無記憶信源（續(xù)1）假定信源輸出的是N長符號序列，把它看成是一個新信源，稱為離散平穩(wěn)無記憶信源的N次擴展信源，用N維離散隨機矢量來表示：N次擴展信源的概率空間為：

是一個長為N的序列，1.離散平穩(wěn)無記憶信源（續(xù)2）N次擴展信源的熵：離散平穩(wěn)無記憶信源的N次擴展信源的熵等于離散單符號信源熵的N倍：1.離散平穩(wěn)無記憶信源（續(xù)3）離散平穩(wěn)無記憶信源的熵率：2.離散平穩(wěn)有記憶信源實際信源常常是有記憶信源。設(shè)信源輸出N長的符號序列，則可以用N維隨機矢量來表示信源，其中每個隨機變量之間存在統(tǒng)計依賴關(guān)系。N維隨機矢量的聯(lián)合熵為：2.離散平穩(wěn)有記憶信源（續(xù)1）定理3.1-(1)：對于離散平穩(wěn)信源，條件熵隨N的增加是遞減的。證明:所以條件熵隨著N的增加是遞減的。這表明記憶長度越長，條件熵越小，也就是序列的統(tǒng)計約束關(guān)系增加時，不確定性減小。2.離散平穩(wěn)有記憶信源（續(xù)2）定理3.1-(2)：對于離散平穩(wěn)信源，N給定時平均符號熵大于等于條件熵，證明:所以，即N給定時平均符號熵大于等于條件熵。2.離散平穩(wěn)有記憶信源（續(xù)2）定理3.1-(3)：對于離散平穩(wěn)信源，平均符號熵隨N的增加是遞減的。證明:所以，，即序列的統(tǒng)計約束關(guān)系增加時，由于符號間的相關(guān)性，平均每個符號所攜帶的信息量減少。

2.離散平穩(wěn)有記憶信源（續(xù)1）定理：對于離散平穩(wěn)信源，如果，則有

2.離散平穩(wěn)有記憶信源（續(xù)2）證明：（1）首先證明極限條件熵存在：只要X的樣本空間有限，則必然有。根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有

是單調(diào)有界數(shù)列，極限必然存在，且極限為0和之間的某一個值。2.離散平穩(wěn)有記憶信源（續(xù)3）（2）對于收斂的實數(shù)列，有以下結(jié)論成立：如果是一個收斂的實數(shù)列，那么利用上述結(jié)論可以推出：2.離散平穩(wěn)有記憶信源（續(xù)6）結(jié)論：

如何從理論上解釋這個結(jié)果？3.馬爾可夫信源(1)定義(2)熵率(3)馬爾可夫信源馬爾可夫鏈(4)馬爾可夫鏈3.馬爾可夫信源（續(xù)1）

實際的有記憶信源，符號間的相關(guān)性可以追溯到很遠(yuǎn)，使得熵率的計算比較復(fù)雜。馬爾可夫信源是一類相對簡單的有記憶信源。信源在某一時刻發(fā)出某一符號的概率，除與該符號有關(guān)外，只與此前發(fā)出的有限個符號有關(guān)。(1)定義3.馬爾可夫信源（續(xù)2）對于m階馬