第6講——連續(xù)信源的數(shù)學(xué)模型及其信息測(cè)度.pdf

連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度 連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度 連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度及其測(cè)度及其測(cè)度及其測(cè)度 第六講第六講第六講第六講 信源的數(shù)學(xué)模型信源的數(shù)學(xué)模型 信源的信息測(cè)度信源的信息測(cè)度 隨機(jī)變量 隨機(jī)序列隨機(jī)變量 隨機(jī)序列 簡(jiǎn)單離散信源 簡(jiǎn)單離散信源 H X 離散無(wú)記憶信源 離散無(wú)記憶信源 H X 離散有記憶信源 離散有記憶信源 H X Review HL X H X 離散信源離散信源 連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度 連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度 連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型 及其測(cè)度及其測(cè)度及其測(cè)度及其測(cè)度 第六講第六講第六講第六講 5 1 5 1 5 1 5 1 連續(xù)信源的數(shù)學(xué)連續(xù)信源的數(shù)學(xué)連續(xù)信源的數(shù)學(xué)連續(xù)信源的數(shù)學(xué) 模型模型模型模型 輸出消息取值上連續(xù)的信源 如語(yǔ)音 電視信源等 對(duì) 應(yīng)的數(shù)學(xué)工具為連續(xù)型隨機(jī)變量或隨機(jī)過(guò)程 輸出消息取值上連續(xù)的信源 如語(yǔ)音 電視信源等 對(duì) 應(yīng)的數(shù)學(xué)工具為連續(xù)型隨機(jī)變量或隨機(jī)過(guò)程 連續(xù)信源輸出的狀態(tài)概率用概率密度來(lái)表示 連續(xù)信源輸出的狀態(tài)概率用概率密度來(lái)表示 連續(xù)信源的數(shù)學(xué)模型連續(xù)信源的數(shù)學(xué)模型 1 b a Xa b p xp x p x dx 并滿足 5 2 5 2 5 2 5 2 連續(xù)信源的連續(xù)信源的連續(xù)信源的連續(xù)信源的 信息測(cè)度信息測(cè)度信息測(cè)度信息測(cè)度 考慮一個(gè)定義在在考慮一個(gè)定義在在 a b 區(qū)間的連續(xù)隨機(jī)變量 如下圖區(qū)間的連續(xù)隨機(jī)變量 如下圖 首先把首先把X的取值區(qū)間的取值區(qū)間 a b 分割為分割為n個(gè)小區(qū)間 小區(qū)間寬度為個(gè)小區(qū)間 小區(qū)間寬度為 b a n 根據(jù)概率分布與概率密度曲線區(qū)間面積的關(guān)系 根據(jù)概率分布與概率密度曲線區(qū)間面積的關(guān)系 X取值為取值為xi的概率為的概率為p xi 于是得到離散信源 于是得到離散信源Xn的概 率源空間為 的概 率源空間為 p x p xi a 0 xi b x 連續(xù)熵連續(xù)熵 x1x2 xn p x1 p x2 p xn 其中其中 1 1 n b i a i p xp x dx 按離散信源熵定義按離散信源熵定義 1 log n nii i H Xp xp x log log 11 n i i n i ii xpxpxp 1 log log n ii i p xp x 當(dāng)當(dāng) 0 n 時(shí) 時(shí) Xn接近于連續(xù)隨機(jī)變量接近于連續(xù)隨機(jī)變量X 這時(shí)可 得連續(xù)信源的熵為 這時(shí)可 得連續(xù)信源的熵為 loglim log 0 b a dxxpxp XH c n i ii n n n xpxpXHXH 1 00 log log lim lim 絕對(duì)熵絕對(duì)熵 相對(duì)熵相對(duì)熵 x1x2 xn p x1 p x2 p xn 定義定義 b a c dxxpxpXH log 1 連續(xù)信源熵為相對(duì)熵 其值為絕對(duì)熵減去一個(gè)無(wú)窮 大量 連續(xù)信源熵為相對(duì)熵 其值為絕對(duì)熵減去一個(gè)無(wú)窮 大量 因?yàn)檫B續(xù)信源有無(wú)窮多個(gè)狀態(tài) 因?yàn)檫B續(xù)信源有無(wú)窮多個(gè)狀態(tài) 2 連續(xù)信源熵不具有非負(fù)性 可以為負(fù)值 連續(xù)信源熵不具有非負(fù)性 可以為負(fù)值 4 盡管連續(xù)信源的絕對(duì)熵為一個(gè)無(wú)窮大量 但信息論 的主要問(wèn)題是信息傳輸問(wèn)題 因此 當(dāng)分析其互信 息量時(shí)是求兩個(gè)熵的差 當(dāng)采用相同的量化過(guò)程時(shí) 兩個(gè)無(wú)窮大量將被抵消 因而不影響分析 盡管連續(xù)信源的絕對(duì)熵為一個(gè)無(wú)窮大量 但信息論 的主要問(wèn)題是信息傳輸問(wèn)題 因此 當(dāng)分析其互信 息量時(shí)是求兩個(gè)熵的差 當(dāng)采用相同的量化過(guò)程時(shí) 兩個(gè)無(wú)窮大量將被抵消 因而不影響分析 3 連續(xù)信源熵不等于一個(gè)消息狀態(tài)具有的平均信息 量 其值是有限的 而信息量是無(wú)限的 連續(xù)信源熵不等于一個(gè)消息狀態(tài)具有的平均信息 量 其值是有限的 而信息量是無(wú)限的 連續(xù)熵連續(xù)熵 連續(xù)變量的聯(lián)合熵和條件熵連續(xù)變量的聯(lián)合熵和條件熵 2 2 2 log log log c xy c xy c xy HXYp xyp xy dxdy HXYp xyp xy dxdy HYXp xyp yx dxdy 連續(xù)熵連續(xù)熵 CC CC CCC I X YH XH X Y H YH Y X H XH YH XY 平均互信息量平均互信息量 均勻分布的連續(xù)信源的熵 均勻分布的連續(xù)信源的熵 ln c HXba 一維均勻分布 高斯分布的連續(xù)信源的熵 高斯分布的連續(xù)信源的熵 2 1 ln2 2 c HXe 連續(xù)熵實(shí)例連續(xù)熵實(shí)例 僅與區(qū)域的邊界有關(guān) 與數(shù)學(xué)期望無(wú)關(guān) 僅與方差有關(guān) 僅與區(qū)域的邊界有關(guān) 與數(shù)學(xué)期望無(wú)關(guān) 僅與方差有關(guān) 11 ln ln NN ciiii ii NHXbaba 維均勻分布 性質(zhì)性質(zhì) 連續(xù)熵可為負(fù)值 連續(xù)熵的相對(duì)性所致 連續(xù)熵可為負(fù)值 連續(xù)熵的相對(duì)性所致 可加性可加性 平均互信息的非負(fù)性 對(duì)稱性 信息處理定理平均互信息的非負(fù)性 對(duì)稱性 信息處理定理 0 YXIZXI XYIYXI YXI cc cc c YXHYHXYHXHXYH ccccc 連續(xù)熵的性質(zhì)連續(xù)熵的性質(zhì) 5 3 5 3 5 3 5 3 最大連續(xù)熵定理最大連續(xù)熵定理最大連續(xù)熵定理最大連續(xù)熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的峰值不超過(guò)的峰值不超過(guò)M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對(duì)熵的相對(duì)熵 ln2 c HXM 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立 為均勻分布時(shí)等號(hào)成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 2 1 ln2ln2 2 c HXee 連續(xù)信源與離散信源不同 連續(xù)信源與離散信源不同 1 它不存在絕對(duì) 最大熵 它不存在絕對(duì) 最大熵 2 其最大熵與信源的限制條件有關(guān) 其最大熵與信源的限制條件有關(guān) 最大連續(xù)熵定理最大連續(xù)熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的峰值不超過(guò)的峰值不超過(guò)M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對(duì)熵的相對(duì)熵 ln2 c HXM 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立 為均勻分布時(shí)等號(hào)成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 2 1 ln2ln2 2 c HXee 最大連續(xù)熵定理最大連續(xù)熵定理 證明 應(yīng)用拉格朗日乘因子法 首先構(gòu)造函數(shù)證明 應(yīng)用拉格朗日乘因子法 首先構(gòu)造函數(shù) M M c dxxpXH 由相對(duì)熵定義 可得由相對(duì)熵定義 可得 ln MM MM p xp x dxp x dx ln M M p xe p x dx ln M M p xe dx 11 ln 1 MM MM p xdxp xdx e p xe p x 2 1 M e 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng) 1 1 p xe e p x 即 時(shí) 等號(hào)成立 將其代入約束條件 時(shí) 等號(hào)成立 將其代入約束條件 1 M M dxxp 可得可得1 2eM 則有 則有 ln ln2 M M p xp x dxM Mxp2 1 于是有于是有 ln2 c HXM X M M 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的峰值不超過(guò)的峰值不超過(guò)M 即 即X限于限于 M M 內(nèi) 取值 則 內(nèi) 取值 則X的相對(duì)熵的相對(duì)熵 ln2 c HXM 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立 為均勻分布時(shí)等號(hào)成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量若連續(xù)隨機(jī)變量X的方差為一定 則的方差為一定 則X服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 服從正態(tài)分布時(shí) 的相對(duì)熵最大 即 2 1 ln2ln2 2 c HXee 最大連續(xù)熵定理最大連續(xù)熵定理 證明 考慮到約束條件證明 考慮到約束條件 dxmxxp 22 應(yīng)用拉格朗日乘因子法計(jì)算極大值應(yīng)用拉格朗日乘因子法計(jì)算極大值 2 12 ln M M p xp x dxp x dxp x xm dx 2 12 ln x m ee p xdx p x 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng) 2 12 x m p xee 時(shí) 等號(hào)成立 將其代入兩個(gè)約束條件 即可求得 時(shí) 等號(hào)成立 將其代入兩個(gè)約束條件 即可求得 和和 1 dxxp 2 12 1 x m ee p xdx p x 2 2 2 2 1 mx exp 于是有于是有 2 1 ln2ln2 2 c HXee X的方差一定的方差一定 ln2 c HXe 5 4 5 4 5 4 5 4 熵功率熵功率熵功率熵功率 當(dāng)平均功率受限時(shí) 高斯分布信源的熵最大 若令 其平均功率為 則其熵為 當(dāng)平均功率受限時(shí) 高斯分布信源的熵最大 若令 其平均功率為 則其熵為 2 2 1 ln2 2 C HXe 22 熵功率熵功率 若平均功率為的信源具有熵為若平均功率為的信源具有熵為HC X 則稱熵為 則稱熵為HC X 的 高斯信源的平均功率為熵功率 的 高斯信源的平均功率為熵功率 2 2 2 2 2 1 2 C HX e e 若另一信源的平均功率仍為 則它的熵一定小于若另一信源的平均功率仍為 則它的熵一定小于HC X 2 2 22 22 連續(xù)信源的剩余度連續(xù)信源的剩余度 平均功率受限時(shí) 一般信源的熵小于高斯分布信源的熵 所以信號(hào)的熵功率總小于信號(hào)的實(shí)際平均功率 熵功率的大小可以表示連續(xù)信源剩余的大小 信號(hào)平均功 率和熵功率之差 稱為連續(xù)信源的 平均功率受限時(shí) 一般信源的熵小于高斯分布信源的熵 所以信號(hào)的熵功率總小于信號(hào)的實(shí)際平均功率 熵功率的大小可以表示連續(xù)信源剩余的大小 信號(hào)平均功 率和熵功率之差 稱為連續(xù)信源的剩余度剩余度 設(shè)設(shè)pXY是是 xy 二維高斯概率密度函數(shù)二維高斯概率密度函數(shù) 2 2 2 2 1 2 1 exp 12 1 x x yx XY mx xyp 2 2 2 xyy xyy xmymym 求求