2024哈佛大學(xué)通信數(shù)學(xué)理論

通信的數(shù)學(xué)近年來，各種調(diào)制?法（PCMPPM）的發(fā)展，這些?法通過交換帶寬來提?信噪?，加劇了對通信?般理論的興趣。這種理論的基礎(chǔ)包含Nyquist和Hartley關(guān)于這?主題的重要論?中。在本?中，我們將擴(kuò)關(guān)。有意義的??是，實(shí)際消息是從可能消息集中選定的?個(gè)統(tǒng)必須設(shè)計(jì)為能夠處理所有可能的選擇，?原因：1.它在實(shí)?上更有?。具有?程重要性的參數(shù)，如時(shí)間、帶寬、中繼數(shù)量等，往往與可能性的對數(shù)線性相關(guān)。例如，向?個(gè)組添加?個(gè)中繼將中繼的可能狀態(tài)數(shù)量加倍。它將1加到這個(gè)數(shù)字的以2為底的對數(shù)上。對數(shù)底數(shù)的選取對應(yīng)于測量信息的單位選擇。如果使?底數(shù)2，那么得到的單位可以稱為?進(jìn)制位，簡稱?特，這是J.W.Tukey提出的。具有兩個(gè)穩(wěn)定位置的設(shè)備，如繼電器或觸發(fā)器電路，可以存儲(chǔ)?個(gè)?特的信息。N個(gè)這樣的設(shè)N?特，因?yàn)榭赡艿目偁?N次?，log2(N)=N。如果使?底數(shù)logM=logM==3:32Nyquist,H.,“CertainFactorsA?ectingTelegraphSpeed,”BellSystemTechnicalJournal,April1924,p.324;“CertainHartley,R.V.L.,“TransmissionofInformation,”BellSystemTechnicalJournal,July1928,p.

SIGNALRECEIVED Fig.1—Schematicdiagramofageneralcommunication?個(gè)?進(jìn)制數(shù)字?約是3位。臺(tái)式計(jì)算機(jī)的數(shù)字輪有?個(gè)穩(wěn)定位置，因此具有?個(gè)?進(jìn)制數(shù)字的存儲(chǔ)容量。在涉及積分和微分的分析?作中，底數(shù)e有時(shí)很有?。產(chǎn)?的信息單位將被稱為?然單位。從底數(shù)a轉(zhuǎn)換為底數(shù)b只需乘以loga。我們將通信系統(tǒng)理解為1所?類型的系統(tǒng)。它由五個(gè)基本部分組成：1.信息源，產(chǎn)?要發(fā)送到接收終端的消息或消息序列息可能屬于各種類型：(a)如電報(bào)或電傳系統(tǒng)中的字?序列；(b)如?線電或電話中的時(shí)間函數(shù)f(t)；(c)如??電視中的時(shí)間和其他變量函數(shù)——在這?，消息可以被視為?個(gè)函數(shù)f(x;y;t)，它是兩個(gè)空間坐標(biāo)和時(shí)t的函數(shù)，拾取管板上(x;y)和時(shí)t的光強(qiáng)度；(d)時(shí)間上的兩個(gè)或更多函數(shù)，例如f(t)，g(t)，h(t)——這是三維聲?傳輸?shù)那闆r，或者如果系統(tǒng)旨在為多個(gè)單獨(dú)的頻道提供復(fù)?服??電視源會(huì)產(chǎn)?由多個(gè)三變量函數(shù)組成的“消息；(f)還出現(xiàn)各種組合，例如在電視中帶有相關(guān)?頻的情況發(fā)射機(jī)以某種?式對消息進(jìn)?處理，以產(chǎn)?適合在信道上傳輸?shù)男盘?hào)。在電話中，這種操作僅限線和空格對應(yīng)于信道上的消息。在多路復(fù)?PCM系統(tǒng)中，必須對不同的語?功能進(jìn)?采樣、壓縮、量化接收機(jī)通常執(zhí)?與發(fā)射機(jī)相反的操作，從信號(hào)中重建消息連續(xù)變量的系統(tǒng)，例如語?的PCM傳輸。第?部分：?噪聲離散系THEDISCRETENOISELESSC電傳打字機(jī)和電報(bào)是離散信道傳輸信息的兩個(gè)簡單例?。?般來說，離散信道指的是?種系統(tǒng)，其中可以從有限的基本符號(hào)集S;:::;S中選擇?系列選項(xiàng)，從?個(gè)點(diǎn)傳輸?shù)搅?個(gè)點(diǎn)。每個(gè)符號(hào)S都假定具間持續(xù)時(shí)間t（不?定對不同的S相同，例如電報(bào)中的點(diǎn)劃線。并不要求系統(tǒng)能夠傳輸所有可能的S序列；可能只允許某些序列。這些將是信道的可能信號(hào)。因此，在電報(bào)中，假設(shè)符號(hào)如下（1）?個(gè)點(diǎn)，由?個(gè)時(shí)間單位的線路閉合然后線路打開?個(gè)時(shí)間單位組成（2）?個(gè)劃線，由三個(gè)時(shí)間單位的閉合和?個(gè)時(shí)間單位的打開組成（3）?個(gè)字?間隔，由，?如說，三個(gè)時(shí)間單位的線路打開組成（4）?個(gè)單詞間隔，由六個(gè)時(shí)間單位的線路打開組成。我們可能對允許的序列施加限制，即不允許間隔連續(xù)出現(xiàn)（如果兩個(gè)字?間隔相鄰，它就等同于?個(gè)單詞間隔。我們現(xiàn)在考慮的問題是，如何衡量這樣?個(gè)信道的傳輸信息能?。在電傳打字機(jī)的情況下，所有符號(hào)的持續(xù)時(shí)間相同，并且允許任何32個(gè)符號(hào)的序列，答案很簡單。代表五個(gè)?特的信息。如果系統(tǒng)每秒傳輸n個(gè)符號(hào)，那么說信道具有每秒5n?特的容量是?然的。這并不意味著電傳打字機(jī)信道將始終以這種速率傳輸信息——這是最?可能的速率，?實(shí)際速率是否達(dá)到這個(gè)最?值取決于為信道提供信息的信源，這?點(diǎn)將在后?討論。在更?般的情況下，符號(hào)?度不同且對允許的序列有約束，我們給出以下定義：定義：離散信道的容量C由以下公式給出C=LimTlogN(T)T其中N(T)是持續(xù)時(shí)T的允許信號(hào)數(shù)量。很容易看出，在電報(bào)機(jī)的情況下，這會(huì)簡化為SS都是允許的，并且這些符號(hào)的持續(xù)時(shí)間tt。信道容量是多少？如N(t表?持續(xù)時(shí)N(t)N(t 總數(shù)等于以S；SS結(jié)尾的序列數(shù)的總和，這些序列是

要翻譯的?X+ +=1因如果存在對允許序列的限制，我們?nèi)匀唤?jīng)?？梢垣@得這種類型的差分?程，并從特征?程中找到C。在?的電報(bào)案例10)如通過計(jì)數(shù)根(t)(t或2)+N(t個(gè)4)N(t號(hào)5)+N(

列)+(

)(t因此，Clog，其中是?1+++++的正根。解這個(gè)?程，我C=0:539?？梢詫υ试S的序列施加的?種?常?般的限制是以下內(nèi)容：我們想象有多個(gè)可能的狀態(tài)a；aa。對于每個(gè)狀態(tài)，只能從集合SS傳輸某些符號(hào)（不同狀態(tài)有不同的?集。傳輸這號(hào)，如果發(fā)送了空格，則狀態(tài)改變，否則保持不變。這些條件可以?2所?的線性圖表?。交點(diǎn)對應(yīng)于LETTER

WORD狀態(tài)和線條表?在狀態(tài)中可能的符號(hào)及其導(dǎo)致的狀態(tài)1中顯?，如果允許的序列的條件可以?這種形式描述，則存C，并且可以按照以下結(jié)果計(jì)算：定1：b為在狀i中允許的ssymbol的持續(xù)時(shí)間，并導(dǎo)致狀態(tài)j。則信道容量C等于logW，其中W是?列式?程的最?實(shí)根。=其中，=

時(shí)，1，0

(s)i

=例如，在電報(bào)案例（2）中，?列式為(W+W(W+W)(W+W 1)=展開后，得到上述該情況的?THEDISCRETESOURCEOFI通常，它們形成句?，并具有類似于英語的統(tǒng)計(jì)結(jié)構(gòu)。字?E?Q出現(xiàn)得更頻繁，TH序列?XP序列更頻報(bào)中，這種做法已經(jīng)有限度地實(shí)現(xiàn)，例如，?最短的信道符號(hào)點(diǎn)表?最常?的英語字?E；?較少出現(xiàn)的字?Q、X、Z則?較?的點(diǎn)劃序列來表?。在某些商業(yè)代碼中，這種想法被進(jìn)?步發(fā)展，常?單詞和短語由四選擇離散符號(hào)序列的隨機(jī)過程都可以被視為離散源。這包括以下情況：1.?然書?語?，如英語、德語、?通過某些量化過程被轉(zhuǎn)換為離散的信息源。例如，PCM發(fā)射機(jī)的量化語?或量化電視信號(hào)我們僅僅抽象地定義?個(gè)?成符號(hào)序列的隨機(jī)過程的情況。以下是?些此類源?例假設(shè)我們有?個(gè)由五個(gè)字?A、B、C、D、E組成的字?表，每個(gè)字?被選中的概率為0.2，且每次選擇是相互獨(dú)?的。這將導(dǎo)致?個(gè)序列，以下是?個(gè)典型的例?。BDCBCECCCADCBDDAAECEEAABBDAEECACEEBAEECBCEAD。這是通過使?隨機(jī)數(shù)表構(gòu)建的使?相同的五個(gè)字?，其概率分別為.4、.1、.2、.2、.1，依次獨(dú)?選擇。從這個(gè)來源的典型消息是：AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAA.C)如果況下，選擇僅取決于前?的字?，?不取決于之前的字?。這種統(tǒng)計(jì)結(jié)構(gòu)可以??組轉(zhuǎn)p(j)來描述，即字?i后跟字?j的i和j范圍所有可能的符號(hào)。另?種等效的指定結(jié)構(gòu)的?法是給出“雙字?”p(ij)，ij的相對頻率。字?頻p(i)（i的概率，轉(zhuǎn)移概率Chandrasekhar“”Kendall和Smith《隨機(jī)抽樣數(shù)字表，劍橋，1939年p(j)和?元p(i;j)之間的關(guān)系以下公式給出

p(j;i)=

p(i;j)=p(i)* p(j)=

p(i)=i;

p(i;j)=作為具體例?，假設(shè)A、B、C，其概率表如下p(j)

AB

i

p(i;j)

ABAiB

A0 iB C從這個(gè)來源發(fā)出的典型消息如下：ABBABABABABABABBBABBBBBABABABABABBBACACABBABBBBABBABACBBBABA。下?個(gè)復(fù)雜度的增加將涉及三元(D)還可以定義產(chǎn)?由“單詞”組成的?本的隨機(jī)過程。假設(shè)有五個(gè)字?A、B、C、D、E和16個(gè)“單.10A.16BEBE.11CABED.04.05ADEE.02BEED.08DAB.01.01BADD.05CA.04DAD.05EE假設(shè)連續(xù)的“單詞”是獨(dú)?選擇的，并且由空格分隔。?條典型的消息可能是：DABEEABEBEDEEDDEBADEEADEEEEDEBBEBEBEBEBEBEADEEBEDDEEDDEEDCEEDADEEADEEDDEEDBEBECABEDBEBEBEDDABDEEDADEB擇連續(xù)字?，但每個(gè)字?具有與?然語?中相同的概率來獲得的。因此，在英語的?階近似中，E以.12（其在正常英語中的頻率）被選中，W以.02被選中，但相鄰字?之間沒有影響，也沒有形成偏勢個(gè)字?、雙字?和三字?的頻率由FletcherPratt1939年的《秘密和緊急》?書中給出。單詞頻G.Dewey的《英語語?相對雙元?如TH、ED等。在?階近似中，引?了雙元?結(jié)構(gòu)。選擇?個(gè)字?后，下?個(gè)字?的選擇將根據(jù)各種字?跟隨第?個(gè)字?的頻率進(jìn)?。這需要?個(gè)雙元?頻率表pj)。在三階近似中，引?了三元?結(jié)構(gòu)。?的選擇概率取決于前兩個(gè)字?英語近，零階近似（符號(hào)獨(dú)?且等概率。XFOMLRXKHRJFFJUJZLPWCFWKCYJFFJEYVKCQSGHYD?階近似（符號(hào)獨(dú)?但具有英語?本的頻率。OCROHLIRGWRNMIELWISEULLNBNESEBYA?階近似（雙字?結(jié)構(gòu)如英語。ONIEANTSOUTINYSARETINCTORESTBESDEAMYACHINDILONASIVETUCOOWEATTEASONAREFUSOTIZINANDYTOBESEACECTISBE.三階近似（三字?結(jié)構(gòu)如英語。INNOISTLATWHEYCRATICTFROUREBIRSGROCIDPONDENOMEOFDEMONSTURESOFTHEREPTAGINISREGOACTIONAOFCRE.?階單詞近似。與其繼續(xù)使?四字?結(jié)構(gòu)，-gram結(jié)構(gòu)，在此點(diǎn)直接跳轉(zhuǎn)到單詞單位更為簡單和表?和迅速是好的適應(yīng)或來可以不同的?然在這?他的是Came的到在到專家格雷來提供線信?階詞近似。單詞轉(zhuǎn)換概率是正確的，但沒有包括進(jìn)?步的結(jié)構(gòu)在正?攻擊英語作家頭部，這個(gè)點(diǎn)的特點(diǎn)是因此另?種?法為字?，時(shí)間誰告訴問題對意外的在上述每?步中，與普通英語?本的相似性都相當(dāng)明顯。請注意，這些樣本的結(jié)構(gòu)相當(dāng)好，范圍?約是它們構(gòu)建范圍的兩倍。因此，在（3）中，統(tǒng)計(jì)過程保證了雙字?序列的合理?本，但樣本中的四字?序列通以很好地融?句?。在（6）中，四詞或更多詞的序列可以輕松地放?句?中，?不需要不尋常或勉強(qiáng)的結(jié)構(gòu)。特定的?個(gè)詞序列“攻擊?位英語作家，這個(gè)??的特點(diǎn)”在邏輯上并不牽強(qiáng)。因此，?個(gè)?夠復(fù)雜的隨機(jī)過程將能夠給出?個(gè)滿意的離散源表?。（3（5，（4?爾科夫過程的圖形上述類型的隨機(jī)過程在數(shù)學(xué)上被稱為離散?爾科夫過程，并在?獻(xiàn)中得到了?泛的研究。?般情況可以描述如下：存在有限數(shù)量的系統(tǒng)可能“狀態(tài)；S；SS。此外，還存在?組轉(zhuǎn)移概率；p(j)表?如果系統(tǒng)處于狀態(tài)S，它將轉(zhuǎn)移到狀態(tài)S的概率。為了將這個(gè)?爾科夫變成信息源，我們只需要假設(shè)每次從?個(gè)狀態(tài)轉(zhuǎn)移到另?個(gè)狀態(tài)時(shí)都會(huì)產(chǎn)??個(gè)字?。這些狀態(tài)將對應(yīng)于先前字?的“殘余影響。這種情況可以如圖3、4和5所?進(jìn)?圖形表?。圖中的“狀態(tài)”是節(jié)點(diǎn)，圖中給出的概率和字?是在對應(yīng)線旁產(chǎn)?的。圖3對應(yīng)于第2中的?例B，?圖4對應(yīng)于?例C。在圖3中A.4 3―與?例B中的源相對應(yīng)的圖中的點(diǎn)和對應(yīng)線上的概率以及產(chǎn)?的字?給出32B，?4C3 .5 .4 4―對應(yīng)?例C中源的?個(gè)由于連續(xù)字?是獨(dú)?的，因此只有?個(gè)狀態(tài)4中，狀態(tài)的數(shù)量與字?的數(shù)量相同。如果構(gòu)建?個(gè)三聯(lián)?例，則最多有nstates個(gè)狀態(tài)對應(yīng)于所選字?之前可能出現(xiàn)的字?對5是?例D中單詞結(jié)構(gòu)的情況這S對應(yīng)于“空格”符號(hào)隨機(jī)游?和混合如上所述，為了我們的?的，?個(gè)離散源可以被認(rèn)為是?爾可夫過程的代表。在所有可能的離散?爾可夫中，有?組具有在通信理論中具有特殊意義的特性。這個(gè)特殊類包括“遍歷”過程，我們將相應(yīng)的源稱為遍源。盡管遍歷過程的嚴(yán)格定義有些復(fù)雜，但基本思想很簡單。在遍歷過程中，由該過程產(chǎn)?的每個(gè)序列在統(tǒng)特性上是相同的。因此，從特定序列中獲得的字?頻率、雙字?頻率等，隨著序列?度的增加，將趨近定序列?關(guān)的確定極限。實(shí)際上，并?每個(gè)序列都如此，但這個(gè)集合的概率為零。?致來說，遍歷屬性意詳細(xì)內(nèi)容請參?M.Fr′echet的《任意函數(shù)?有限狀態(tài)可能性的鏈?zhǔn)绞录碚摗０屠?，Gauthier-Villars，1938程將是遍歷的：1.圖不包含兩個(gè)孤?的部AB，使得?法沿著圖的箭頭?向從部A的節(jié)點(diǎn)到達(dá)部B圖中所有箭頭指向同??向的閉合線條系列將被稱為“回路。回路的“?度”是指其中的線條數(shù)量。因此，在圖5中，系列EES是?個(gè)?度為5的回路。所需滿?的第?個(gè)性質(zhì)是圖中所有回路?度約數(shù)為1。S

B B A 5―與?例D中的源對應(yīng)的如果滿?第?個(gè)條件但第?個(gè)條件違反，即最?公約數(shù)為d>1，則序列具有某種類型的周期結(jié)構(gòu)。各種序列d個(gè)不同的類別，除了原點(diǎn)（即序列中的哪個(gè)字?被稱1）的平移外，在統(tǒng)計(jì)上相同。通過0到d的平移1任何序列都可以在統(tǒng)計(jì)上與任何其他序列等效。?個(gè)簡單的例?是d=2的情況：有三個(gè)可能的字?a；b；c。字?a后?跟bc的概率分別為。bc總是跟隨字?a。因此，?個(gè)典型的序列是abacac如果第?個(gè)條件被違反，圖可能被分割成?系列?圖，每個(gè)?圖都滿?第?個(gè)條件。我們將假設(shè)每個(gè)?圖滿?第?個(gè)條件。在這種情況下，我們可以稱之為“混合”源，由多個(gè)純成分組成。這些成分對應(yīng)于各種圖。如果\(L,L,L;:::\)是成分源，我們可以寫成\(L=pL+pL+pL+ 這些是關(guān)于弗雷歇給出的條件圖的重新表p是組件L的概率。在物理上，所表?的情況是這樣的：有?個(gè)不同的L，L，L；……，它們各?具有同質(zhì)統(tǒng)計(jì)結(jié)構(gòu)（即，它們是遍歷的。我們事先不知道要使?哪?個(gè)，但?旦序列在L中開始，它就根據(jù)該組件的統(tǒng)計(jì)結(jié)構(gòu)?限地繼續(xù)下去。例如，可以取上?定義的兩個(gè)過程，并p=1/2和p=1/8。從混合L1/2L1/8L獲得的序列是通過?先以0.2LL，然后根據(jù)這個(gè)選擇?成序值（差異的概率為零）相對應(yīng)。例如，在特定的?限序列中字?A的相對頻率，?乎可以肯定地等于其在序列集中的相對頻率。如P是狀態(tài)i的概率，pj)是轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率，那么為了使過程保持平穩(wěn)，顯P 在遍歷情況下，可以證明，對于任何初始條件，經(jīng)過N個(gè)符號(hào)后處于狀態(tài)j的概率P(N)將趨近于平衡值，當(dāng)N趨于?窮?時(shí)。 !∞.選擇、我們將離散信息源表?為?爾可夫過程。我們能否定義?個(gè)量來衡量，在某種意義上，這種過程“產(chǎn)?”多少信息，或者更好的是，信息產(chǎn)?的速率是多少？假設(shè)我們有?組可能的事件，其發(fā)?的概率分別為p；p；……；p。這些概率是已知的，但我們只知道這些事件中哪?個(gè)會(huì)發(fā)?。我們能否找到?個(gè)衡量在事件選擇中“選擇”程度或我們對結(jié)果不確定性度量？如 果有這樣的度量，我們稱之為H(p；p；……；p)，那么它應(yīng)該滿?以下性質(zhì)：1.H應(yīng)該在p上是連續(xù)的。如果所p都相等，p1，那H應(yīng)該n的單調(diào)遞增函數(shù)。在等可能的事件中，事件越多，選如果?個(gè)選擇被分解為兩個(gè)連續(xù)的選擇，原始H應(yīng)該H值的加權(quán)總和。這?6中得到圖6―從三個(gè)可能性中分解

可能p1p1p=1。在右側(cè)，我們?先在兩個(gè)可能性之間進(jìn)?選擇，每個(gè)可能性發(fā)?的概率為，如H(1;1;1)=H(1;1)+1H(2;1)：系數(shù)為，因?yàn)檫@種第?次選擇只發(fā)??半的時(shí)2中，建?了以下結(jié)果：定2：滿?上述三個(gè)假設(shè)的唯?H的形式為 plog其中K是?個(gè)正的常數(shù)

信度。然?，這些定義的真正合理性將體現(xiàn)在它們的含義中。形式為H=∑plogp（常數(shù)K只不過是?個(gè)測量單位的選擇）的量在信息論中扮演著信息、選擇和不確定性的度量中???。H的形式將被識(shí)別為在統(tǒng)計(jì)?∑plogpiHH?。H的形式將被識(shí)別為在統(tǒng)計(jì)?學(xué)的某些公式中定義的熵，p是系統(tǒng)處于相空間i個(gè)格點(diǎn)的概率。例如，H就是玻爾茲曼著名的H定理中的H。我們將∑plogp為概率集合p;::;p的熵；如x是?個(gè)隨機(jī)變量，我們將?H(x)表?它的熵；因此x不是函數(shù)的參數(shù)，?是?個(gè)數(shù)字的標(biāo)簽，以區(qū)別于H(y)這樣的∑plogy在;::;能xpq=1x)熵因此x是函數(shù)的參數(shù)，?是?個(gè)數(shù)字的標(biāo)簽，以區(qū)別于H(y)這樣熵，即隨機(jī)變量y的熵。在有兩個(gè)可能性，概率分7中作為p的函數(shù)繪制

H=(plogp+q

p，? 0.1.2.3.4.5.6.7.8.97——兩種可能性下的熵，概率p和(1-p)量H具有許多有趣的性質(zhì)，進(jìn)?步證實(shí)了它作為選擇或信息的合理度量。1.當(dāng)所有p值除了?個(gè)為零，這個(gè)值1時(shí)，H=0；只有當(dāng)我們對結(jié)果有確定性時(shí)，H才消失。H為正值。2n，當(dāng)所p值相等時(shí)（即，H達(dá)到最?值，等于logn。這也是最不確定的情況。例如，參?R.C.Tolman《統(tǒng)計(jì)?學(xué)原，?津，克拉倫登出版社，1938年假設(shè)有兩個(gè)事件，x和y，第?個(gè)事件有m種可能性，第?個(gè)事件有n種可能性。令p(i;j)為第?個(gè)事件發(fā)?i和第?個(gè)事件發(fā)?j的聯(lián)合發(fā)?概率。聯(lián)合事件的熵為H(x;y)=

∑p(i;j)logp(i;H(x) H(y)

p(i;p(i;log∑log∑;log∑p(i;

H(x;y)H(x)+ 僅當(dāng)事件相互獨(dú)?（即，p(i;j)=p(i)p(j)）時(shí)才相等。事件的熵?于或等于單個(gè)事件的熵之和任何向p；pp均等化的變化都H。因此，如p<p_0且我們增加p，同時(shí)減少p_0以相等的?式，使得p和p_0更加接近相等，那么H會(huì)增加。更?般地，果我們對p執(zhí)?任何形式“平均” a=增a=a換是p的排列，H當(dāng)然保持不變。5.假設(shè)有兩個(gè)隨機(jī)事件x和y，如3所述，不?定獨(dú)?。對于x可以取的任何特定i，y有j的條件pj)。這由以下給出p(j)=p(i;∑p(i;j)我們定義y的條件熵H(y)為y的熵的平均值，對于每個(gè)x的值，根據(jù)得到該特定x的概率進(jìn)?加權(quán)。也就是H(y) ∑p(i;j)logp(j)這個(gè)量度表?當(dāng)我們知x時(shí)，我們對y的平均不確定程度。代?p(j)的值，我H(y) ∑p(i;j)logp(i;j)+ p(i;j)log∑p(i;=H(x;

i; H(x;y)=H(x)+ 聯(lián)合事件x;y的不確定性（或熵）等于已知x不確定性加上y的不確定性。6.從3和5中我們得到H(x)+H(x;y)=H(x)+ 因H(y)y的不確定性永遠(yuǎn)不會(huì)因?yàn)閷的了解?增加。除?x和y是獨(dú)?事件，否則它將會(huì)減少，在這種情況下，它信息源考慮?個(gè)上述有限狀態(tài)類型的離散源。對于每個(gè)可能的狀態(tài)i，將有?組產(chǎn)?各種可能符號(hào)j的pj)。因此，每個(gè)狀態(tài)都熵H。源熵將被定義為這些H的平均值，按照所討論狀態(tài)發(fā)?的概率進(jìn)?加權(quán)：H= 這是源符號(hào)的熵。如果?爾可夫過程以確定的時(shí)間速率進(jìn)?，也存在每秒其中f是狀態(tài)i的平均頻率（每秒出現(xiàn)次數(shù)。顯m是每秒產(chǎn)?的平均符號(hào)數(shù)。HHm表?源每符號(hào)或每秒產(chǎn)?的信息量。如果以2為底數(shù)，則表?每符號(hào)或每秒的?特?cái)?shù)。如果連續(xù)符號(hào)是獨(dú)?的，那么H簡單地就是Σplogp其中p是符號(hào)i的概率。假設(shè)在這種情況下，我們考慮?個(gè)由N個(gè)符號(hào)組成的?時(shí)間消息。它將包p^N次出現(xiàn)第?個(gè)符號(hào)，p^N次出現(xiàn)第?個(gè)符號(hào)，等等。因此，這個(gè)特定消息的概率pp1*或ogogpH:=log1=NH因此?約是典型?序列的倒數(shù)概率的對數(shù)除以序列中的符號(hào)數(shù)。對于任何源，結(jié)果都相同。更精確地說，我們有（參?3：定3：對于任意的0和0，我們可以找N，使得任何?度N的序列fallintotwoclasses:1.Asetwhosetotalprobabilityislessthan2剩余的成員概率滿?不等logpHH換句話說，N很?時(shí)，我logpN?常H。?個(gè)與之密切相關(guān)的研究結(jié)果是關(guān)于各種概率的序列數(shù)量。再次考慮?度N的序列，并按概率遞減的順序排列。我n(q為從最可能的開始取出的序列數(shù)量，以積累取出的總q。定

log極 N=q01時(shí)。我們可以將logn(q)解釋為僅考慮總概率為q的最可能序列時(shí)指定序列所需的位數(shù)。那么logn(q)N就是規(guī)格化每個(gè)符號(hào)所需的位數(shù)。定理表明，對于?的N，這將與q?關(guān)，等于H。合理可能序列數(shù)量的對數(shù)增?速率由H給出，?論我們?nèi)绾谓忉尅昂侠砜赡?。由于這些結(jié)果（在附錄3中證明，在?多數(shù)情況下，我們可以將?序列視為只有2個(gè)，每個(gè)的概率為2。下兩個(gè)定理表明，H和Hcan可以通過直接從消息序列的統(tǒng)計(jì)數(shù)據(jù)中通過極限運(yùn)算來確定，?不需要參考狀態(tài)之間的狀態(tài)和轉(zhuǎn)移概率。定5：p(B)為源中符號(hào)序列B的概率。設(shè)NN∑p(B)log其中求和是包含N個(gè)符號(hào)的所有序列B。那么G是N的單調(diào)遞減函數(shù)，并且?G=定理6：設(shè)p(B;S)為列B后跟符號(hào)S的概率，且p(S)=p(B;S)=p(B)為S在B之后的條件概率。 對1NS。然后F是N的單調(diào)遞減函數(shù)F= (N G=1N G;

并且LimF=H.這些結(jié)3中推導(dǎo)得出。它們表明，通過僅考慮跨越1；2N個(gè)符號(hào)的序列的統(tǒng)計(jì)結(jié)構(gòu)，可以獲H的?系列近似。F是更好的近似。事實(shí)上，F(xiàn)是上述類型的N階近似的熵。如果沒跨越超過N個(gè)符號(hào)的統(tǒng)計(jì)影響，也就是說，如果變，那么F=H。當(dāng)然，F(xiàn)是當(dāng)知

率（?個(gè)已知，?G是N符號(hào)塊的每符號(hào)熵。源熵與其在相同符號(hào)下可能的最?值的?率將被稱為其相對熵。英語50%。這意味著當(dāng)我們?英語寫作時(shí)，我們寫的?半是由語?的結(jié)構(gòu)的，另?半是?由選擇后讓某?嘗試恢復(fù)它們。如果刪50%后可以恢復(fù)，則冗余必須?于50%。第三種?法依賴于某些已知的密詞匯量限制850個(gè)單詞，冗余度?常?。這在將?段?字翻譯成基礎(chǔ)英語時(shí)的擴(kuò)展中得到了體現(xiàn)。?，喬伊斯擴(kuò)?了詞匯量，據(jù)說他實(shí)現(xiàn)了語義內(nèi)容的壓縮細(xì)的分析表明，如果我們假設(shè)語?施加的約束具有相當(dāng)混亂和隨機(jī)的性質(zhì)，當(dāng)冗余度50%時(shí)，?型填字游戲才可能實(shí)現(xiàn)。如果冗余度為33%，三維填字游戲應(yīng)該是可能的，等等。其輸出不僅取決于當(dāng)前輸?符號(hào)，還取決于過去的歷史。我們假設(shè)內(nèi)部存儲(chǔ)器是有限的，即存在有限myn=f(xn;n+1=g(xn;其中，xn是第n個(gè)輸?符號(hào)，n是當(dāng)?shù)趎個(gè)輸?符號(hào)被引?時(shí)變換器的狀態(tài)，y是x被引?且狀態(tài)為時(shí)產(chǎn)?的輸出符號(hào)（或輸出定理7：由有限狀態(tài)統(tǒng)計(jì)源驅(qū)動(dòng)的有限狀態(tài)變換器的輸出是?個(gè)有限狀態(tài)統(tǒng)計(jì)源，其熵（每單位時(shí)間）或等于輸?的熵。如果變換器是?奇異的，則它們相等。表?信源的狀態(tài)，它產(chǎn)?符號(hào)序列x；表?變換器的狀態(tài)，它在輸出中產(chǎn)?符號(hào)y。該組合系統(tǒng)可以?成對的（）的“積狀態(tài)空間”來表??？臻g中的兩個(gè)點(diǎn)（1；1）和（2；2，如果可以產(chǎn)??個(gè)變?yōu)榈膞，則它們之間??條線連接，這條線賦予這種情x的概率。這條線?變換器產(chǎn)?的y符號(hào)標(biāo)記。輸出熵可以通過此熵不會(huì)增加。如果變換器是?奇異的，則將其輸出連接到逆變換器。如H、H1和H2分別是信源、第?個(gè)和第?個(gè)變換器的輸出熵，那么HHH=H1，因H=H2假設(shè)我們有?個(gè)對可能序列的約束系統(tǒng)，這些序列可以?如2所?的線性圖表?。如果將pw分配給連接狀態(tài)i到狀態(tài)j的各種線條，這將成為?個(gè)源。有?種特定的分配可以最?化產(chǎn)?的熵（?4。定理8：將考慮的約束系統(tǒng)作為信道，其容量C=logW。如果我們分p=B/BWiB滿?的情況下，從狀態(tài)i到狀態(tài)j的符號(hào)持續(xù)時(shí)間然后他的最?值等于C

B BΣs;

i通過適當(dāng)?shù)姆峙滢D(zhuǎn)移概率，可以在信道容量下最?化信道上符號(hào)的熵?噪聲信道的根本定我們現(xiàn)在將通過證H決定了所需的最有效編碼的信道容量來證明我H作為信息?成速率的解釋定理9：設(shè)?個(gè)信源的熵為H（每符號(hào)?特，信道容量為C（每秒?特。那么可以以平均速率C 符號(hào)/秒通過信道傳輸，其中可以任意?。不可能以超CH的平均速率傳輸。定理的反?部分，CH能超過信道容量。因此H=

C和每秒的N，我們可以將這些序列分為兩組，?組包含少于2個(gè)成員，另?組包含少于2個(gè)成員（其中R是不同符號(hào)數(shù)的對數(shù)，并且總概率?于。隨著N的增加，和趨近于零T很?時(shí)，信道中持續(xù)時(shí)T的信號(hào)數(shù)?于2，且T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T?時(shí)，T很?時(shí)，當(dāng)T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，T很?時(shí)，當(dāng)TC當(dāng)N和T?夠?（盡管?）時(shí)，將有?夠數(shù)量的信道符號(hào)序列?于?概率組，還有?些額外的序列。?概率組以任意?對?的?式編碼到這個(gè)集合中。余的序列由更?的序列表?，這些序列以?概率列之?開始和結(jié)束。這個(gè)特殊序列作為不同代碼的起始和結(jié)束信號(hào)。在中間允許?夠的時(shí)間，以提供同序列來發(fā)送所有低概率消息。這需要 很?。消息符號(hào)每秒的平均傳輸速率 (1N+)TN#(1C C+隨著N增加，α、β和'趨近于零，速率趨近于CH另?種執(zhí)?此編碼并證明該定理的?法可以描述如下：將?度N的消息按概率遞減的順序排列，并假設(shè)它們的概率為p pp.設(shè)P=1;P不包p在內(nèi)的累積概率。我們?先將其編碼為?進(jìn)制系統(tǒng)。消息s的?進(jìn)制代碼是通過將Pas擴(kuò)展為?進(jìn)制數(shù)來獲得的。擴(kuò)展到位，其中m是滿?以下條件的整數(shù)lg當(dāng)p<12時(shí)，P碼在它的

P碼?少更?，它們的?進(jìn)位中?少有?位后續(xù)的碼不同，因?yàn)樗惺Ｓ嗾归_因此在m位中不同。因此，所有碼都2同，可以從碼中恢復(fù)消息。如果信道序列不是?進(jìn)但是

H=1N∑mp1 因此

1+log1ps H<G+1N隨著N的增加，G趨近于H，源熵和H也趨近于H。由此我們可以看出，當(dāng)僅使?有限延遲N個(gè)符號(hào)時(shí)，編H與?度N的序列計(jì)G之間的差值。因此，相對于理想狀態(tài)所需的 H+1這種?法與R.M.Fano獨(dú)?發(fā)現(xiàn)的?法實(shí)質(zhì)上相同。他的?法是將?度為N的消息按照概率遞減的順序排列。盡可能地將這個(gè)序列分成兩個(gè)概率?乎相等的組。如果消息在第?組，它的第?個(gè)?進(jìn)制位將是0，否則是1。這些組以類似的?式分成概率?乎相等的?集，特定的?集決定了第?個(gè)?進(jìn)制位。這個(gè)過程?直持續(xù)討論相同的統(tǒng)計(jì)結(jié)構(gòu)。最?化信道熵的源。定9的內(nèi)容是，盡管通常不可能完全匹配，但我們可以在所需范圍內(nèi)盡可能接近地近似它。實(shí)際傳輸速率C的?率可以稱為編碼系統(tǒng)的效率。這當(dāng)然等于實(shí)際信道9技術(shù)報(bào)告第65號(hào)，?省理?學(xué)院電?研究實(shí)驗(yàn)室，1949年3?17?作為最?化信道熵的源。定9的內(nèi)容是，盡管通常不可能完全匹配，但我們可以在所需范圍內(nèi)盡可能接近地近似它。實(shí)際傳輸速率C的?率可以稱為編碼系統(tǒng)的效率。這當(dāng)然等于實(shí)際信道符號(hào)的熵與最?可能熵對數(shù)必須與相應(yīng)信號(hào)的持續(xù)時(shí)間成正?，實(shí)際上logpT必須很?，除了極少數(shù)的?消息之外。如果源只能產(chǎn)??條特定的消息，其熵為零，不需要任何信道。如，?臺(tái)計(jì)算的連續(xù)位數(shù)的計(jì)算機(jī)產(chǎn)??個(gè)沒有隨機(jī)元素的確定序列。不需要信道將此“傳輸”到另?個(gè)點(diǎn)?？梢詷?gòu)建第?臺(tái)機(jī)器在相同的位置計(jì)算相同的序列。然?，這可能是不切實(shí)際的。在這種情況下，我們可以選擇忽略我們關(guān)于源的?些或全部統(tǒng)計(jì)知識(shí)。我們可能會(huì)將的數(shù)字視為隨機(jī)序列，因?yàn)槲覀儤?gòu)建了?個(gè)能夠發(fā)送任何數(shù)字序列的系統(tǒng)。以類似的?式，我們可以在構(gòu)建代碼時(shí)選擇使?我們關(guān)于英語的?些統(tǒng)計(jì)知識(shí)，但不是全部。在這種情況下，我們考慮在所保留的統(tǒng)計(jì)條件下具有最?熵的源。該源的熵決定了必要的信道容量。在的例?中，保留的唯?信息是所有數(shù)字都來?集合0；19。在英語的情況下，可能會(huì)希望利?字?頻率帶來的統(tǒng)計(jì)節(jié)省，但僅此?已。此時(shí)，最?熵源就是英語的第?近似，其熵決定了所需的信道容量。以這些結(jié)果的?個(gè)簡單例?，考慮?個(gè)產(chǎn)?序列的源，該序列由來?A、B、C、D的字?組成，概率連續(xù)符號(hào)的選擇是獨(dú)?的。我H 2log+1log+7?特/符號(hào)：因此，我們可以近似?個(gè)編碼系統(tǒng)，將來?該源的消息編碼成?進(jìn)制數(shù)字，平均每個(gè)符號(hào)需?進(jìn)制位。在這種情況下，我們可以通過以下代碼（通過定理9的第?證明?法獲得）實(shí)際上達(dá)到極限值A(chǔ)0BCD111編碼?個(gè)由N個(gè)符號(hào)組成的序列所需的平均?進(jìn)=7N：很容易看出?進(jìn)制位0、1的率212+的熵為每符號(hào)?位。由于平均??，我們每個(gè)原始字?有?進(jìn)制符號(hào)，因此基于時(shí)間的熵是相同的。原始集合可能的最?熵為log4=2，當(dāng)A、B、C、D的概率分別為，，，時(shí)出現(xiàn)。因此相對熵為。我們可以通過以下表格將?進(jìn)制序列轉(zhuǎn)換為原始符號(hào)集，以?的?例 這個(gè)雙重過程將原始消息編碼成相同的符號(hào)，但平均壓縮?。作為第?個(gè)例?，考慮AB序列的源，其中A的概率為p，B的概率為q。如pq，則 H logp(1 p在這種情況下，可以0，1信道上構(gòu)建?個(gè)相當(dāng)好的消息編碼，?法是發(fā)送?個(gè)特殊序列，0000，?于不常?的符號(hào)A，然后發(fā)送?個(gè)序列來指?跟A的B的數(shù)量。這可以通過刪除包含特殊序列的所有數(shù)字的?進(jìn)制表?來表?。所16的數(shù)字按常規(guī)表?；1616之后的下?個(gè)不包含四個(gè)零的?進(jìn)制數(shù)，即17=10001，等等。可以證明，p!0編碼接近理想狀態(tài)，只要適當(dāng)調(diào)整特殊序列的?度 正確調(diào)整第?部分：?噪聲的離散帶噪聲的離散信道該案例涉及信號(hào)在傳輸過程中不總是發(fā)?相同的變化。在這種情況下，我們可以假設(shè)接收到的信號(hào)E是傳輸信號(hào)S和第?個(gè)變量噪聲N的函數(shù)。E=f(S;N)噪聲被視為?個(gè)隨機(jī)變量，就像上?的消息?樣。?般來聲信道的推?。我們假設(shè)有限數(shù)量的狀態(tài)和?組p(;j)：這是在信道處于狀態(tài)且符號(hào)i被傳輸?shù)那闆r下，接收符號(hào)j并將信道留在狀態(tài)的概率。因此，和范圍在可能的狀態(tài)中，i在可能的傳輸信號(hào)中，j在可能的接收信號(hào)中。在連續(xù)符號(hào)被噪聲獨(dú)?擾動(dòng)的案例中，只有?個(gè)狀態(tài)，信道由?組轉(zhuǎn)p(j)描述，即傳輸符熵。?先，有信源或信道輸?的熵H(x)，如果發(fā)射器是?奇異的，這兩個(gè)熵將相等。信道的輸出熵，即接收到的信號(hào)，將表?為H(y)。在?噪聲的情況下，H(y)=H(x)。輸?和輸出的聯(lián)合熵將表?為H(xy)。最后，還有兩個(gè)條件熵H(y)和H(x)，即當(dāng)輸?已知時(shí)輸出熵和相反的情況。在這些量中，我們有以下關(guān)系：H(x;所有這些熵都可以按每秒或按符號(hào)進(jìn)?測量疑問與信道如果信道有噪聲，通常不可能通過對接收到的信號(hào)E進(jìn)?任何操作來以確定性重建原始消息或傳輸信號(hào)?，存在?些在對抗噪聲??最優(yōu)的信息傳輸?式。這是我們接下來要考慮的問題1000?特的速率產(chǎn)?信息。在傳輸過程中，噪聲引?了錯(cuò)誤，平均??，100個(gè)接1個(gè)接收錯(cuò)誤（0被誤認(rèn)1，1被誤認(rèn)0。信息傳輸?shù)乃俾适嵌嗌?？顯然?于每1000?特，因1%的接收符號(hào)是錯(cuò)誤的。我們可能會(huì)本能地說，速率為每990?特，只是減去預(yù)期的錯(cuò)誤數(shù)量。這常?，接收到的符號(hào)與傳輸?shù)姆?hào)完全獨(dú)?。接1的概率是?論傳輸了什么，0也是類似的情況么，由于偶然，?約?半的接收符號(hào)是正確的，我們可能會(huì)給系統(tǒng)記上每秒傳輸500?特的功，?實(shí)際沒有傳輸任何信息。完全放棄信道并翻轉(zhuǎn)硬幣接收點(diǎn)也能獲得同樣“好”的傳輸效R可以通過從?產(chǎn)速率（即信源的熵）中減去平均條件熵來獲得。R H(x)將?便地稱為歧義它衡量接收信號(hào)的平均模糊度。在上?的例?中，如果接0，則后驗(yàn)概率是0.99，表?傳輸了0，?0.01表?傳輸了1。如果接收到?個(gè)1，這些數(shù)字將顛倒。因此81=919?特/在極端情況下，0被接01的概率相等，同樣1也是如此，后驗(yàn)概率為，H(x) 2log+=1?特/符號(hào)1000?特/秒。傳輸速率因此為0，正如它應(yīng)該的那樣。以下定理給出了對equivocation的備，它可以看到發(fā)送的內(nèi)容和恢復(fù)的內(nèi)容（由于噪聲導(dǎo)致的錯(cuò)誤。這個(gè)觀察者記錄恢復(fù)消息中的錯(cuò)誤，通過“校正信道”向接收點(diǎn)傳輸數(shù)據(jù)，以便接收者能夠糾正錯(cuò)誤。這種情況在圖8中?定理10：如果校正信道容量等于H(x)，則可以編碼校正數(shù)據(jù)以便通過此信道發(fā)送并糾正除了任意?部分錯(cuò)如果信道容量?于H(x)，則不可能實(shí)現(xiàn)這?修正數(shù) 發(fā)射 校正接收設(shè)圖8―修正系統(tǒng)??概來說，H(x)是接收端每秒必須補(bǔ)充的信息量，以糾正接收到的消息要證明第?部分，考慮接收到的消息序列M和相應(yīng)的原始消息M。合理產(chǎn)?每個(gè)M的M的數(shù)量將以對數(shù)形式為TH(x)。因此，我們每T秒有TH(x)個(gè)?進(jìn)制位要發(fā)送。這可以通過在容量為H(x)的信道上以頻率發(fā)?錯(cuò)誤來實(shí)現(xiàn)。第?部分可以通過注意以下事實(shí)來證明，?先，對于任何離散隨機(jī)變量x,y,z左側(cè)可以展開

H(x;z) H(z)+ H(x)

H(x)

如果我們將x識(shí)別為信源的輸出，y為接收到的信號(hào)，z為通過校正信道發(fā)送的信號(hào)，則右側(cè)是等效熵減去校正信道的傳輸速率。如果此信道的容量?于等效熵，則右側(cè)將?于零，H(x0。但這是在知道接收信號(hào)和?例假設(shè)錯(cuò)誤在?進(jìn)制數(shù)字序列中隨機(jī)發(fā)?：?個(gè)數(shù)字錯(cuò)誤的概率p，q1p表?它正確。如果知道錯(cuò)誤的位置，這些錯(cuò)誤可以被糾正。因此，糾錯(cuò)信道只需要發(fā)送這些位置的信息。這相當(dāng)于從?個(gè)產(chǎn)??進(jìn)制位，1（錯(cuò)誤）的概率p，0（正確）的概率q的源傳輸。這需要?plogpqlogq]，這是原始系統(tǒng)的歧義由于上述恒等式，傳輸R可以寫成兩種其他形式。我R= = =H(x)+ H(x;數(shù)。因此，這三個(gè)表達(dá)式都有?定的直觀意義。有噪聲信道C應(yīng)該是可能的最?傳輸速率，即當(dāng)信源與C=Max 與所有可能?作信道輸?的信息源相關(guān)的最?值。如果信道是?噪聲的，H(x0。這?噪聲信道的定義是等的，因?yàn)樾诺赖淖?熵就是其容量 帶噪聲的離散信道的根本定似乎令?驚訝，我們應(yīng)該為有噪聲的信道定義?個(gè)確定的容量C，因?yàn)槲覀冇肋h(yuǎn)?法在這種情況下發(fā)送某些誤要求的嚴(yán)格程度提?，容量會(huì)下降。實(shí)際上，上?定義的容量C具有?常明確的含義?？梢酝ㄟ^適當(dāng)?shù)木嶤的速率通過信道發(fā)送信息，以盡可能?的錯(cuò)誤頻率或歧義發(fā)?。C的任何速率，這個(gè)陳述都是不正確的如果試圖C的速率進(jìn)?傳輸，?如CR，那么必然會(huì)有等于或R的?然通過要求恰好那么多的不確定性來收取費(fèi)?，這樣我們實(shí)際上并沒有通過正確地C更多的息情況如9所?。信息進(jìn)?信道的速率?平繪制，混淆垂直繪制。陰影區(qū)域上?任何?點(diǎn)都可以達(dá)到，?則不能。通常情況下，線上的點(diǎn)不能達(dá)到，但通常會(huì)有兩個(gè)線上的點(diǎn)可以達(dá)到 這些結(jié)果C的主要依據(jù)，現(xiàn)在將進(jìn)?證明定理11：設(shè)?個(gè)離散信道的容量為C，?個(gè)離散信源的熵為每秒H如果H在?種編碼系統(tǒng)，使得信源的輸出可以通過信道傳輸，且錯(cuò)誤率（或歧義率）可以任意?，那么當(dāng)>C時(shí)，可以編碼信源使得歧義率?于 +其中任意?的。不存?種編碼?法可以使歧義率?于

可達(dá)==斜 斜圖9——給定輸?熵到信道的歧義可能性在?個(gè)?于的數(shù)。這將證明所需的結(jié)果。有噪聲信道的容量C已經(jīng)被定義為C=Max 其中x是輸?，y是輸出。最?化是在所有可能?作信道輸?的源上進(jìn)?的設(shè)S為?個(gè)達(dá)到最?容量C的源。如果這個(gè)最?值實(shí)際上沒有被任何源實(shí)現(xiàn)，則設(shè)S為?個(gè)近似給出最?速率的源。假設(shè)S被?作信道輸?。我們考慮?時(shí)間T內(nèi)可能的傳輸和接收序列。以下將是正確的：1.傳輸序列分為兩類，?類是概率較?的組，?約有2個(gè)成員，其余序列的總概率較?。同樣.接收到的序列具2個(gè)成員的?概率集合和剩余序列的低概率集合。3.每個(gè)?概率輸出可能由?隨著T的增加和S趨近于最?化源?趨近于零。情況總結(jié)如圖10所?，輸?序列位于左側(cè)，輸出序列位于右側(cè)。交叉線的扇形表?典型輸出可能原因的圍。?概 消合理原

?接收到的信對每個(gè)合理效對每個(gè)圖10―信道輸?和輸出之間關(guān)系的?現(xiàn)在假設(shè)我們還有?個(gè)信息源以速率R產(chǎn)?信息，且R<C。在T期間，這個(gè)源將有?概率的消息。我們希望可能的?案（然?，僅使?由S確定的具有?概率的輸?組）并對這類可能的編碼系統(tǒng)的錯(cuò)誤頻率進(jìn)?平均。這相當(dāng)于計(jì)算持續(xù)時(shí)間為T的消息和信道輸?的隨機(jī)關(guān)聯(lián)的錯(cuò)誤頻率。假設(shè)觀察到特定的輸出yy的可能原因集中，有多于?條消息的概率是多少？2條消息隨機(jī)分布2個(gè)點(diǎn)上。因此，特定點(diǎn)為消息的概率是2：扇形中沒有任何點(diǎn)（除了實(shí)際起源的消息）是消息的概率是P 現(xiàn)在R< H(x)所以RH(x) 與正相關(guān)。因此?法（作為 !

P 2 2 端發(fā)送每C?特的信息，完全忽略產(chǎn)?的其余信息。在接收端，忽略的部分給出了條件熵H(x)C和傳輸?shù)牟糠种恍杼砑?。這個(gè)限制也可以通過許多其他?式達(dá)到，當(dāng)考慮連續(xù)情況時(shí)將會(huì)展?。定理?條陳述C定義的簡單結(jié)果。假設(shè)我H(xCa的?式對源進(jìn)?編碼，以獲H(xR=H(x)=C+

H(x)=C

與正的。然與正相關(guān)的。這與C作為H(x)最?值的定義相?盾 H(x)實(shí)際上已經(jīng)證明的?定理中陳述的還要多。如果?組數(shù)的平均值在它們的最?值附近，那p

討

定理11的證明雖然不是純粹的存證，但也存在此類證明的?些缺陷。試圖通過證明?法獲得理想近似通常是不切實(shí)際的。事實(shí)上，除了某些相當(dāng)簡單的情況和某些極限情況外，尚未找到對理想近似的?系列明確描述。這或許并?偶然，?是與給出隨機(jī)序列良好近似的具體構(gòu)造的困難有關(guān)。理想近似將具有以下性質(zhì)：如果信號(hào)在合理的?式下被噪聲改變，原始信號(hào)仍然可以被恢復(fù)。換句話說，改變通常不會(huì)使它?原始信號(hào)更接近另?個(gè)合理的信號(hào)。這是以?定量的編碼冗余為代價(jià)實(shí)現(xiàn)的。冗余必須以適當(dāng)?shù)?式引?，以對抗特定的噪聲結(jié)構(gòu)。然?，如果冗余在接收點(diǎn)被利?，通常會(huì)有所幫助。特別是，如果源已經(jīng)具有某種冗余，并且在匹配信道時(shí)沒有嘗試消除它，這種冗余將有助于對抗噪聲。例如，在?噪聲的電報(bào)信道中，通過適當(dāng)?shù)木幋a可以節(jié)省?約50%的時(shí)間。這并沒有做，并且英語的?部分冗余仍然保留信道符號(hào)中。然?，這也有允許信道中存在相當(dāng)?噪聲的優(yōu)點(diǎn)。相當(dāng)?部分字?可能被錯(cuò)誤接收，但仍然可以通過上下?重建。事實(shí)上，在許多情況下，這可能是對理想情況的?個(gè)不錯(cuò)的近似，因?yàn)橛⒄Z的統(tǒng)計(jì)結(jié)構(gòu)相當(dāng)復(fù)雜，合理的英語序列與隨機(jī)選擇并不太遠(yuǎn)（在定理所要求的意義上。定理11及其證明的內(nèi)容可以??種稍微不同的?式表述，這更清楚地展?了與?噪聲情況的關(guān)系。考慮可的持續(xù)時(shí)間T的信號(hào)，并假設(shè)其中?部分被選中使?。假設(shè)?集中的所有信號(hào)都以相等的概率被使?，并假設(shè)接收器被構(gòu)建為在接收到受擾信號(hào)時(shí)，從?集中選擇最可能的原始信號(hào)。我們定義(;q)為我們可以在?集中選擇的信號(hào)的最?數(shù)量，使得錯(cuò)誤解釋的概率?于或等于q。定12：q不等于0換句話說，?論我們?nèi)绾卧O(shè)定可靠性的界限，我們都可以在時(shí)T內(nèi)可靠地T?夠?時(shí)，?夠多的消CT?特。定121節(jié)中給出的?噪聲信道容量的定義進(jìn)?較離散信道?個(gè)離散信道的簡單例?如11所?。有三個(gè)可能的符號(hào)。第?個(gè)符號(hào)永遠(yuǎn)不會(huì)受到噪聲的影響。第?個(gè)和第三個(gè)符號(hào)各?有p的概率在未受?擾的情況下傳輸，有q的概率被轉(zhuǎn)換成這對中的另?個(gè)。我們有（令 qq 符 符圖11―離散信道的?例使?第?個(gè)和第?個(gè)符號(hào)的概率H(x)=PlogP 2QlogQH(x)=2Q 我們希望選擇P和Q，以使H(x)最?化 在約束條件P+2Q=1下，H(x)U=Plog 2Q 2Q+(P+

?P?Q

logP+= 2+2= logP=logQ+ P=Qe=QP=+ Q=1+信道容量因C=log+2：注意如p=1p=1的情下明顯的值。在第?種情況下，=1且C=log3，這是正確的，因?yàn)榇藭r(shí)信道是?噪聲的，有三個(gè)可能的符號(hào)。如p=1，=2且C=log2。在這種情況下，第?個(gè)和第三個(gè)符號(hào)完全?法區(qū)分，它們?起像是?個(gè)符號(hào)。第?個(gè)符號(hào)以概率P=1使?，第?個(gè)和第三個(gè)?。這可以在它們之間以任何期望的?式分配，并且仍然達(dá)到最?容量。對于中間p值，信道容量將介于log2和log3之間。第?個(gè)和第三個(gè)符號(hào)之間的區(qū)別傳遞了?些信息，但不如?噪聲情況下的信息多。第?個(gè)符號(hào)的使?頻率略?于其他兩個(gè)，因?yàn)樗皇茉肼暤脑谀承┨厥馇闆r下，信道如果噪聲獨(dú)?地影響連續(xù)的信道符號(hào)，它可以由?組轉(zhuǎn)p描述。這是在發(fā)送i時(shí)接j的概率?！芇p Pp Pplog Σi;其中我們改變Psubject?ΣP=1。通過拉格朗??法，這導(dǎo)致以下?程 plog∑Pp=s=1;2;::: 通過P并s上求和，可以得出=Cp的逆（如果存在）為h，使得∑hp=hplog ?志Pp=C h因此或者

∑; Pp=exp

hplog h指

hplog這是確定P最?化值的?程組，其中C需要確定，使得∑P=1。當(dāng)這樣做時(shí)，C將是信道容量，?P是達(dá)到容量的信道符號(hào)的正確算。例如，12中展?了這些例?。在這種情況下，H(y)與輸?符號(hào)的概率分布?關(guān)，由以下公式給出∑plog)

最?H(y)

=率y)最?值顯然是logm，其中m是輸出符號(hào)的數(shù)量，因?yàn)榭梢酝ㄟ^使輸?符號(hào)等可能來使它們都信道容量，信道C=logm+∑plogp

圖12―具有相同輸?和輸出轉(zhuǎn)移概率的離散信道的?例12a中，log2=log2：這可以通過僅使?1個(gè)C3o4號(hào)來實(shí)現(xiàn)12bC=

InFig.12cwe

= log3 3=logC= =log

2時(shí)，第n組的容量為C（每秒?特?cái)?shù)。那么很容易證明，為了充分利?整個(gè)集合，第n組所有符號(hào)的總概率P應(yīng)該是P= ∑在?個(gè)組內(nèi)，概率分布就像只使?這些符號(hào)?樣。信道Clog以下例?，盡管有些不切實(shí)際，但是?個(gè)可以精確匹配到噪聲信道的案例。有兩個(gè)信道符號(hào)，0和1，噪聲以C=Max 17+=4?特/符號(hào)：?個(gè)?效的碼，允許完全糾正錯(cuò)誤并C進(jìn)?傳輸，如下（由R.Hamming提出的?法得：讓?個(gè)由七個(gè)符號(hào)組成的塊為X；X；X。其中X、X、X和X是消息符號(hào)，由源隨機(jī)選擇。其余三個(gè)是 七位塊時(shí)；和被計(jì)算，如果偶數(shù)則稱為零，如果奇數(shù)則稱為?。然后這個(gè)?進(jìn)X的索引，如果0則表?沒有錯(cuò)符號(hào)塊數(shù)量的增?，在有限狀N(L為?度L的符號(hào)塊，以狀i結(jié)尾的數(shù)量。那么我N(L)=∑ b;b;:::;b是態(tài)i中可以選擇的符號(hào)?度，并導(dǎo)致狀態(tài)j。這些是線性差分?程，其?為如!?窮?必須是N=AW 代?差分?AW

A

iA

為了實(shí)現(xiàn)這?點(diǎn)，?列

A=D(W) ja

i 必須消失，這W，當(dāng)然，D0的最?實(shí)根。然后，C的值log∑AL=logW，并且我們注意到，如果我有塊從相同的（任意選擇的）狀態(tài)開始，性 (n)

H=的推 ∑plog （3）我們可以將?個(gè)從等可能的選擇分解為?系列從s個(gè)等可能的。::;

A(s)=類似A(t)= 我們可以選擇任意?的n，并找到?個(gè)滿?條件的st< 因此，取對數(shù)并除以nlogmlogtloglogs其中是任意?的n在從l()的n/n，因此，除

A(t)A(s)mA(s)nA(t)(m+ A(t) n+1/n或

A(s)K必須為正以滿(2)

logtlogs<2A(t)=K現(xiàn)在假設(shè)我們有n個(gè)可能的選擇，每個(gè)選擇的概率為p=n∑n，其中n是整數(shù)。我們可以將∑n個(gè)可能的選擇分解為n個(gè)可能的選擇，每個(gè)選擇的概率為p;:::;p，然后，如果選擇了第i個(gè)，則從n個(gè)可能的選擇中均等地選擇。再次使?條件(3)，我們將兩種?法計(jì)算出的∑n個(gè)總選擇相等進(jìn)?等式。H(p;:H(p;:

:p+

logn∑∑H=

h∑plog∑n∑p=K∑plog ∑n如p不可測，它們可以通過有理數(shù)近似，并且根據(jù)我們的連續(xù)性假設(shè)，相同的表達(dá)式必須成?。因此，該表達(dá)式在?般情況下成?。系數(shù)K的選擇是?便的問題，相當(dāng)于選擇了?個(gè)度量單位。?爾可夫過程定如果從?個(gè)概率0的狀態(tài)通過概率0的路徑可以到達(dá)任何其他狀態(tài)，那么系統(tǒng)是遍歷的，?數(shù)定律可以適?。因此，在?度為N的?序列中，給定路p在?絡(luò)中穿越的次數(shù)?約與處于i狀態(tài)的P成正的情這將?于，因此對于除了概率很?的集合之外的所有情況，實(shí)際數(shù)字都在這些限（Pp)N:因此，?乎所有序列都有?個(gè)p，該概率由以下公式給出p=∏pi并且N受限

N= )logplogp

:這證明了定3。定4?即從這個(gè)定理中得出，它是基于定3中p的可能值范圍來計(jì)算n(q)的上界和下界。在混合（?遍歷）的情況下，如L=∑pL，并且各分量的熵為HH我們有定理：LimNN='(q)是?個(gè)遞H梯函數(shù)，'(q)=Hin區(qū)

i<q 要證明定56，?先F是單調(diào)遞減的，因N會(huì)給條件熵添加?個(gè)下F的定義中將 (N限。通過使?定3，我們可以看到

約束系統(tǒng)最?化假設(shè)我們有?組對符號(hào)序列的約束，這種約束是有限狀態(tài)類型的，因此可以?線性圖來表?。設(shè)`為從狀態(tài)i到狀態(tài)j的各種符號(hào)?度的?度。什么概率分布P對于不同的狀態(tài)以及p對于在狀態(tài)i選擇符號(hào)s并轉(zhuǎn)移到狀態(tài)j最?化在約束下的信息?成速率？約束定義了?個(gè)離散信道，最?速率必須?于或等于該信道的容量C，當(dāng)?shù)腜和p的選擇，可以實(shí)現(xiàn)這個(gè)速率。所討論的速率是 ∑ g =i∑ Mi讓`=∑`.顯然，對于最?值p=kexp`.最?化約束條件為∑P=1,∑p=1,∑P( )=0。因此我們最?1gU ΣPplogpΣPp`+ΣP+Σp+Σ1g?p

+++P=由

p=ABD的正確值是容量C，?B

p 1;1;p=B∑BD:B ∑B然

p=BB∑PBBC=因此如果滿

ΣBC=BΣiC=BBC滿?條件，因B和的?程組都可以得到滿 j在這種情況下，速率但

∑Pplog∑Pp`=

∑PplogΣPp`log第三部分：數(shù)學(xué)預(yù)備知包含頻率不超過每W個(gè)周期的所有時(shí)間函數(shù)的集合帶寬限制W，幅度限制A的所有函數(shù)的集合集。?些函數(shù)集的進(jìn)?步例?包括：1.?個(gè)有限的函數(shù)集f(t)(k=1;2;:::;n)，其中f的概率為p。?個(gè)有限在參數(shù)上的概率分布例如，我們可以考慮

f(1;2;:::;p(1;:::; 幅a服從正態(tài)分布且相互獨(dú)?，相位服從均勻分布（02）且相互獨(dú)?在數(shù)學(xué)術(shù)語中，這些函數(shù)屬于?個(gè)總測度為1的集

+∞asin f(a;t)

pN0到W周/秒之間，平均功率為N。4.將點(diǎn)按照泊松分布分布在t軸上。在每個(gè)選定的點(diǎn)上放置函數(shù)f(t)，然后將不同的函數(shù)相加，得到總體f(t+ 這?指的是泊松分布的零點(diǎn)。這個(gè)集合可以被視為?種脈沖或射擊噪聲，其中所有脈沖都是相同的5.按照普通使?中出現(xiàn)的頻率來衡量的英語語?功能的概率度量集如果將所有函數(shù)在任何固定的時(shí)量上移動(dòng)，得到的集合相同，則函數(shù)集合f(t)是平穩(wěn)的f(tsin(t是平穩(wěn)的，如果02之間均勻分布。如果我們對每個(gè)函數(shù)進(jìn)?平移，我們得f(t+t)=sin(t+t+)= sin(t+')分布0到2之間。每個(gè)函數(shù)都發(fā)?了變化，但整個(gè)集合在平移下是不變的。上述其他?例也是平穩(wěn)的。如果集合是平穩(wěn)的，并且集合中沒有函數(shù)?集的概率01不同，則該集合是遍歷的。sin(t)sin(t是遍歷的。這些函數(shù)的?集0；1在所有時(shí)間平移下都保持不變。另???，由正6函asin(t組成的集合，a均勻，是平穩(wěn)的但不是遍歷的。例如，這a01之間的?集是平穩(wěn)的在給出的例?中，3和4是遍歷的，5可能也可以被認(rèn)為是遍歷的。如果?個(gè)集合是遍歷的，我們可以說，率為1）等于特定函數(shù)的時(shí)間平移的平均值。簡??之，每個(gè)函數(shù)隨著時(shí)間的推移，可以期望以適當(dāng)?shù)念l率2這種表?法可以?作帶限?噪聲的定義。它在涉及的限制操作???過去使?的定義要少，具有?定的優(yōu)勢。名稱“?噪聲”已經(jīng)在?中根深蒂固，也許有些不幸。在光學(xué)中，?光意味著任何連續(xù)光譜，與點(diǎn)光譜相對，或者波?平坦的光譜（這與頻率平坦的光譜不同。3這就是著名的遍歷定理，或者更確切地說，是Bikho?、oneuann和opan等?以不同形式證明的該定理的?個(gè)??，iener、pf、uwicz等?對其進(jìn)?了推?。遍歷理論的?獻(xiàn)?常?泛，讀者可參考這些作者的論?以獲取精確和?般的表述；例如，E.pf的《Eodetheorie，atheatisheAnalenundiheGenzbiee，第5卷“OnCualitytatisticsandability《uralofatheaticsandics，第XIII卷，第1期，1934年；.iener的《TheEodicTheoem，合。例如，假設(shè)我們有?個(gè)函數(shù)集合f(t)和?個(gè)算?T，它對每個(gè)函數(shù)f(t)給出?個(gè)結(jié)果函數(shù)g(t)：g(t)=Tf(t)：通過集合f(t)的概率測度定義集合g(t)的概率測度。g(t)函數(shù)的某個(gè)?集的概等于在操作T下產(chǎn)?給定g函數(shù)?集成員的f(t)函數(shù)?集的概率。在物理上，這相當(dāng)于將集合通過某種設(shè)備，例如濾波器、整流器或調(diào)制器。設(shè)備的輸出函數(shù)形成集合g(t)。如果輸?shù)囊苿?dòng)僅僅導(dǎo)致輸出的移動(dòng)，即，如果g(t)=T推g(t+t)=Tf(t+對于所f(t)和所t，如T是不變的，并且輸?集是平穩(wěn)的，那么輸出集也是平穩(wěn)的。同樣，如果輸?是遍歷的，輸出也將是遍歷的（參?5）函數(shù)的有限集與BAND如果?個(gè)時(shí)間f(t)限制0W周/秒的頻帶內(nèi)，那么它完全由?系列離散點(diǎn)的縱坐標(biāo)確定，這些點(diǎn)以以下結(jié)果所?的?式間隔秒。定13：如f(t)不包含超W的頻率。那么

Xsin(2Wt 哪X=

2W4通信理論在很?程度上歸功于維納的基本哲學(xué)和理論。他的經(jīng)典C報(bào)告《平穩(wěn)時(shí)間序列的內(nèi)插、外推和（ily，1949年，?次明確地將通信理論表述為統(tǒng)計(jì)問題，即時(shí)間序列操作的研究。這項(xiàng)?作雖然主要關(guān)注線性預(yù)測和濾波問題，但與本?密切相關(guān)，是?個(gè)重的參考。我們還可以參考維納的《控制（ily，1948年，討論通信和控制的?般問題。5對于該定理的證明和進(jìn)?步討論，請參閱在《?線電?程師學(xué)會(huì)學(xué)報(bào)》第37卷第1期（1949年1?）發(fā)表的論?“存在噪聲的通信”第10-21?。在這個(gè)擴(kuò)展中，f(t)被表?為正交函數(shù)的和。各種項(xiàng)的系數(shù)X可以被視為?限維“函數(shù)空間”中的坐標(biāo)。在?個(gè)函數(shù)可以被認(rèn)為是實(shí)質(zhì)上限制在時(shí)T內(nèi)，如果所有這個(gè)時(shí)間間隔外的縱X都是零。在這種情況下，除2TW個(gè)坐標(biāo)外，所有坐標(biāo)都將為零。因此，限制在W和持續(xù)時(shí)T2TW維W和持續(xù)時(shí)T的函數(shù)的?集對應(yīng)于這個(gè)空間中的?個(gè)區(qū)域。例如，總能量?于或E的函數(shù)對應(yīng)于有限時(shí)?和帶寬的函數(shù)集將由相應(yīng)n維空間中的概率分布p(x;:::;xn)表?。如果函數(shù)集在時(shí)間上沒有限制，們可以認(rèn)為在給定時(shí)間間隔內(nèi)的2TW坐標(biāo)實(shí)質(zhì)上代表了函數(shù)在該時(shí)間間隔內(nèi)的部分，?概率分布 連離散概率集p;:::;p的熵已經(jīng)被定義為

以類似的?式，我們定義連續(xù)分布的熵，其密度H

p(x)logp(x)ZH p(x;:::;x)logp(x;:::;xn)ddx如果我們有兩個(gè)?變量x和y（它們本?也可能是多維的，則p(x;y)的聯(lián)合熵和條件熵由以下公式ZH(x;y) p(x;y)logp(x;y)dx并H(y)H(x)

Zp(x;y)logp(x;p(x)dxZp(x;y)logp(x;p(y)dx p(x;y)連續(xù)分布的熵具有?多數(shù)（但并?全部）離散情況下的性質(zhì)。特別是，我們有以下性質(zhì)：1.如x在其空間中限制在?定的體v內(nèi)，那么p(x)在該體積內(nèi)恒定時(shí)（1=v，H(x)達(dá)到最?值，等于logv。對于任意兩個(gè)變量x，y，我H(x;y)H(x)+ 如果且僅如x和y是獨(dú)?的，即p(x;y)=p(x)p(y)（可了?組概率為零的點(diǎn)集之外考慮以下類型的?義平均運(yùn)算

a(x;y)p(x)a(x;y)dx

a(x;y)dy=1;a(x;

然后平均分布p(y)的熵等于或?于原始分布p(x)的熵我H(x;y)=H(x)+H(y)=H(y)+ 并H(y)p(x)為?維分布x的標(biāo)準(zhǔn)差固定為σ的條件下，?的p(x)形式為?斯分布。為了證明?點(diǎn)，我們必須最?H(x)

p(x)logp(x) p(x)xdxand1 p(x)作為約束條件。這需要通過變分法來最?logp(x)+p(x)x+p(x)這logp(x)+x+=0并且因此（調(diào)1常數(shù)以滿?約束 類似地，n維空間中，p(x;:::;xn)的?階矩固定ZA xix(x;:::;xn)dxdxn:然后最?熵發(fā)?在（通過類似的計(jì)算）p(x;:::;xn)是具有?階矩A的n維?斯分布時(shí)?維?斯分布的熵，其標(biāo)準(zhǔn)差為σ，由H(x)=logp2e這是按照以下?式計(jì)算的p(x)=1p2

p2+H(x)

p(x)logp(x)

Zp(x)= 對p2dx===

+?志‘e‘類似地，與相關(guān)?次a相關(guān)的np(x;:::;xn)

a)jxp 1∑axix熵可以計(jì)jH 哪 是j?個(gè)元素為a的?列如果x限制在半線上（當(dāng) 0)并且x的第?個(gè)矩固定 a= p(x)x那么最?熵發(fā)?并且等于log情況下，測量相對于坐標(biāo)系。如果我們改變坐標(biāo)，熵通常會(huì)改變。事實(shí)上，如果我們改變到y(tǒng)ZH(y)=熵(y)=p(x;

J變換的雅可?矩陣。展開x，們得到Zxxxn)

1::準(zhǔn)（即與每個(gè)?體積元dx選擇的坐標(biāo)系）的隨機(jī)性度量。dxn給予相同的權(quán)重。當(dāng)我們改變坐標(biāo)系時(shí)，新系當(dāng)?shù)润w積素dy給予相同權(quán)重時(shí)在新系統(tǒng)中，dyn權(quán)重。盡管這種依賴性取決于坐標(biāo)系，但熵的概念在連續(xù)情況下與離散坐標(biāo)變換的?個(gè)特例是線性變y在這種情況下，雅可?矩陣就是?列 在坐標(biāo)旋轉(zhuǎn)（或任何保持測度變換）的情況下，J=1且H(y)=H(x)考慮?個(gè)限于?定帶寬W周/秒的遍歷函數(shù)集p(x;:::;為n個(gè)連續(xù)采樣點(diǎn)處的幅x;:::;xn的概率密度布函數(shù)。我們定義每?由度1/Z)log)log?窮

xn)dx::::我們也可以通過將時(shí)T（秒）除以樣n，?不是除n來定義每秒H。n2TW，H2WH。對于?噪聲，p是?斯分布，我們有2loeN;H=W對于給定的平均功N，?噪聲具有最?的可:。這源于上述?斯分布的最?化特性合理?概率的體積有關(guān)。更確切地說，如果我們p(x;:::;x)在所有x和所有n上都是連續(xù)的，那么對logp對于所有（x；……；xn）的選擇，除了總概率?于ε的集合，ε和δ可以任意?。如我們把空間分成許多? H與體積的關(guān)系可以表述如下：在相同的假設(shè)下，考慮對應(yīng)于p(x;:::;xn)的n維空間。設(shè)V(q)為該空間

n=q01。這些結(jié)果表明，n，存在?個(gè)相當(dāng)明確的體積（?少在對數(shù)意義上，并且在p(x;:::;xn)=1(2π 1 pnN。當(dāng)n!∞時(shí)(p2在連續(xù)情況下，我們更?便地H?起?作，?是與?個(gè)導(dǎo)出量?起?作，我們將稱之為熵功率。這定義為與原始集合相同的頻帶限制的?噪聲的功率，并且具有相同的熵。換句話說，如His?N12eexp2H在?何圖像中，這相當(dāng)于通過具有相同體積的球體的平?半徑來測量?概率體積。由于?線性濾波器中的熵?fù)p定理14：如果?個(gè)具有W個(gè)?由度熵Hper的集合通過具有特性Y(f)的濾波器，H=H+

jYfj2df濾波器的操作本質(zhì)上是對坐標(biāo)的線性變換。如果我們同的頻率分量看作原始坐標(biāo)系，新的頻率分量僅僅是舊的乘以因?。因此，坐標(biāo)變換矩陣在這些坐標(biāo)下本質(zhì)上是對?化的。變換的雅可?矩陣（對于n個(gè)正弦和個(gè)余弦分量）是帶寬W內(nèi)f等間隔分布。這成為極

J等jYf)（j∏=1累乘從11W次 對jY(f)j2dfJ是常數(shù)，其平均值也是相同的量，應(yīng)?化熵變化的定理，結(jié)果隨之?來。我們也可以?熵功率來表述。因此，如果第?個(gè)集合的熵功率是N，第?個(gè)集合的是Nexp1W。jY（fj2增 功率功率增益沖激響應(yīng)因素分 !

=2)=2)

! 2e 45:33

t!!

成

2t+p1！

cos(1)t最終熵功率是初始熵功率乘以濾波器的?何平均增益。如果增益以分?為單位測量，則輸出熵功率W在I中，已經(jīng)計(jì)算了（并以分?表?）多種理想增益特性的熵功率損失。這些濾波器的沖擊響應(yīng)也給出2，相位假設(shè)0。許多其他情況的熵?fù)p失也可以從這些結(jié)果中獲得。例如，第?個(gè)情況的熵功率因?1=ef也適?于從1獲得的任何增益特性。通過保持變換的量度！軸。特別是線性增加的增益G(!)=!，或者0到1之間的“鋸?”特性具有相同的熵?fù)p因此，1=!具有系e。將增益提?到任何冪將系數(shù)提?到這個(gè)冪如果我們有兩個(gè)函數(shù)集合f(t)和g(t)，我們可以通過“相加”形成?個(gè)新的集合。假設(shè)第?個(gè)集合的概率密度p(xxn)，q(xxn)。那么求和的密度函數(shù)由卷積給出Zr(x;:::;xn) p(y;:::;yn)q(x y;:::; yn)dydy從物理上講，這相當(dāng)于添加由原始函數(shù)集表?的噪聲或信號(hào)以下結(jié)6中推導(dǎo)得出定15：設(shè)兩個(gè)集合的平均功率為N和N，它們的熵功率分別為N和N。那么和的熵功N被限制N+ NN+N：考慮與這些具n個(gè)維度的集合相關(guān)的函數(shù)空間。?噪聲對應(yīng)于該空間中的球形?斯分布。信號(hào)集合對應(yīng)于另?個(gè)概率分布，不?定是?斯或球形的。設(shè)該分布關(guān)于其質(zhì)?的?階矩為a。也就是說，如p(x;:::;Za p(xii)(x j)dxdx被簡化為對?形式b。我們要求每個(gè)b與球?分布的平?半徑N相?都很?。在這種情況下，噪聲和信號(hào)的卷積產(chǎn)??個(gè)近似?斯分布，其對應(yīng)的?次型為N+b：該分布的熵功率為 h∏(N+b或

=N ∑b最后這?項(xiàng)是信號(hào)功率，?第?項(xiàng)是噪聲功第四部分：連續(xù)連續(xù)信道在連續(xù)信道中，輸?或傳輸?shù)男盘?hào)將是屬于某?集合的時(shí)間連續(xù)函數(shù)f(t)，?輸出或接收到的信號(hào)將是這些信號(hào)的擾動(dòng)版本。我們只考慮傳輸和接收信號(hào)都限制在某W的情況。對于時(shí)T，2TW個(gè)數(shù)P(x;:::;xn)=并且那些由條件概率分布產(chǎn)?的噪P(y;:::;yn)=連續(xù)信道的傳輸信息速率定義為與離散信道類似的?式，即R= 其中H(x)是輸?的熵，H(x)是等效熵。信道容量C定義為在所有可能的集合上變化輸?時(shí)的R的最?值。P(x)logP(x)dx

ZP(x;P(y)dx這可以寫 Z(x;y)logP(x;Z

P(x;y)logP(x)dxdy= xZ(x;y)logP(x;xC=

P(x)P(y在這種形式中，顯R和C與坐標(biāo)系?關(guān)，因?yàn)閤和y以任何?對?的?式變換時(shí)，logP(x;y)P(x)P(y)的分?和分?將乘以相同的因?。這個(gè)C的積分表達(dá)式?H(x)更通?H(x)。正確理7(如果計(jì)算H(x)和H(x)所使?的對數(shù)底數(shù)為2，那么C是每秒可以通過信道發(fā)送的最??進(jìn)制位數(shù)，以任元?夠?，以?于信x被擾動(dòng)到y(tǒng)的概率密P(y)在單元內(nèi)（?論是x還是y）基本上是恒定的。如果際情況下，這種將體積量化為個(gè)別點(diǎn)的?法不會(huì)顯著改變最終答案，只要區(qū)域?夠?。因此，容量將是離?區(qū)間的容量的極限，這正是上?定義的連續(xù)容量。在數(shù)學(xué)??，?先可以證明（?附錄7，如果u是消息，x是信號(hào)，y是接收到的信號(hào)（受到噪聲的擾動(dòng)，v是恢復(fù)的消息，那么 H(u) ?論對u進(jìn)?何種操作以獲得x，還是對y進(jìn)?何種操作以獲得v，都是如此。因此，?論我們?nèi)绾尉幋a?元或錯(cuò)誤頻率。例如，當(dāng)我們?nèi)⌒盘?hào)函數(shù)的有限維逼近空間時(shí)，如P(x;y)x和y上連續(xù)，除了概率為零的那P(y)nyP(y)= 我們可以給噪聲分配?個(gè)確定的熵（與信號(hào)統(tǒng)計(jì)?關(guān)，即分布Q(n)的熵。這個(gè)熵將表?為H(n)。定16：R 即，接收信號(hào)的熵減去噪聲的熵。信道我們有，當(dāng)y=x+

C=

H(x;y)=H(x; 擴(kuò)展左側(cè)并利?x和n相互獨(dú)H(y)+H(x)=H(x)+ 因R= H(x)=H(y) 由于H(n)與P(x)?關(guān)，要最?化R，就需要最?化H(y)，即接收信號(hào)的熵。如果對傳輸信號(hào)集有某些約束，具有平均功率限制的信道定16的?個(gè)簡單應(yīng)?是噪聲為?熱噪聲，傳輸信號(hào)被限制在?定的平均功P的情況。此時(shí)，接收到的信號(hào)的平均功率為P+N，其中N是平均噪聲功率。當(dāng)接收到的信號(hào)也形成?個(gè)?噪聲集時(shí)，最?熵發(fā)?，因?yàn)檫@是功P+N可能的最?熵，可以通過適當(dāng)選擇傳輸信號(hào)來實(shí)現(xiàn)，即如果它們形成?個(gè)功率為P的?噪聲H(y)=Wlog2(2πe(P+

H(n)=W C=H(y) H(n)=WlogP+N總結(jié)如下：定17：當(dāng)平均發(fā)射功率限制為P時(shí)，帶寬為W的受?熱噪聲功N?擾的信道C=WlogP+N這意味著通過?夠復(fù)雜的編碼系統(tǒng)，我們可以以?夠快的速度傳輸?進(jìn)WlogPN每N?特，錯(cuò)誤頻率任意?。任何編碼系統(tǒng)都?法在不肯定有錯(cuò)誤頻率的情況下以更?的速本?從?何?度討論了?噪聲案例的這些及其他性質(zhì)，參?“在有噪聲的通信中，同上可以構(gòu)造兩個(gè)持續(xù)時(shí)間T的?噪聲樣本。這些樣本被分配0M1在發(fā)射端，消息序列被分s組，并為每組傳輸相應(yīng)的噪聲樣本作為信號(hào)。在接收端，M個(gè)樣本，并將實(shí)際接收到的信號(hào)（受噪聲?擾）與每個(gè)樣本進(jìn)??較。與接收信號(hào)R.M.S.差異最?的樣本被選為傳輸信號(hào)，并重建相應(yīng)的?進(jìn)制數(shù)。這個(gè)過程相當(dāng)于選擇最可能的（后驗(yàn)）信號(hào)。使?的噪聲樣M將取決于可容忍的錯(cuò)誤頻率，但對于?乎所有樣本的選擇，我們都有l(wèi)og(T極限極 T N因此，?論選擇多?的，我們都可以通過T，在時(shí)T內(nèi)傳輸盡可TWlogPN的?進(jìn)制位數(shù)。對于?噪聲情況，CWlogPN類似的公式已被其他?位作家獨(dú)?開發(fā)，盡管解釋略有不同。在任意擾動(dòng)噪聲（不?定是?熱噪聲）的情況下，似乎?法顯式解決確定信道C所涉及的最?化問題?，可以?平均噪聲功率N和噪聲熵功率N來設(shè)定C的上界和下界。在?多數(shù)實(shí)際情況下，這些界限?夠接近，可以提供對問題的滿意解決?案。定18：受任意噪聲擾W的信道容量受不等WlogP+NN的約束。CWlogP+其P=平均發(fā)射功率，N=平均噪聲在這?，受擾信號(hào)的功率PN。對于這種功率，最?熵將發(fā)?在接收