第1章隨機(jī)信號(hào)基礎(chǔ)

現(xiàn)代信號(hào)處理電子工程系張旭東zhangxd@一點(diǎn)思考和討論徹底告別應(yīng)試思維！學(xué)習(xí)和思考？質(zhì)疑？知識(shí)和興趣？研究生階段的學(xué)習(xí)？一門(mén)課程框架下的多樣化學(xué)習(xí)？從被動(dòng)學(xué)習(xí)，到自主學(xué)習(xí)，到探求未知，研究生階段必要的角色轉(zhuǎn)變？本課程要討論的主要問(wèn)題（1）對(duì)信號(hào)特性的了解隨機(jī)信號(hào)（隨機(jī)過(guò)程，時(shí)間序列––隨機(jī)過(guò)程的一個(gè)實(shí)現(xiàn)）信號(hào)模型→參數(shù)估計(jì)→現(xiàn)代譜估計(jì)：參數(shù)化譜估計(jì)討論信號(hào)模型及模型參數(shù)的估計(jì)問(wèn)題，各種信號(hào)模型的作用（2）對(duì)統(tǒng)計(jì)意義下最優(yōu)濾波器設(shè)計(jì)的研究平穩(wěn)條件下：Wiener濾波器理論非平穩(wěn)條件下：Kalman濾波非線性非高斯：貝葉斯濾波，粒子濾波理論上的目標(biāo)，實(shí)際算法可達(dá)到的最佳結(jié)果（3）對(duì)環(huán)境的自適應(yīng)，有“學(xué)習(xí)能力”的濾波算法自適應(yīng)均衡、波束形成、線性自適應(yīng)濾波器、盲處理（4）信號(hào)的統(tǒng)計(jì)分析方法現(xiàn)代譜估計(jì)方法，信號(hào)模型方法的應(yīng)用，子空間方法更多信息的利用，挖掘（針對(duì)非高斯問(wèn)題）非線性、多譜：高階量，循環(huán)平穩(wěn)信號(hào)的盲處理（5）對(duì)時(shí)間–頻率關(guān)系的適應(yīng)性、稀疏表示信號(hào)的時(shí)間-頻率聯(lián)合分析，反映信號(hào)更豐富特性全局特性與局域特性，小波變換，時(shí)頻分析，信號(hào)的稀疏表示和恢復(fù)，CS教材張旭東，陸明泉：離散隨機(jī)信號(hào)處理，2005年10月，清華大學(xué)出版社張旭東，現(xiàn)代信號(hào)分析和處理，2017年，清華大學(xué)出版社（目前老版教材售罄暫缺，新版教材于2017年出版，網(wǎng)絡(luò)學(xué)堂將提供新版教材的電子版，由于與出版社版權(quán)問(wèn)題，電子版教材僅供選課同學(xué)參考，切勿外傳）

S.Haykin,AdaptiveFiltertheory,Prentice-Hall,FouthEdition2001(電子工業(yè)出版社影印本和中文譯本)S.M.Kay,ModernSpectralEstimation:Theory&Application,Prentice-Hall,1988S.M.Kay,FundamentalsofStatisticalSignalProcessing:EstimationTheory,PrenticeHallPTR,1993.（有中文譯本）S.Mallat,AWaveletTourofSignalProcessing,Academicpress,ThirdEdition2009Van

Tree，Optimum

Array

Processing，Wiley，2002（有中文譯本）J.G.Proakis,etal.AlgorithmsforStatisticalSignalProcessing, Prenticehall,2002（有中文譯本）D.SimonOptimalStateEstimation,Wiley,2006S.Foucart,H.Rauhut,AMathematicalIntroductiontoCompressiveSensing,Springer,2013主要參考書(shū)IEEE

Signal

Processing

MagazineIEEETrans.OnSignalProcessingSignalProcessingProceedingsofIEEEProceedingsofICASSP，DSP主要雜志和會(huì)議文集課程成績(jī)平時(shí)作業(yè)20％3個(gè)Matlab作業(yè)60％（布置后2周內(nèi)提交）期末課程報(bào)告20％（開(kāi)放性選題）信號(hào)處理算法設(shè)計(jì)面向的幾個(gè)主要因素信噪比信噪比可能顯式或隱式地影響信號(hào)處理方法的性能先驗(yàn)知識(shí)雷達(dá)通信系統(tǒng)電子對(duì)抗對(duì)先驗(yàn)知識(shí)的利用：統(tǒng)計(jì)基礎(chǔ)上的假設(shè)、學(xué)習(xí)過(guò)程算法復(fù)雜性與性能要求的匹配性(問(wèn)題的適宜性）Occam剃刀原理：除非必要，“實(shí)體”不應(yīng)該隨便增加，或：設(shè)計(jì)者不應(yīng)該選用比“必要”更加復(fù)雜的系統(tǒng)。學(xué)術(shù)研究和工程應(yīng)用信號(hào)處理的不同對(duì)象和方法高斯類(lèi)信號(hào)和非高斯類(lèi)信號(hào)平穩(wěn)信號(hào)與非平穩(wěn)信號(hào)線性系統(tǒng)和非線性系統(tǒng)時(shí)間處理、空間處理和時(shí)空處理有監(jiān)督系統(tǒng)和無(wú)監(jiān)督系統(tǒng)建立了系統(tǒng)的科學(xué)方法的巨人牛頓艾薩克·牛頓爵士，1643年~1727年(維基百科對(duì)他的定義是：英格蘭物理學(xué)家、數(shù)學(xué)家、天文學(xué)家、自然哲學(xué)家和煉金術(shù)士）；1687年發(fā)表《自然哲學(xué)的數(shù)學(xué)原理》；其他物理學(xué)上的貢獻(xiàn)；與萊布尼茨分享發(fā)展了“微積分學(xué)”的榮譽(yù)；證明了廣義二項(xiàng)式定理，提出了“牛頓法”以趨近函數(shù)的零點(diǎn)，并對(duì)冪級(jí)數(shù)的研究作出了貢獻(xiàn)。自然和自然律隱沒(méi)在黑暗中；

神說(shuō)，讓牛頓去吧！萬(wàn)物遂成光明--浦柏了解一點(diǎn)科學(xué)史隨機(jī)信號(hào)處理與貝葉斯ThomasBayes，貝葉斯(1702-1763)，英國(guó)數(shù)學(xué)家.貝葉斯決策理論方法（1763）是統(tǒng)計(jì)模型決策中的一個(gè)基本方法，其基本思想是：1、已知條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率；2、利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率；3、根據(jù)后驗(yàn)概率大小進(jìn)行決策分類(lèi)。Born:April30,1777,Brunswick,Germany

Died:February23,1855,G?ttingen,Germany

離散隨機(jī)信號(hào)處理與高斯(CarlFriedrichGauss)

AscientificbiographerswroteinNature(128[1931],341):"Hewasnotreallyaphysicistinthesenseofsearchingfornewphenomena,butratheralwaysamathematicianwhoattemptedtoformulateinexactmathematicaltermstheexperimentalresultsobtainedbyothers."正態(tài)分布（高斯分布）最小二乘LSFFT，…傅里葉

BaronJean-Baptiste-JosephFourier(1768-1830)*1807年12月21日，傅里葉提交了一篇關(guān)于熱學(xué)原理的論文，其中，揭示了：在一個(gè)有限區(qū)間上任意不規(guī)則圖形所定義的一個(gè)任意函數(shù)（連續(xù)或具有不連續(xù)點(diǎn)）總是能夠表示為正弦信號(hào)的和，這被后來(lái)稱(chēng)為傅里葉級(jí)數(shù)。*5位法國(guó)數(shù)學(xué)家組成的評(píng)審委員會(huì)，評(píng)審這篇論文，其中包括拉格朗日，拉普拉斯、勒讓德等，最后以拉格朗日的激烈反對(duì)，而未能發(fā)表。*15年后（1823年），傅里葉在其努力失敗后，以“熱的解析理論”的書(shū)的形式發(fā)表了他的成果。*一些現(xiàn)在被廣泛接受的方法，在歷史上被不理解，甚至被認(rèn)為是荒謬的例子，在科學(xué)史上很多，科學(xué)的進(jìn)步之路，有時(shí)候需要打破權(quán)威，持之以恒地堅(jiān)持。N.Wiener與信號(hào)處理的統(tǒng)計(jì)學(xué)方法NorbertWiener，1894-1964)1942年發(fā)表了在統(tǒng)計(jì)準(zhǔn)則下對(duì)時(shí)間序列進(jìn)行外推/濾波和預(yù)測(cè)的維納濾波理論1948年，出版《控制論》在純數(shù)學(xué)里的許多貢獻(xiàn)隨機(jī)信號(hào)處理/信號(hào)處理的統(tǒng)計(jì)方法盡管從貝葉斯和高斯等的工作中，找到了信號(hào)統(tǒng)計(jì)處理的一些基本思想，作為學(xué)科，隨機(jī)信號(hào)處理是一個(gè)“現(xiàn)代的科學(xué)分支”，并從現(xiàn)代統(tǒng)計(jì)學(xué)中吸收重要思想；Wiener濾波理論，對(duì)于推動(dòng)信號(hào)處理的統(tǒng)計(jì)方法的發(fā)展，有顯著的作用，（李郁榮對(duì)于Wiener濾波理論在電子工程的應(yīng)用有實(shí)質(zhì)貢獻(xiàn)）；二次世界大戰(zhàn)后，雷達(dá)，通信，航空和地震勘探等的需求，推動(dòng)了信號(hào)處理統(tǒng)計(jì)方法理論上的快速發(fā)展，大規(guī)模數(shù)字計(jì)算技術(shù)的飛躍，又為應(yīng)用提供了支持，兩者的推動(dòng)，使該領(lǐng)域自50年代以來(lái)，一直非?；钴S，至今，新的問(wèn)題不斷被提出。一些進(jìn)展中的課題盲信號(hào)處理（無(wú)監(jiān)督學(xué)習(xí)）序列貝葉斯估計(jì)、粒子濾波空時(shí)信號(hào)處理壓縮傳感和信號(hào)的稀疏化表示理論圖上信號(hào)采樣、重構(gòu)和處理等等與信號(hào)處理緊密關(guān)聯(lián)的領(lǐng)域人工神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)（機(jī)器智能，大數(shù)據(jù)等）模式識(shí)別等等1隨機(jī)信號(hào)基礎(chǔ)被噪聲干擾的初相位是隨機(jī)值的正弦波

信號(hào)本質(zhì)上均是隨機(jī)的，但將信號(hào)作為隨機(jī)信號(hào)處理，還是做為確定信號(hào)處理，與我們的應(yīng)用目標(biāo)和我們的先驗(yàn)知識(shí)有關(guān)，一般地，我們總是選擇對(duì)應(yīng)用有利的處理方式。

1.隨機(jī)過(guò)程(信號(hào))復(fù)習(xí)隨機(jī)信號(hào)

簡(jiǎn)記為均值自相關(guān)自協(xié)方差函數(shù)

平穩(wěn)隨機(jī)過(guò)程：聯(lián)合概率密度函數(shù)與起始時(shí)間無(wú)關(guān)

寬平穩(wěn)（二階）

相關(guān)函數(shù)的性質(zhì)

寬平穩(wěn)和嚴(yán)格平穩(wěn)的關(guān)系？

互相關(guān)

聯(lián)合寬平穩(wěn)有

互相關(guān)系數(shù)相關(guān)不相關(guān)正交等價(jià)性零均值條件下，不相關(guān)就一定是正交例設(shè)有兩個(gè)測(cè)量信號(hào)（零均值）

解：可見(jiàn)互相關(guān)的最大值發(fā)生在處，測(cè)量了延遲

2．自相關(guān)矩陣

定義：設(shè)M維信號(hào)矢量用隨機(jī)信號(hào)的自相關(guān)矩陣定義為信號(hào)矢量外積的期望值，即這是一個(gè)方陣。

表示，自協(xié)方差矩陣互相關(guān)矩陣、互協(xié)方差矩陣的定義類(lèi)似，不再保證是方陣，自行練習(xí)自相關(guān)矩陣的幾個(gè)性質(zhì)

Toeplitz矩陣

半正定：對(duì)任意

一般情況下，R是正定的，只有當(dāng)觀察矢量是由K個(gè)正弦組成，且

是例外的

特征分解

自相關(guān)矩陣的特征值總是大于或等于零

不同的兩個(gè)特征值對(duì)應(yīng)的特征矢量是正交的

令：則：增廣性質(zhì)

高1階自相關(guān)矩陣必包含一個(gè)完整的低1階的自相關(guān)陣。反之，由低1階自相關(guān)陣，按一定方式可增廣出高1階自相關(guān)陣3．常見(jiàn)信號(hào)正弦波加噪聲:

噪聲與正弦波是統(tǒng)計(jì)獨(dú)立的，噪聲是白噪聲

的自相關(guān)函數(shù)為由正弦波加噪聲構(gòu)成的信號(hào)矢量

M×M的自相關(guān)矩陣R

其中實(shí)高斯過(guò)程聯(lián)合高斯分布的邊際分布和條件分布前提條件4．功率譜密度

復(fù)功率譜

功率譜

反變換

維納–––辛欽定理（Wiener-KhinchinTheorem）

5.隨機(jī)信號(hào)通過(guò)線性系統(tǒng)

輸入和輸出的互相關(guān)及輸出的自相關(guān)序列為:

復(fù)功率譜關(guān)系

功率譜密度關(guān)系

若輸入是白噪聲，方差為,則

6.連續(xù)信號(hào)與離散信號(hào)功率譜的關(guān)系

1.2隨機(jī)信號(hào)模型有理傳遞函數(shù)模型

稱(chēng)做ARMA模型：自回歸滑動(dòng)平均模型例：AR(1)分析.

一個(gè)極點(diǎn)對(duì)應(yīng)左序列，一個(gè)極點(diǎn)對(duì)應(yīng)右序列

反變換得

功率譜密度PSD：

a．取a(1)=-0.8,自相關(guān)序列和功率譜密度如圖所示

b．取a(1)=0.8,自相關(guān)序列和功率譜密度

1.3

自相關(guān)與模型參數(shù)的關(guān)系：

Yule-Walker方程AR過(guò)程

重寫(xiě)差分方程為

兩邊同乘

并取期望值

時(shí)

即

(1)

噪聲功率方程模型系數(shù)方程矩陣形式

(2)

(1)式和(2)式結(jié)合,利用自相關(guān)矩陣的增廣特性,得增廣Yule_Walker方程

若知模型階P，P×P相關(guān)矩陣R，由Yule-Walker方程，可求得模型參數(shù)

進(jìn)而可以得到PSD

實(shí)際中，R是未知的，我們只有一組觀測(cè)值，構(gòu)成觀測(cè)矢量，由它估計(jì)r(k)或直接估計(jì)模型參數(shù)。由隨機(jī)過(guò)程的一組觀測(cè)值估計(jì)它的有關(guān)參數(shù)，這個(gè)問(wèn)題是估計(jì)理論討論的主要內(nèi)容。

對(duì)于ARMA(p,q)模型

對(duì)于MA(q)模型

1.4概率分布模型正態(tài)分布模型（高斯分布）可通過(guò)采集的樣本進(jìn)行估計(jì)（第二章）其他：超高斯，亞高斯指數(shù)類(lèi)，…混合高斯分布模型且參數(shù)估計(jì)？附注1在現(xiàn)代信號(hào)處理系統(tǒng)和通信系統(tǒng)仿真中，利用ARMA方法，產(chǎn)生規(guī)定功率譜性質(zhì)的隨機(jī)信號(hào)，是常用的方法之一。ARMA方法可以有效的產(chǎn)生具有規(guī)定功率譜的高斯隨機(jī)信號(hào)，和瑞利隨機(jī)信號(hào)。用ARMA方法產(chǎn)生平穩(wěn)隨機(jī)信號(hào)，要丟棄初始的瞬態(tài)值，取進(jìn)入穩(wěn)態(tài)的序列。同時(shí)規(guī)定任意譜與任意PDF的隨機(jī)信號(hào)產(chǎn)生過(guò)程可參考文獻(xiàn)：M.M.Sondhi,BellsystemTechnicalJournay,Vol.62,1983,679-700附注2ARMA模型是“時(shí)間序列分析”中的重要組成部分。時(shí)間序列分析是一個(gè)應(yīng)用范圍很廣泛的學(xué)科，屬于統(tǒng)計(jì)學(xué)中的一個(gè)分支，在信息科學(xué)和金融學(xué)中的應(yīng)用尤為受到關(guān)注。除