信號統(tǒng)計處理研究室-信號.ppt

第1章統(tǒng)計信號處理中的數(shù)學知識復習 信號統(tǒng)計分析 本章內容 1 1概率論概要1 2隨機過程基礎1 3線性代數(shù)導論 1 1概率論概要 1 1 1隨機事件及其概率1 1 2隨機變量及其分布1 1 3多維隨機變量1 1 4隨機變量的數(shù)字特征1 1 5高斯隨機變量1 1 6隨機變量函數(shù)的分布1 1 7復隨機變量 確定性現(xiàn)象與隨機現(xiàn)象 確定性現(xiàn)象 在一定條件下必然會出現(xiàn)某一結果 或發(fā)生某一事件 的現(xiàn)象 隨機現(xiàn)象 在一定條件下可能出現(xiàn)不同結果 或發(fā)生不同事件 且不能準確預言究竟出現(xiàn)哪一種結果的現(xiàn)象 如 擲硬幣 抽牌 擲骰子 基本事件 記為 樣本空間 記為 事件 記為 古典概率幾何概率統(tǒng)計概率 1 1 1隨機事件及其概率 設隨機試驗E的樣本空間為 對于隨機試驗E的每一隨機事件A 都賦予唯一確定的實數(shù) 并且集合函數(shù)滿足下列條件 1 非負性 對每一個事件 都有 2 規(guī)范性 3 可列可加性 對任意互不相容的事件 有 事件的概率 設A和B為任意兩個隨機事件 且 稱為事件B發(fā)生條件下事件A發(fā)生的條件概率 也稱A對B的概率 條件概率 設某隨機試驗的樣本空間中的事件 有限個或可列個 構成一個完備事件組 且 則對任一事件B 有 全概率公式 設某隨機試驗的樣本空間中的事件 有限個或可列個 構成一個完備事件組 且 則對任一事件B 有 貝葉斯公式 如果隨機事件A與B滿足關系 則稱事件A與B是相互獨立的 性質 若事件相互獨立 則有 事件的獨立性 1 1 2隨機變量及其分布 設某隨機試驗的樣本空間為 對于每一個樣本點都有惟一的實數(shù)與之對應 這樣就得到一個定義在上的單值實函數(shù) 如果對任意實數(shù)x 都是一個隨機事件 并有其確定的概率 則稱為隨機變量 離散型隨機變量連續(xù)型隨機變量 隨機變量 隨機變量 隨機變量X的全部可能取值為有限個或可列個 隨機變量X所有可能的取值為 事件的概率為上式稱為離散型隨機變量X的概率分布或分布率 設X是一個隨機變量 對任意實數(shù) 令 則稱為隨機變量X的概率分布函數(shù) 它的定義域是 值域是 離散型隨機變量 0 1分布 當一個隨機試驗只有兩個可能結果與時 隨機變量X表示在試驗中事件A出現(xiàn)的次數(shù) 并設 則X的概率分布為這時稱服從參數(shù)為的0 1分布 記為 常見的離散型隨機變量 泊松分布 如果隨機變量X的分布為 其中為常數(shù) 則稱X服從參數(shù)為的泊松分布 記為 常見的離散型隨機變量 連續(xù)型隨機變量 如果對于隨機變量X的分布函數(shù) 存在一個非負可積函數(shù) 有則稱X為連續(xù)型隨機變量 函數(shù)為其概率密度函數(shù) 均勻分布 如果連續(xù)型隨機變量X的概率密度函數(shù)為其中和為常數(shù) 則稱X在區(qū)間上服從均勻分布 記為 常見的連續(xù)型隨機變量 高斯分布 如果連續(xù)型隨機變量X的概率密度函數(shù)為其中和為常數(shù) 且 則稱X服從參數(shù)為和的高斯分布 記為 常見的連續(xù)型隨機變量 瑞利分布 如果連續(xù)型隨機變量X的概率密度函數(shù)為其中 為常數(shù) 且 0 則稱X服從參數(shù)為 的瑞利分布 常見的連續(xù)型隨機變量 分布 如果連續(xù)型隨機變量X的概率密度函數(shù)為其中n為正整數(shù) 則稱X服從自由度為n的分布 常見的連續(xù)型隨機變量 萊斯分布 如果連續(xù)型隨機變量X的概率密度函數(shù)為其中為常數(shù) 且 是零階第一類貝塞爾 Bessel 函數(shù) 則稱X服從萊斯分布 常見的連續(xù)型隨機變量 1 1 3多維隨機變量 設某隨機試驗的樣本空間為 如果每一個樣本點 是定義在同一個樣本空間上的n個隨機變量 則稱為n維隨機變量 其矢量形式也稱為隨機矢量 定義 下面以二維為例進行說明 更高維以此類推 設是二維隨機變量 稱為二維隨機變量的分布函數(shù) 或稱隨機變量X和Y的聯(lián)合分布函數(shù) 聯(lián)合分布函數(shù) 二維隨機變量所有可能的取值是有限對或可列無限多對 并且以確定的概率取各個不同的數(shù)對稱為的聯(lián)合概率分布 二維離散型隨機變量 二維隨機變量的分布函數(shù)是 存在非負函數(shù) 使得對任意實數(shù)有稱為二維連續(xù)型隨機變量的聯(lián)合概率密度函數(shù) 二維連續(xù)型隨機變量 二維隨機變量的分布函數(shù)為 隨機變量X或Y的分布即為二維隨機變量的邊緣分布 它與二維變量的分布函數(shù)具有如下關系 邊緣分布函數(shù) 對二維離散隨機變量 在條件下的條件概率為其中表示邊緣分布函數(shù) 條件概率 對二維連續(xù)型隨機變量 設y是定值 任意 若對任意實數(shù)x 極限存在 則稱此極限為在條件下X的條件分布函數(shù) 記為 條件分布函數(shù) 若對任意實數(shù)x和y 有 則稱隨機變量X和Y是獨立的 若X與Y獨立 顯然有 獨立性 1 1 4隨機變量的數(shù)字特征 隨機變量X的數(shù)學期望 均值 通常稱為隨機變量X的均方差或標準差 習慣上用表示 方差 協(xié)方差 對多維隨機變量 與的協(xié)方差 顯然 相關系數(shù) 歸一化 的協(xié)方差 稱為相關系數(shù) 聯(lián)合分布函數(shù) 對于n維隨機變量 關于的邊緣分布函數(shù) 隨機變量是相互獨立的 若對于所有的 有 若X是隨機變量 則稱復隨機變量的均值為X的特征函數(shù) 若X是離散型隨機變量 其可能取值為 且 則 2 若X是連續(xù)型隨機變量 其概率密度函數(shù)為 則 特征函數(shù) 多維隨機變量的特征函數(shù) 已知隨機變量的特征函數(shù) 可以求出它的各階矩 特征函數(shù)也被稱為矩生成函數(shù) 特征函數(shù) 1 1 5高斯隨機變量 一維高斯隨機變量一維高斯隨機變量X的概率密度函數(shù) 組成n維高斯隨機變量 令均值矢量 協(xié)方差矩陣 2 多維高斯隨機變量 n維高斯隨機變量的聯(lián)合高斯概率密度函數(shù) 性質 1 n維高斯隨機變量經(jīng)過線性變換后仍是高斯隨機變量 2 n維互不相關的高斯隨機變量一定是彼此統(tǒng)計獨立的 3 一般的n維隨機變量 若它們彼此統(tǒng)計獨立 則必然互不相關 反之 則不一定成立 1 1 6隨機變量函數(shù)的分布 X是連續(xù)型隨機變量 概率密度函數(shù)為 處處可導且有 或恒有 則也是一個連續(xù)型隨機變量 其概率密度函數(shù)為其中 1 一維隨機變量函數(shù)的分布 則具有聯(lián)合概率密度函數(shù) 是概率密度函數(shù)為的連續(xù)型n維隨機變量 假設 1 是n維實數(shù)空間到自身的一對一映射 2 變換和它的逆變換都是連續(xù)的 3 偏導數(shù)存在且連續(xù) 4 逆變換的雅可比行列式 2 多維隨機變量函數(shù)的分布 復隨機變量概率密度函數(shù)均值方差 1 1 7復隨機變量 對于兩個復隨機變量協(xié)方差相關系數(shù) 對于復隨機矢量協(xié)方差矩陣互協(xié)方差矩陣復高斯隨機矢量的概率密度函數(shù)為 1 2隨機過程基礎 1 2 1平穩(wěn)與非平穩(wěn)隨機過程1 2 2隨機過程的統(tǒng)計特性與維納 辛欽定理 自然界存在一類隨機現(xiàn)象 與之相聯(lián)系的隨機事件不能用一般的單維或多維隨機變量去描述它 如 用表示t時刻以前某通信站接到的呼喚次數(shù) 對于某個固定的t 是一個隨機量 但這類隨機量將隨著t的變化而變化 電網(wǎng)電壓可看作隨時間變化的隨機量 雷達接收機的噪聲輸出 用隨機過程才能描述的隨機現(xiàn)象 每做一次隨機試驗 隨機試驗的結果應是某一個隨機現(xiàn)實 每一次隨機試驗之前 其試驗結果究竟屬于哪一種隨機現(xiàn)實 事先不能預測 設 對于每一個 為一隨機變量 其中 則稱為隨機過程 簡記為 1 2 1平穩(wěn)與非平穩(wěn)隨機過程 定義 如果由所確定的n維概率密度函數(shù)滿足稱為嚴格平穩(wěn)隨機過程 又稱為強平穩(wěn)隨機過程或狹義平穩(wěn)隨機過程 定義 當時 若滿足 稱為廣義平穩(wěn)隨機過程 又稱為弱平穩(wěn)隨機過程或寬平穩(wěn)隨機過程 討論 當時 嚴格平穩(wěn)隨機過程也是廣義平穩(wěn)的 但廣義平穩(wěn)隨機過程不一定是嚴格平穩(wěn)的 有一類隨機過程 其本質是隨機過程 但其表示形式卻類似確定過程 稱為準隨機過程 例 為隨機變量 為隨機變量 復隨機過程 其概率密度函數(shù)為 高斯隨機過程 任意時刻 隨機過程所形成的n維隨機變量 其概率密度函數(shù)為高斯分布稱隨機過程為高斯隨機過程 性質 1 若高斯隨機過程廣義平穩(wěn)的 則一定是嚴格平穩(wěn)的 2 高斯隨機過程經(jīng)過線性變換 其輸出仍是高斯隨機過程 1 2 2隨機過程的統(tǒng)計特性與維納 辛欽定理 均值 方差 自相關函數(shù) 1 隨機過程的統(tǒng)計特性 協(xié)方差函數(shù) 相關系數(shù) 互相關函數(shù) 互協(xié)方差函數(shù) 對于復隨機過程 自相關函數(shù) 時間平均 隨機過程的第k個現(xiàn)實為 相應有 時間平均均值 時間平均二階矩 時間平均相關函數(shù) 時間平均互相關 隨機過程的各態(tài)歷經(jīng)性平穩(wěn)隨機過程的所有各類集平均統(tǒng)計特征 以概率1等于由任意實現(xiàn)得到的相應的時間平均特征 各態(tài)歷經(jīng)性的意義 2 維納 辛欽定理 平穩(wěn)隨機信號的功率譜密度是其相關函數(shù)的傅里葉變換 即 此外 對于實平穩(wěn)隨機過程 有 1 3線性代數(shù)導論 1 3 1矩陣的概念和基本運算1 3 2特殊矩陣1 3 3矩陣的分解1 3 4子空間1 3 5矩陣的逆1 3 6梯度分析 1 3 1矩陣的概念和基本運算 矩陣 矢量概念基本運算轉置共軛共軛轉置內積矩陣的逆 廣義逆 把n階方陣A中元素所在的第i行和第j列劃去后 剩下的n 1階方陣稱為元素的余子矩陣 記為 為元素的余子式 稱為元素的代數(shù)余子式 記為 行列式特別地 當時 A稱為奇異 退化 方陣 否則稱為非奇異 非退化 方陣 也稱正則矩陣 設A和B是n階方陣 則設矩陣有一個k階子式不等于零 而A的所有k 1階子式 若存在 都等于零 則稱正整數(shù)k為矩陣A的秩 若m n k 則稱之為滿秩矩陣 若k 0 則稱為零秩矩陣 設矩陣A為n階方陣 如對于任意n階非零列矢量x 有 1 當時 則稱A為正定矩陣 2 當時 則稱A為半正定 非負定 矩陣 3 當時 則稱A為負定矩陣 如矩陣A的某個函數(shù) 滿足 1 A為非零矩陣時 時 2 對于任意復數(shù)c有 3 4 則稱是上的一個矩陣范數(shù) 1 Frobenius范數(shù) 2 行和范數(shù) 3 列和范數(shù) 常用的矩陣范數(shù) 設 可逆 則等號成立的充要條件是存在 使得 施瓦茲不等式 1 3 2特殊矩陣 單位矩陣反向單位矩陣厄米特矩陣反厄米特矩陣范德蒙矩陣漢克矩陣托普利茲矩陣正規(guī)矩陣酉矩陣正交矩陣 1 3 3矩陣分解 常用的矩陣分解方法 特征值分解 EVD 奇異值分解 SVD Cholesky分解LU分解QR分解 特征值與特征矢量若是n階方陣A的特征值 分別是與特征值對應的特征矢量 則其中 上述分解稱為矩陣A的特征值分解 特征值分解 對于矩陣A 為的特征值 則稱為A的奇異值 若為矩陣A的奇異值 則存在酉陣U和V 使得 式 且 上述分解稱為矩陣A的奇異值分解 2 奇異值分解 方陣A是正定矩陣 稱為矩陣A的Cholesky分解 其中 G是一個具有正的對角線元素的下三角矩陣 即若A是正定矩陣 則其Cholesky分解是唯一的 3 Cholesky分解 則稱為矩陣的LU分解 其中 L為單位下三角矩陣 對角線為1的下三角矩陣 U是A的上階梯型矩陣 如果非奇異 并且其LU分解存在的話 則A的LU分解是唯一的 且 4 LU分解 且 則存在列正交陣和上三角矩陣 使得 當時 Q是正交矩陣 若A是非奇異的矩陣 則R的所有對角線元素均為正 并且在這種情況下 R和Q二者是唯一的 5 QR分解 1 3 4子空間 n維復矢量空間是所有n維復矢量的集合 令 則m個n維復矢量的子集合便構成內的一個矢量子空間 若是矢量空間V的矢量子集合 則的所有線性組合的集合W稱為由張成的子空間 定義為只包含了一個零矢量的矢量子空間稱為平凡子空間 子空間W的任何一組基的矢量個數(shù)稱為W的維數(shù) 用符號表示 若W的任何一組基都不是由有限個線性無關的矢量組成時 則稱W是無限維矢量子空間 若某一向量與子空間W的所有向量都正交 則稱該向量正交于子空間W 若 恒有 則稱子空間為正交子空間 記作 特別地 與子空間W正交的所有向量的集合組成的向量子空間 稱為W的正交補空間 記作 1 3 6梯度分析 矢量x的梯度算子記作以實矢量x為變元的實標量函數(shù)相對于x的梯度為可見 一個以矢量為變元的標量函數(shù)的梯度為一