第五章：隨機變量的收斂性

1 第五章 隨機變量的收斂性 隨機樣本 IID樣本 統(tǒng)計量 對隨機樣本的概括Y為隨機變量 Y的分布稱為統(tǒng)計量的采樣分布如 樣本均值 樣本方差 樣本中值 收斂性 當樣本數(shù)量n趨向無窮大時 統(tǒng)計量的變化大樣本理論 極限定理 漸近理論對統(tǒng)計推斷很重要 2 收斂性 主要討論兩種收斂性依概率收斂大數(shù)定律 樣本均值依概率收斂于分布的期望依分布收斂中心極限定理 樣本均值依分布收斂于正態(tài)分布 3 例1 依概率收斂 概率的頻率解釋 隨著觀測次數(shù)n的增加 頻率將會逐漸穩(wěn)定到概率設在一次觀測中事件A發(fā)生的概率為如果觀測了n次 事件A發(fā)生了次 則當n充分大時 A在次觀測中發(fā)生的頻率逐漸穩(wěn)定到概率p 那么不對 若則對于 總存在 當時 有成立但若取 由于即無論N多大 在N以后 總可能存在n 使所以不可能在通常意義下收斂于p 4 例2 依分布收斂 考慮隨機序列 其中直觀 集中在0處 收斂到0但 Chebyshev不等式 5 兩種收斂的定義 5 1定義 令為隨機變量序列 X為另一隨機變量 用Fn表示Xn的CDF 用F表示X的CDF1 如果對每個 當時 則Xn依概率收斂于X 記為 2 如果對所有F的連續(xù)點t 有則Xn依分布收斂于X 記為 同教材上 6 兩種收斂的定義 當極限分布為點分布時 表示為依概率收斂 依分布收斂 7 其他收斂 還有一種收斂 均方收斂 L2收斂 convergetoXinquadraticmean 對證明概率收斂很有用當極限分布為點分布時 記為對應還有 L1收斂 convergetoXinL1 8 依概率收斂隨機變量序列 當對任意 則稱隨機變量序列幾乎處處依概率收斂到X convergealmostsurelytoX 記為 幾乎處處收斂 比依概率收斂更強 其他收斂 或 或 9 各種收斂之間的關系 點分布 c為實數(shù) L1 almostsurely L2 反過來不成立 Quadraticmean probability distribution Point massdistribution 10 例 伯努利大數(shù)定律 設在一次觀測中事件A發(fā)生的概率為 如果觀測了n次 事件A發(fā)生了次 則當n充分大時 A在次觀測中發(fā)生的頻率逐漸穩(wěn)定到概率p 即對于 表示當n充分大時 事件發(fā)生的頻率與其概率p存在較大偏差的可能性小 11 例 5 3 令直觀 集中在0處 收斂到0依概率收斂 Chebyshev不等式 12 例 續(xù) 依分布收斂 令F表示0處的點分布函數(shù) Z表示標準正態(tài)分布的隨機變量 13 收斂的性質 14 弱大數(shù)定律 WLLN 獨立同分布 IID 的隨機變量序列 方差 則樣本均值依概率收斂于期望 即對任意稱為的一致估計 一致性 在定理條件下 當樣本數(shù)目n無限增加時 隨機樣本均值將幾乎變成一個常量對樣本方差呢 依概率收斂于方差 15 樣本方差依概率收斂于分布的方差 16 強大數(shù)定律 SLLN 獨立同分布 IID 的隨機變量序列 方差 則樣本均值幾乎處處收斂于期望 即對任意 17 例 大數(shù)定律 考慮拋硬幣的問題 其中正面向上的概率為p 令表示單次拋擲的輸出 0或1 因此若共拋擲n次 正面向上的比率為 根據(jù)大數(shù)定律 但這并不意味著在數(shù)值上等于p而是表示當n很大時 的分布緊圍繞p令 若要求 則n至少為多少 解 18 中心極限定理 CentralLimitTheorem CLT 獨立同分布 IID 的隨機變量序列 則樣本均值近似服從期望為方差為的正態(tài)分布 即其中Z為標準正態(tài)分布或也記為無論隨機變量X為何種類型的分布 只要滿足定理條件 其樣本均值就近似服從正態(tài)分布 正態(tài)分布很重要但近似的程度與原分布有關大樣本統(tǒng)計推理的理論基礎 19 中心極限定理 中心極限定理試驗 20 例 中心極限定理 每個計算機程序的錯誤的數(shù)目為X 現(xiàn)有125個程序 用表示各個程序中的錯誤的數(shù)目 求的近似值解 21 中心極限定理的應用之一 二項概率的近似計算 設是n重貝努里試驗中事件A發(fā)生的次數(shù) 則 對任意 有當n很大時 直接計算很困難 這時如果不大 即p 0 1 np 5 或不大 則可用Poisson分布來近似計算 22 中心極限定理的應用之一 二項概率的近似計算 續(xù) 當p不太接近于0或1時 可根據(jù)CLT 用正態(tài)分布來近似計算根據(jù)CLT 德莫弗 拉普拉斯定理 23 中心極限定理的應用之一 二項概率的近似計算 續(xù) 例 已知紅黃兩種番茄雜交的第二代結紅果的植株與結黃果的植株的比率為3 1 現(xiàn)種植雜交種400株 求結黃果植株介于83到117之間的概率 由題意 任意一株雜交種或結紅果或結黃果 只有兩種可能性 且結黃果的概率種植雜交種400株 相當于做了400次貝努里試驗 記為400株雜交種結黃果的株數(shù) 則當n 400較大時 根據(jù)CLT 24 中心極限定理的應用之一 二項概率的近似計算 續(xù) 例 某單位內部有260架電話分機 每個分機有4 的時間要用外線通話 可以認為各個電話分機用不同外線是相互獨立的 問 總機需備多少條外線才能以95 的把握保證各個分機在使用外線時不必等候 一個分機使用外線的概率260個分機中同時使用外線的分機數(shù)設總機確定的最少外線條數(shù)為x 則根據(jù)CLT 25 中心極限定理 標準差通常不知道 可用樣本標準差代替 中心極限定理仍成立 即其中 26 中心極限定理 無論隨機變量X為何種類型的分布 只要滿足定理條件 其樣本均值就近似服從正態(tài)分布但近似的程度與原分布有關正態(tài)近似的程度 Berry Esseen定理若 則還有中心極限定理得多變量版本 27 多元分布的中心極限定理 令為IID隨機向量 其中協(xié)方差矩陣為 令樣本均值向量為則 均值向量為 其中 28 Delta方法 隨機變量的變換的中心極限定理假定 且g可導 則換句話說 29 令為IID 其均值和方差 有限 分別為則根據(jù)CLT 假設則利用Delta方法 有 例 30 Delta方法 多元變量情況假設為隨機向量序列 且 令且令表示時的值