二部分統(tǒng)計推斷課件

1、第二部分：統(tǒng)計推斷Chp6：統(tǒng)計推斷概述Chp7：非參數推斷Chp8：BootstrapChp9：參數推斷Chp10：假設檢驗Chp11：貝葉斯推斷Chp12：統(tǒng)計決策理論1Chp6：統(tǒng)計推斷統(tǒng)計推斷/學習利用數據來推斷產生數據的分布的過程統(tǒng)計推斷的基本問題：我們觀測到數據 ，要推斷（估計或學習）F 或 F 的某些性質（如均值和方差）。數據產生過程觀測到的數據概率統(tǒng)計推斷2推斷的基本問題推斷的基本問題點估計置信區(qū)間假設檢驗3統(tǒng)計推斷概述統(tǒng)計模型參數模型非參數模型模型估計點估計區(qū)間估計假設檢驗估計的評價無偏性一致性有效性第三部分的統(tǒng)計學習部分更多地關心模型選擇4非參數模型非參數模型粗略地說，非參

2、數模型不能用有限個參數參數化如 如6例：參數推斷6.1例（一維參數估計）設 是獨立的Bernoulli(p)觀測，問題在于如何估計參數p。6.2例（二維參數估計）假設 且PDF ，如則有兩個參數 。目標是從數據中獲得參數。如果僅對感興趣，那么是感興趣參數，而 是冗余參量。7例：非參數推斷6.4例（非參數密度估計）設 是CDF F 的獨立觀測，令 是其PDF。假設我們要估計f 。在只假設 的條件下，不可能估計出 f。我們需要假設f的平滑性。例如，可假設 ，其中 是滿足下述條件的所有概率密度函數的集合類 稱為Sobolev 空間；是 “波動不大” 的函數的集合。9例：非參數推斷6.5例（函數的非參

3、數估計）：令 ，我們要估計 ， 僅假設存在。均值可被認為是F的函數，可寫成 通常，任意F 的函數可認為統(tǒng)計函數/統(tǒng)計泛函。方差：中值：10例：監(jiān)督學習假設有成對的觀測數據 ，如 為第i個人的血壓， 為其壽命X：特征/獨立變量/預測子/回歸子Y：輸出/依賴變量/響應變量 ：回歸函數參數回歸模型： ，其中 為有限維如線性回歸： 為直線集合，非參數回歸模型： ，其中 為無限維如核回歸：11例：監(jiān)督學習（續(xù)）預測：給定新的X的值，估計Y的值分類：當Y為離散值時的預測回歸/曲線擬合/曲線估計：估計函數 回歸模型： 12統(tǒng)計推斷方法頻率推斷貝葉斯推斷13注意在參數模型中，若 為參數模型，我們記 下標表示概

4、率或期望是與 有關，而不是對求平均14抽樣分布（Sampling Distribution） 的分布稱為抽樣分布 的標準差 (standard deviation)稱為標準誤差 (standard error) 標準誤差的估計值稱為16估計量的評價標準一個好的估計有什么性質?無偏性估計的偏差（bias）為若 ，則該估計是無偏估計。一致性若 ，則該點估計是一致的。有效性無偏估計中，方差較小的一個更有效（收斂速度更快）對分布求期望，而不是對平均17偏差方差分解19偏差方差分解若 時， 且 ，則 是一致的，即證明：所以所以所以（qm收斂定義）20例：Bernoulli分布中的參數估計令 為p無偏估計

5、標準誤差為 所以 ， 為一致估計估計的標準誤差為 21置信區(qū)間參數的1-置信區(qū)間為區(qū)間 ，其中 和 是數據的函數，使得區(qū)間(a,b)以1-的概率覆蓋 1-：置信區(qū)間的覆蓋度(coverage)置信區(qū)間表示了我們對未知參數的不確定程度置信區(qū)間寬，表示若要對參數有個比較確定的解，需要更多樣本數據22漸近正態(tài)性 如果滿足 則該估計是漸近正態(tài)的（asymptotically normal）。 如果一個估計是漸近正態(tài)的，可以比較方便地得到其置信區(qū)間。23基于正態(tài)分布的置信區(qū)間假設 ，令 ，即 且 其中 ，令則 如對95%的置信區(qū)間，則95%的置信區(qū)間約為24假設檢驗假設檢驗：從缺省理論-零假設/原假設（null hypothesis）開始問題：數據是否提供了足夠多的證據以拒絕該理論是：拒絕原假設否：接受原假設26例：檢驗硬幣是否公正假設 表示n次獨立的拋硬幣試驗，我們想知道該硬幣是否公正原假設 ：硬幣是公正的備擇假設 ：硬幣是不公正的記為：當 較大