概率論與數理統(tǒng)計 全套PPT課件 共計355P

概率論與數理統(tǒng)計 對隨機現(xiàn)象進行觀測、試驗，以取得有代表性的觀測值 對已取得的觀測值進行整理、分析 ,作出推斷、決策 ,從而找出所研究的對象的規(guī)律性 數 理 統(tǒng) 計 的 分 類 描述統(tǒng)計學 推斷統(tǒng)計學 第一節(jié) 基本概念 一、總體和個體 二、樣本 簡單隨機樣本 一、總體和個體 一個統(tǒng)計問題總有它明確的研究對象 . 研究某批燈泡的質量 研究對象的全體稱為 總體 (母體 )， 組成總體的每個元素稱為 個體 . 總體 然而在統(tǒng)計研究中，人們關心總體僅僅是關心其每個個體的一項 (或幾項 )數量指標和該數量指標在總體中的分布情況 . 這時，每個個體具有的數量指標的全體就是總體 . 某批 燈泡的壽命 該批燈泡壽命的全體就是總體 國產轎車每公里 的耗油量 國產轎車每公里耗油量的全體就是總體 所研究的對象的某個 (或某些 )數量指標的全體稱為總體 ,它是一個隨機變量 (或多維隨機變量 )，記為 X . X 的分布函數和數字特征稱為總體分布函數和總體數字特征 . 總體： 例如 :研究某批燈泡的壽命時，總體 其中每個燈泡的壽命就是個體。 每個 燈泡的壽命 個體 總體 國產轎車每公里 的耗油量 國產轎車每公里耗油量的全體就是總體 又如 :研究某批國產轎車每公里的耗油量時，總體 其中每輛轎車的耗油量就是個體。 類似地，在研究某地區(qū)中學生的營養(yǎng)狀況時，若關心的數量指標是身高和體重，我們用 分別表示身高和體重，那么此總體就可用二維隨機變量 (X,Y) 來表示，而每個學生的身高和體重就是個體 . 為推斷總體分布及各種特征，按一定規(guī)則從總體中抽取若干個體進行觀察試驗，以獲得有關總體的信息，這一抽取過程稱為 “抽樣” ，所抽取的部分個體稱為 樣本 . 樣本中所包含的個體數目稱為樣本容量 . 二、樣本 簡單隨機樣本 1）抽樣和樣本 樣本的抽取是隨機的，每個個體是一個隨機變量 2,X 而一旦取定一組樣本，得到的是 (x1, 稱其為樣本的一個觀察值，簡稱 樣本值 . 2, 由于抽樣的目的是為了對總體進行統(tǒng)計推斷，為了使抽取的樣本能很好地反映總體的信息，必須考慮抽樣方法 簡單隨機抽樣 ”，它要求抽取的樣本滿足下面兩點 : 1. 樣本 2, 有相同的分布 . 2）簡單隨機樣本 由簡單隨機抽樣得到的樣本稱為 簡單隨機樣本 ，它可以用與總體獨立同分布的 1, 簡單隨機樣本是應用中最常見的情形，今后，當說到“ 2, ，若不特別說明，就指簡單隨機樣本 . 設 2, 總體 1)若 分布律是 p(x)，則 2, p(p ( p ( 2)若 概率密度是 f(x)，則 2, f (f ( f ( 事實上我們抽樣后得到的資料都是具體的、確定的值 . 如我們從某班大學生中抽取 10人測量身高，得到 10個數，它們是樣本取到的值而不是樣本 . 我們只能觀察到隨機變量取的值而見不到隨機變量 . 3）總體、樣本、樣本值的關系 統(tǒng)計是從手中已有的資料 樣本值，去推斷總體的情況 總體分布 F(x)的性質 . 總體分布決定了樣本取值的概率規(guī)律，也就是樣本取到樣本值的規(guī)律，因而可以由樣本值去推斷總體 . 樣本是聯(lián)系二者的橋梁 4）經驗分布函數 設 2, 的樣本， x1, 對于每個固定的 x，設事件Xx在 vn(x)，于是事件 Xx發(fā)生的頻率為： ()() x 顯然 Fn(x)為不減右連續(xù)函數，且 ( ) 0 , ( ) 1 稱 Fn(x) 為樣本分布函數或經驗分布函數 . 定理（格列文科）當 n 時，經驗分布函數 Fn(x) 依概率 1關于 li m s u p | ( ) ( ) | 0 1nn x F x 定理表明： 當樣本容量 驗分布函數 Fn(x) 幾乎一定會充分趨近總體分布函數 F(x),這是用樣本來推斷總體的理論依據 . 第二節(jié) 統(tǒng)計量與抽樣分布 一、統(tǒng)計量 二、統(tǒng)計學中三個常用分布和上 分位點 三、抽樣分布定理 一、統(tǒng)計量 由樣本值去推斷總體情況，需要對樣本值進行“加工”，這就要構造一些樣本的函數，它把樣本中所含的（某一方面）信息集中起來 . 定義 中不含有任何的未知參數，則稱函數 g(,X n) 如果樣本 ,X g(,X n) 為統(tǒng)計量 . g(,x n)為統(tǒng)計量 g(,X n)的一個 若 , 稱函數值 觀察值 . 若 , 2 已知 , 則 ,11是統(tǒng)計量， 而 例如： 是 X 的一個樣本 , , 21 則 是統(tǒng)計量 . ,(NX 2 2, 是未知參數 , 幾個常用的統(tǒng)計量 樣本均值 樣本方差 XX(的信息 它反映了總體方差 的信息 樣本 樣本 1k=1,2, 它反映了總體 k 階矩 的信息 它反映了總體 k 階 中心矩的信息 它們的觀察值分別為： (111由大數定律可知： ( 例 1. 從一批相同的電子元件中隨機地抽出 8個，測得使用壽命（單位：小時）分別為： 2300， 2430， 2580， 2400，2280， 1960， 2460， 2000，試計算樣本均值、樣本方差及樣本二階矩 . 解： 小時） 0 1(11 ）（小時 278 26（小時 7 8 62抽樣分布 統(tǒng)計量是樣本的函數，而樣本是隨機變量，故統(tǒng)計量也是隨機變量，因而就有一定的分布，它的分布稱為 “抽樣分布” . 二、統(tǒng)計學中三個常用分布和上 分位點 下面介紹三個來自正態(tài)總體的抽樣分布 . )n( 222 分布 1、 定義 : 設 相互獨立 ,都服從標準正態(tài)分布 X,X 21222212 N(0,1), 則稱隨機變量： 所服從的分布為自由度為 n 的 分布，記為 22 分布的概率密度為 其它00)2(21)(2122其中 ）（ 001 s( ( 2處的值 . n=1 n=4 n=10 f(y) 0 1 3 5 7 9 11 13 15 17 x 所改變 . 2 分布的概率密度圖形如下： 2顯然 分布的概率密度圖形隨自由度的不同而 性質 1. ),( 22 )(,)( 22 則 證 明： 設 n,i),(N110 X,X 21相互獨立 ,則 ,)X(D,)X(E 0 2n）（ 22 )X(E)X(D)X(E ,13 2244 )()( 2242 (這個性質稱為 分布的可加性 . 2性質 2. )( 2122221 ),( 1221 ),( 2222 21 與 22相互獨立，則 t 的概率密度為 ： 2121221 n)n)n()n()t( 設 X N( 0 , 1 ) , Y 所服從的分布為自由度為 n 的 t 分布 t t (n). )(2 t 分布 ，且 X 與 Y 相互 獨立，則稱變量 n=4 n=10 n=1 xt(x;n) o t=0對稱，且 當 n30)，其圖形與標準正態(tài)分布的概率密度函數的圖形非常接近 n，t 分布與 N (0,1)分布相差很大 . 由定義可見， 3、 則稱統(tǒng)計量 服從自由度為 的 21121F(n2,),n(Y),n(X 2212定義 : 設 X 與 Y 相互獨立， 作 FF(n1,. 0001)()()()()()(2222212112121212121F(n1,則 xo)n,n;x(f 212統(tǒng)計的三大分布的定義、基本性質在后面的學習中經常用到，要牢記！ 4、上 分位點 )(定義： 設隨機變量 f(x),對于 任意給定的 (045）， 2其中 分位點 22 )12(21 3）對于 t 分布 a)由其對稱性，有： )()(1 b) 當 n45）， )(4）對于 ： ),(1),(12211例 2. 查表求下列值 ： ，)5()6()9,10(2,28()( . 2022503 6 4 (t)6()6( ,10( 9 4 3 )28,2(1)2,28(F 8 2 0(2 ， 010332010 )3,0( 2和 服從 分布，而 , X 9 和 , Y 9 292221921的分布 . 分別是來自 的簡單隨機樣本，求統(tǒng)計量 解： )9,0( NX i )81,0(91)1,0(991 )9,0( NY i )1()3( 22 Y i)9(99291291281/9/91291( ,X 15是來自 求 )2,0( 2服從 分布，而 )的分布 . 統(tǒng)計量 解： )2,0( 2NX i )1()2( 22 X i)10(44210121012)5(442151121511220402152122112102221/) ）（)Y )5,10( F 當總體為 正態(tài)分布 時，教材上給出了幾個重要的抽樣分布定理 三、抽樣分布定理 定理 1 設 2, ),( 2有 ),(2（ 1）樣本均值 （ 2）樣本均值 與樣本方差 相互獨立。 X 2S（ 3）隨機變量 22)1（ ）（）（1 2221 2 設 2, ),( 2 2 分別為樣本均值和樣本方差 , 則有 )1( 定理 3 (兩個總體樣本均值差的分布 ) )2(112)1()1()(21212122221121 ，設 ),(),( 2221 獨立 , 分別是這兩個樣本的樣本均值 , 自 分別是這兩個樣本的樣本方差 ,則有 2221 是取自 , 1Y 2, 2 定理 4 (兩個總體樣本方差比的分布 ) )1,1( 2122222121 ，設 ),(),( 222211 立 , 分別是這兩個樣本的樣本均值， 分別是這兩個樣本的樣本方差 ,則有 2221 1, 是取自 2, 2上述 4個抽樣分布定理很重要，要牢固掌握 . 的概率不小于 90%,則樣本容量至少取多少 ? 例 ( 7 2 , 1 0 0 )為使樣本均值大于 70的概率 解： 設樣本容量為 n , 則 )1 0 0,72( 0( 0(1 6 0 2 42. 從正態(tài)總體 ),( 2，抽取了 n = 20的樣本 1 2 2 0, , ,X X (1) )19(119 22012222即 )1()1( 22220 222111 0 . 3 8 1 6 5 1 . 8 0 9 5 520 X （ ） 20222112 0 . 3 7 1 7 1 . 7 0 8 520 （ ）故 191361633720122 19136163371 2012220122 查表 20 222111 0 . 3 8 1 6 5 1 . 8 0 9 5 520 X （ ）(2) )20( 22012 故 20222112 0 . 3 7 1 7 1 . 7 0 8 520 （ ）3 掌握給出的四個抽樣分布定理。 第六章 小 結 體、樣本和統(tǒng)計量的概念，要掌 分布、 會 2查表求其上 分位點。 握樣本均值和樣本方差的計算及基本性質。 附： 幾種重要隨機變量的數學期望和方差 一 二 三 四 五 六 一 X 0 1 1 p )( )( 2 )1()( 若隨機變量 分布律為： 二 隨機變量 XB(n,p),其分布律為： ,2,1,)1( 由二項分布定義可知， X是 發(fā)生的次數，且在每次試驗中 p，設 k ,2,1,01次不發(fā)生在第次發(fā)生在第則 分布律為： X 0 1 1 p ,)( k )1()( 21)( )()( 21 1( )()()( 21 )1()()( ，若隨機變量 XB( n , p ),則 即： 三 隨機變量 ，其分布律為： )( X,2,1,0,! 0 !)( 11)!1( 22 )()()( 即： )(,)()( 2)1( )()1( 0 !)1( 222)!2( 2若隨機變量 X(),則 四 設隨機變量 a,b)上服從均勻分布，其概率密度為 ,01)(其它 ()( 1 2)( 22)(333322 22 )()()( 4232222 12)( 2即 12)()(,2)(2若隨機變量 XU( a , b ),則 五 隨機變量 ，其概率密度為： ),( 21)(222)( ()( 21 （令 ） 22)(21 )()( 2 221)( （令 ） 222)(2 22222)(,)( 即 若隨機變量 XN（ ,2 ） , 則 六 隨機變量 的指數分布 ，其概率密度為： 0001)( ()( 01 x 0（ 00|）（0| ()( 22 02 1 x 02 （0|2 2 02 20|）（ 02 （ 020|2 ）（，22 22 )()()( 2若隨機變量 的指數分布 ，則 即 2)()( ，例 求 ,)3( X ,12 )()(1(3 2 ,)3( X 則 ,3)( )( )(2 )(4 12)1(3 2 )(3 2 ()(3 2 3,)9,1( 1， 5)上服從均勻分布 , 例 和 1， 5)上服從均勻分布， 求 (1) (X,Y)的概率密度 ;(2) ,)243( 243( 9,1( 5141)(其它 3)( 5( 234,231)( 18)1( 21)( )( 和 )()(),( X 其它0,51,212118)1(2243( )(4)(3 )243( ()4()(9 2 156 概率論中用來闡明大量隨機現(xiàn)象平均結果的穩(wěn)定性的一系列定理，稱為大數定律 第一節(jié) 大數定律 一個常數，若對于任給的正數 0, 總成立 1|定義 , 21 是一個隨機變量序列， a 是 則稱 隨機變量 序列 ,21 a， 記為 ）（ ）（）（ n）（ ， g（ x） 是連續(xù) 函數，則 ）（，（），（ （ g（ x , y） 是二元連續(xù)函數，則 ，）（ n 設 發(fā)生的次數為 n， p ，則對任給的 0，總成立 定理 1（貝努利大數定律） 1| ）（ 貝努里大數定律的意義 在概率的統(tǒng)計定義中 , 事件 A 發(fā)生的頻率 “ 穩(wěn)定于” 事件 A 在一次試驗中發(fā)生的概率是指：頻率 與 p 大時可以用頻率近似代替 p . 因而在 n 足夠 貝努里大數定律提供了通過試驗來確定事件概率的方法 . 定理 2（契比雪夫大數定律的特殊情形） 1|1, 相互獨立，并且具有相同的數學期望和方差， E(， D(2,i=1,2, , 則對任給的 0，總成立 即 ）（ 的意義 具有相同數學期望和方差的獨立隨機變量序列的算術平均值依概率收斂于數學期望 n 足夠大時 , 實驗結果的算術平均幾乎是一常數 . 因此，在實際應用中，當試驗次數 足夠大時 ,可用獨立重復試驗結果的 算術平均數來估計隨機變量的數學期望 . 定理 3（契比雪夫大數定律的一般情形） 1|11|1, 相互獨立，它們都具有數學期望： E(i，并且都 具有被同一常數 D( 0，總成立 2）（ 望的算術平均的概率接近于 1. 即當 差不多不再是隨機的了，取值 定理 3的意義 定理表明，獨立隨機變量序列 如果方差有共 其數學期望 X(. 同的上界，則 偏差很 設隨機變量序列 2, 相互獨立，服從同一分布，具有相同的數學期 望 E(, i=1,2, ， 則對于任給正數 0 ，總成立 定理 4 （辛欽大數定律） 1|1|）（ 1| 設隨機變量序列 2, 相互獨立，服從同一分布，且具有相同的 k 階矩 ，）（ 21 0，總成立 即 ）（ 大數定律以嚴格的數學形式表達了隨機現(xiàn)象最根本的性質之一： 它是隨機現(xiàn)象統(tǒng)計規(guī)律的具體表現(xiàn) 平均結果的穩(wěn)定性 第二節(jié) 中心極限定理 客觀背景： 客觀實際中，許多隨機變量是由大量 相互獨立的偶然因素的綜合影響所形成，每一個微小 因素，在總的影響中所起的作用是很小的，但總起來， 卻對總和有顯著影響，這種隨機變量往往近似地服從 正態(tài)分布。 概率論中有關論證獨立隨機變量的和的極限分布是正態(tài)分布的一系列定理稱為中心極限定理。 由于無窮個隨機變量之和可能趨于 ，故我們不研究 )()(的極限分布 . 下面介紹常用的三個中心極限定理。 1定理 1（獨立同分布下的中心極限定理） 設 2, 是獨立同分布的隨機變量序列，且E(， D(2， i=1,2, ，則 定理表明： 當 準化隨機變量 近似服從標準正態(tài)分布 . 1由此可知：對于獨立的隨機變量序列 ，不管 服從什么分布，只要它們是同分布，且有有限的數學期望和方差，那么，當 些隨機變量之和 近似地服從正態(tài)分布 1 , 2 , , ) 2,N n n) 至少命中 180發(fā)炮彈的概率 ; (2) 命中的炮彈數不到 200發(fā)的概率 . 例 100 次 , 每次轟擊命中的炮彈數服從同一分布 , 其數學期望為 2 , 均方差為 若各次轟擊命中的炮彈數是相互獨立的 , 求 100 次轟擊中 解： 設 X k 表示第 k 次轟擊命中的炮彈數， 100,2,1,2)( 2 X 表示 100次轟擊命中的炮彈數 ,則 ,1 0 01 有 ）， 10152 0 0 (NX 近似則 10021 , 相互獨立， 又 ,2 2 5)(,2 0 0)( ) 180 ) 2 0 00 8 ）（ 1 152 0 02 0 0152 0 0152 0 00 152 0 )0( )1)0( 15 2 0 01 8 015 2 0 0 于售出哪一種蛋糕是隨機的，因而售出一只蛋糕的價格是一個隨機變量，它取 1(元 )， 元 )， )各值的概率分別為 00只蛋糕 00 (元 )的概率 解： 設第 i， i=1,2, ,300,則 P 1 i ( 2)( ）（）（ 由獨立同分布中心極限定理知： 即 )10(，近似)10(，2 4003001 3 0 74 0 08 3 0 73001 0 73001 1 0 0 0 9 定理 2(德莫佛拉普拉斯中心極限定理） )1(設 發(fā)生的次數為 n,事件 p,則對于任給實數 x,總成立 2221 定理表明： 若 服從二項分布，當 nY ( n 近似服從標準正態(tài) 的標準化隨機變量 由此可知：當 00, 求 ， 的矩估計 . 解 : 1() x e d x xx d e （ ）|e e d x （ ）|22 1() x e d x 2xx d e （ ） 2 |2e x e d x （ ）2 2 E (X )2222 2 12xx e d x 令 解得 用樣本矩估計 總體矩 ,X 2 2 21122 知： 不論總體為何分布，總體均值的矩估計量總是 ，抽取 10只燈泡，測得其壽命為 (單位 :小時 ) 1050, 1100, 1080, 1120, 1200， 1250, 1040, 1130, 1300, 1200， 試用矩法估計該廠這天生產的燈泡的平均壽命及壽命分布的方差 . 解： 27 )(1147101 101 1021110 （ ）2B 26 8 2 1 ( ) 二、 極大似然估計法 即：在一次試驗中，概率最大的事件最有可能發(fā)生 . 引例 : 有兩個外形相同的箱子 ,各裝 100個球，一箱中 取得的球是白球 所取的球來自哪一箱？ 答 : 第一箱 . 中有 99個白球 1個紅球，一箱中有 1個白球 99個紅球。 現(xiàn)從兩箱中任取一箱 , 并從箱中任取一球 ,結果所 一般說，若事件 有關， 取值不同， P(A)也不同。則應記 事件 (A| )件 認為此時的 值應是在 中使 P(A| ) 達到最大的那一個 。這就是 極大似然原理 . （極大似然原理） 極大似然估計法的理論依據： 2, 的樣本， 則 樣本的聯(lián)合分布律為： 12 ( , , , ) x p x 似然函數： 121( , , , ) 其中 12, k 為 未知待估參數， 1 1 2 2 , , , x X x X x 1 1 2 2 1 2 1 2( , , , ) ( , , , ) ( , , , )k k n kp x p x p x 1. 散型總體，其分布律為 : 記 1 2 1 21( , , ) ( , , , )nk i p x 12( , , , ) 2. 續(xù)型總體，其概率密度為 為其樣本的似然函數 . 則稱 1 2 1 21( , , ) ( , , , )nk i f x 稱 為樣本的似然函數 . 12( , , ) 似然函數 12( , , ) 的值的大小實質上反映的是 該樣本值出現(xiàn)的可能性大小 . 極大似然估計的 方法： 對于給定的樣本值 ,選取 12, , ,k， 使得其 似然函數 12( , , ) 達到最大值。即求 12 ( , ) , 1 , 2 ,i i nx x x i k ， ，使得 1 2 1 2 , , , ) m a x ( , , )（ ， 7 1 1 212 ( , , , ) ( , , , )nk k nx x xx x x稱為未知參數 1, ,k 的極大似然估計值 這樣得到的估計值 對應的統(tǒng)計量 1 1 1 212 ( , , , ) ( , , , )nk k X稱為未知參數 1,k 的 極大似然估計量 (1) 由總體分布和所給樣本，求得似然函數 步驟： 1 2 1 21( , , ) ( , , , )nk i f x (2) 求似然函數 12( , , ) 的對數函數函數 （化積商為和差，而 12l n ( , , ) 和 12( , , ) 同時取得最大值） 1 2 1 21l n ( , , ) l n ( , , , )nk i f x (3) 解方程組 121l n ( , , )0 122l n ( , , )0 12l n ( , , ) 0 74) 得未知參數 1, ,1 1 1 212 ( , , , ) ( , , , )nk k nx x xx x x及其對應的極大似然估計量 1 1 1 212 ( , , , ) ( , , , )nk k X7待估參數只有一個，則似然函數是一元函數 L()，此時，只須將上述步驟中求偏導改為求導即可。 說明： ,1,0,!)();( . 設總體 X 服從參數為 )0( 的泊松分 布，求參數 的極大似然估計量 解： 的樣本，樣本觀察值為 ),( 21 由 X 服從泊松分布，得 ),( 21 為從總體 設 ni 1 !)(似然函數為 ! . . . .!兩邊取對數，得 n n ()(d)(0 得 對 求導，并令其為 0， 11所以參數 的極大似然估計量為： 000),(1其中 0 總體 X 的樣本值，求參數 的極大似然估計值 . 例 6. 設總體 為待估參數， a0是已知常數， ),( 21 是取自 解 : ()(11 11)(兩邊取對數，得 )(x)xl n ()1a(對 求導 ,并令其為 0， (得 的極大似然估計值 . 0 1 2 322 2 (1 ) 12 是未知參數 ， 3， 1， 3， 0， 3， 1， 2， 3， 是來自總體 求參數 的極大似然估計值 . ）（210 例 7. 設總體 解： )( L 2211221 ）（）（）（）（）（）（ 211221 2 246 1214 ）（）（ 兩邊取對數，得 )(L )1l n (2)21l n (4 對 求導，并令其為 0， =0 得 12137 12137 和 因為 ,2112137不合題意， 所以 的極大似然估計值為 12137 ( 設 的函數 g=g()是 上的實值函數 ,且有唯一反函數 . 如果 是 的極大似然估計，則 g( )也是 g( )的極大似然估計 . 關于極大似然估計的兩點說明： 此性質稱為 極大似然估計的不變性 例 8. 設 2 ， ， 的指數分布 總體的樣本，