第五章 大數(shù)定律及中心極限定理

1、第五章第五章 大數(shù)定律及中心極限定理大數(shù)定律及中心極限定理概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計頻率穩(wěn)定性頻率穩(wěn)定性大量實驗證實，當重復試驗的次數(shù)逐漸增大時，頻率呈大量實驗證實，當重復試驗的次數(shù)逐漸增大時，頻率呈現(xiàn)出穩(wěn)定性，逐漸穩(wěn)定于某個常數(shù)?，F(xiàn)出穩(wěn)定性，逐漸穩(wěn)定于某個常數(shù)。當當n足夠大時，足夠大時， n(A ) P(A)P(A)由于事件發(fā)生的頻率表示由于事件發(fā)生的頻率表示A A發(fā)生的頻繁程度。頻率大，發(fā)生的頻繁程度。頻率大，事件事件A A發(fā)生就頻繁，這意味著發(fā)生就頻繁，這意味著A A在一次試驗中發(fā)生的可能性就在一次試驗中發(fā)生的可能性就大。大。 當當n n增大時，頻率在概率附近擺動。因此，每一個從獨

2、增大時，頻率在概率附近擺動。因此，每一個從獨立重復試驗中測得的頻率，都可以作為概率立重復試驗中測得的頻率，都可以作為概率P(A)P(A)的近似值。的近似值。問題的提出問題的提出在第一章提出，人們在長期實踐中發(fā)現(xiàn)，雖然個別事件在某次實驗中可以出現(xiàn)也可以不出現(xiàn)，但是在大量重復試驗中卻呈現(xiàn)明顯的規(guī)律性，即一個隨機事件出現(xiàn)的概率在某個固定數(shù)的附近擺動，即所謂“頻率穩(wěn)定性”，對于這一點，我們將在本章給予理論上的說明。1 大數(shù)定律大數(shù)定律切比雪夫不等式切比雪夫不等式22222()()XE XD XP XP X設隨機變量 具有數(shù)學期望，方差，則對于任意正數(shù) ，不等式或成立。依概率收斂依概率收斂),(),()

3、,(),(,bagYXgbayxgbYaXpnnpnpn則則連續(xù)，連續(xù)，在點在點，又設函數(shù)，又設函數(shù)設設設設 aYaYYYaYPaYYYpnnnnn ，記為，記為依概率收斂于依概率收斂于則稱序列則稱序列，有，有若對于任意正數(shù)若對于任意正數(shù)是一個常數(shù)，是一個常數(shù)，是一個隨機變量序列，是一個隨機變量序列，設設,1lim,2121 依概率收斂的性質(zhì)依概率收斂的性質(zhì)切比雪夫定理切比雪夫定理 1)(1lim0), 2 , 1()(), 2 , 1()()(,121 niiiniiinXEXnPiCXDiXDXEXXX，有，有，則對任意給定的，則對任意給定的，且，且都存在都存在和方差和方差數(shù)學期望數(shù)學期望

4、序列，序列，是相互獨立的隨機變量是相互獨立的隨機變量設設定理定理切比雪夫定理的特殊情況切比雪夫定理的特殊情況 pniiniinXXnPiXDXEXXX 即即，有，有。則對任意給定的。則對任意給定的差，差，有相同的數(shù)學期望和方有相同的數(shù)學期望和方序列，序列，是相互獨立的隨機變量是相互獨立的隨機變量設設定理定理11lim0), 2 , 1()(,)(,1221切比雪夫定理的特殊情況的證明切比雪夫定理的特殊情況的證明112221122211111()111()111lim/11nnkkkknnkkkkniininiEXE XnnnnDXD XnnnnPXnPnXnn 證明由于由切比雪夫不等式可得從而

5、有依概率收斂的意義依概率收斂的意義101nnnXanxaxa依概率收斂即依概率 收斂。隨機變量序列依概率收斂于 ，說明對于任給的，當 很大時，事件“”的概率接近于 ，但正因為是概率，所以不排除小概率事件“”發(fā)生。所以說依概率收斂是不確定現(xiàn)象中關(guān)于收斂的一種說法。例 設在每次試驗中,事件A發(fā)生的概率為1/4.(1)300次重復獨立試驗,以X記A發(fā)生的次數(shù).用切比雪夫不等式估計X與E(X)的偏差不大于50的概率;(2)問是否可用0.925的概率,確信在1000次試驗中, A發(fā)生的次數(shù)在200到300之間. 解:(1)由Xb(300,1/4)知,E(X)=np=75, D(X)= npq =300*

6、1/4*3/4=225/4.所以所求概率為:9975. 0504225150| )(|2XEXP (2)由Xb(1000,1/4)知, E(X)=250, D(X)=375/2.所以2375200300|()| 501500.9252PXPXE X 即,在1000次試驗中,可以確信A發(fā)生的次數(shù)在200到300之間的概率大于0.925伯努利大數(shù)定理伯努利大數(shù)定理0lim1lim0 pnnPpnnPApAnnAnAnA或或，有，有率，則對于任意正數(shù)率，則對于任意正數(shù)在每次試驗中發(fā)生的概在每次試驗中發(fā)生的概是事件是事件發(fā)生的次數(shù)，發(fā)生的次數(shù)，次獨立重復試驗中事件次獨立重復試驗中事件是是設設定理定理了

7、頻率的穩(wěn)定性。了頻率的穩(wěn)定性。的概率這一結(jié)論，證明的概率這一結(jié)論，證明依概率收斂于依概率收斂于發(fā)生的頻率發(fā)生的頻率很大時，很大時，當當伯努利大數(shù)定理給出了伯努利大數(shù)定理給出了AnnAnA伯努利大數(shù)定理的證明伯努利大數(shù)定理的證明1lim1)(1lim), 2 , 1)(1()(,)()10(,212121 pnnPpXXXnPkppxDpxEpXXXXXXnAnnnkknnA即即有有理理，則由切比雪夫大數(shù)定，則由切比雪夫大數(shù)定分布，因而分布，因而的的數(shù)為數(shù)為相互獨立，且都服從參相互獨立，且都服從參，其中，其中，因為因為證明證明 伯努利定理說明,當試驗在不變的條件下重復進行很多次時,隨機事件的頻率

8、在它的概率附近擺動. 如果事件A的概率很小, 則正如伯努利定理所指出的,事件A的頻率也是很少的,或者說,事件A很少發(fā)生.例如:設P(A)=0.001,則在1000次試驗中只能希望事件A發(fā)生一次. 小概率事件的實際不可能性原理小概率事件的實際不可能性原理: 概率很概率很小的隨機事件在個別試驗中是不可能發(fā)生的小的隨機事件在個別試驗中是不可能發(fā)生的. 在實際生活中, 常常忽略那些概率很小的事件發(fā)生的可能性;如:雖然人騎自行車在公路上行駛時被汽車撞傷的概率不等于零,但人們還是坦然地在公路上騎自行車. 問:隨機事件的概率究竟應怎樣小,才可以看作實際上不可能發(fā)生的? 概率論中不可能給出答案. 在實際問題中

9、,必須考慮隨機事件的本質(zhì). 例如,假設自動車機床加工一批零件出現(xiàn)廢品的概率等于0.01, 如果零件的重要性不大而價格又低,則完全可以允許不必對全部加工出來的零件進行了全面檢查;這就是說,可以忽略一百個零件中出現(xiàn)一個廢品的可能性.但是,如果制造一批降落傘出現(xiàn)廢品(例如:在跳傘時降落傘不能張開)的概率等0.01,顯然,在這種情況下忽略百分之一的廢品是絕對不允許的,因為直接危及百分之一的跳傘者的生命. 最后強調(diào)一點: 所謂小概率事件事件的實際不可能性原理僅僅適用于個別的或次數(shù)極少的試驗僅僅適用于個別的或次數(shù)極少的試驗,當試驗次數(shù)較多時就不適用了.例如:工廠生產(chǎn)某種產(chǎn)品時,出現(xiàn)廢品的概率為0.0001

10、,也就是說,一萬個產(chǎn)品只有一個廢品;檢查產(chǎn)品質(zhì)量時,如果只從其中任取一個產(chǎn)品來檢查,則取出廢品的概率為0.0001,顯然是很小的,因而幾乎可以肯定不會發(fā)現(xiàn)廢品;但是,如果逐一檢查每個產(chǎn)品,則總有一次會發(fā)現(xiàn)這個廢品. 辛欽定理辛欽定理。是辛欽定理的特殊情形是辛欽定理的特殊情形顯然，貝努里大數(shù)定理顯然，貝努里大數(shù)定理，有，有正數(shù)正數(shù)，則對任意，則對任意服從同一分布，且具有服從同一分布，且具有序列，序列，是相互獨立的隨機變量是相互獨立的隨機變量設設定理定理11lim), 2 , 1()(,121 niinknXnPkXEXXX大數(shù)定律在概率論中的意義大數(shù)定律在概率論中的意義大數(shù)定律給出了在試驗次數(shù)很

11、大時頻率和平均值的穩(wěn)定性，從理論上肯定了用算術(shù)平均值代替均值，用頻率代替概率的合理性。它既驗證了概率論中一些假設的合理性，又為數(shù)理統(tǒng)計中用樣本推斷總體提供了理論根據(jù)，所以說，大數(shù)定律是概率論中最重要的基本定律。2 中心極限定理中心極限定理獨立同分布的中心極限定理獨立同分布的中心極限定理2122112,(),()0(1,2,)()( )1lim( )lim2(0,1)niinniiiinntxnnnnXXXE XD XkxXXnYnnF xF xP YxedtXnNn近似的定理設是相互獨立，：，則對任意實數(shù) ，隨機變量的分布函數(shù)滿足服從同一分布且具有數(shù)即當 充分學期大時，望和方差李雅普諾夫中心極

12、限定理李雅普諾夫中心極限定理122221221,(),()0(1,2,)10nkkkknnkknkkknXXXE XD XkBnE XB 定理設是相互獨立，它們具有數(shù)學期望和方差：，記若存在正數(shù) ，使得當時，則隨機變量李雅普諾夫中心極限定理李雅普諾夫中心極限定理)1 , 0(21lim)(lim)()()(211111112NZndtexBXPxFxxFBXXDXEXZntxnniiniinnnnnniiniiniiniiniin近似的近似的充分大時，充分大時，即當即當，滿足，滿足對任意的對任意的的分布函數(shù)的分布函數(shù) 德莫佛德莫佛拉普拉斯定理拉普拉斯定理 xtnnndtexpnpnpPxppn

13、n2221)1(lim)10(,), 2 , 1( ，有，有意意的二項分布，則對于任的二項分布，則對于任服從參數(shù)為服從參數(shù)為設隨機變量設隨機變量定理定理德莫佛德莫佛拉普拉斯定理的證明拉普拉斯定理的證明二項分布的極限分布。二項分布的極限分布。定理說明，正態(tài)分布是定理說明，正態(tài)分布是特殊情形。特殊情形。同分布中心極限定理的同分布中心極限定理的可見，上述定理是獨立可見，上述定理是獨立限定理知限定理知由獨立同分布的中心極由獨立同分布的中心極。分布，有分布，有服從服從其中其中的二項分布，則令的二項分布，則令服從參數(shù)為服從參數(shù)為由于由于定理定理 xtnnkkknkknndtexpnpnpPppXDpXEX

14、Xppnn21221)1(lim)1()(,)()10()10(,), 2 , 1( 中心極限定理的意義中心極限定理的意義 我們知道，正態(tài)分布是現(xiàn)實生活中使用最多、最廣泛、最重要的一種分布。許多隨機變量本身并不屬于正態(tài)分布，但它們的極限分布是正態(tài)分布。中心極限定理闡明了在什么條件下，原來不屬于正態(tài)分布的一些隨機一些隨機變量其總和分布漸近地服從正態(tài)分布變量其總和分布漸近地服從正態(tài)分布。為我們利用正態(tài)分布來解決這類隨機變量的問題提供了理論依據(jù)。大數(shù)定律與中心極限定理的異同大數(shù)定律與中心極限定理的異同它們的相同點是，都是通過極限理論來研究概率問題，研究對象都是隨機變量序列，解決的都是概率論中的基本問

15、題，因而在概率論中有重要的意義。所不同的是，大數(shù)定律研究的是，概率或平均值的極限，而中心極限定理則研究隨機變量總和的分布的極限。在隨機變量的一切可能分布中, 正態(tài)分布占有很重要的地位.實踐中遇到的大量的隨機變量都是服從正態(tài)分布的.問:為什么正態(tài)分布如此廣泛地存在,從而在概率論中占有如此重要的地位?應該如何解釋大量隨機現(xiàn)象中的這一客觀規(guī)律?在進行某種觀測(試驗)時,不可避免地有許多地引起觀測誤差的隨機因素影響著觀測結(jié)果.其中,有些誤差是由觀測儀器精度引起的,有些誤差是由觀測者自身引起的,等等. 這些因素中的每個都可能使觀測結(jié)果產(chǎn)生很小的誤差,然而由于所有這些誤差共同影響觀測結(jié)果,因此,我們得到的

16、觀測值是一個包含”總誤差”的結(jié)果.因此,可以將觀測得到的誤差看成一個隨機變量 ,它是很多數(shù)值微小的獨立隨機變量的總和,按中心極限定理,這個隨機變量應服從正態(tài)分布.此外,還有很多類似的例子,自動車床加工的零件尺寸的偏差,射擊時擊中點與目標中心的偏差,一個城市的耗電量(是大量用戶耗電量的總和)等.習題習題1 據(jù)以往經(jīng)驗,某種電器元件的壽命服從均值為100小時的指數(shù)分布.現(xiàn)隨機地取16只,設它們的壽命是相互獨立的.求這16只元件的壽命的總和大于1920小時的概率.解解: 設Xi表示第i只元件的壽命,依題意可知X1, X2, , X16相互獨且服從均值為100小時的指數(shù)分布.從而有E(Xi)=100,

17、 D(Xi)=1002, (i=1,2,16)由同獨立分布中心極限定理知:) 1 , 0(4001600)()(161161161161NXXDXEXiiiiiiii從而有:1616111600192016001920400400iiiiXPXP16116000.8400iiXP161160010.8400iiXP 1(0.8) 10.7881 0.2119 例例 試分別用切比雪夫不等式和中心極限定理確定, 當擲均勻銅板時,需投多少次,才能保證得到正面出現(xiàn)的頻率在0.4及0.6之間的概率不少于90%.解解: 設需投n次才能滿足要求. 令銅板出現(xiàn)正面的次數(shù)為X, 則:111 ( , ),(),()224Xb nE XnD Xn正面出現(xiàn)的頻率為 ,故Xn0.40.6XPn(1)由切比雪夫不等式有:10.12XPn0.1XXPEnn2()100110.90.14XDnn 解得:250n 即:至少要投250次才能滿足要求. 例例 試分別用切比雪夫不等