《多元正態(tài)分布》PPT課件.ppt

第三章 多元正態(tài)分布,3.1 多元正態(tài)分布的定義 3.2 多元正態(tài)分布的性質(zhì) 3.3 復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù) 3.4 極大似然估計(jì)及估計(jì)量的性質(zhì) 3.5 和(n 1) S的抽樣分布 *3.6 二次型分布,3.1 多元正態(tài)分布的定義,一元正態(tài)分布N(,2)的概率密度函數(shù)為 若隨機(jī)向量 的概率密度函數(shù)為 則稱x服從p元正態(tài)分布，記作xNp (, )，其中，參數(shù)和分別為x的均值和協(xié)差陣。,例3.1.1（二元正態(tài)分布 ）,設(shè)xN2(, )，這里 易見，是x1和 x2的相關(guān)系數(shù)。當(dāng)|1時(shí)，可得x的概率密度函數(shù)為,二元正態(tài)分布的密度曲面圖,下圖是當(dāng) 時(shí)二元正態(tài)分布的鐘形密度曲面圖。,二元正態(tài)分布等高線,等高（橢圓）線： 上述等高線上的密度值,二元正態(tài)分布的密度等高線族 （使用SAS/INSIGHT，由10000個(gè)二維隨機(jī)數(shù)生成）,3.2 多元正態(tài)分布的性質(zhì),*（1）略。 （2）設(shè)x是一個(gè)p維隨機(jī)向量，則x服從多元正態(tài)分布，當(dāng)且僅當(dāng)它的任何線性函數(shù) 均服從一元正態(tài)分布。 性質(zhì)（2）常可用來(lái)證明隨機(jī)向量服從多元正態(tài)分布。 （3）設(shè)xN p (, )，y=Cx+b其中C為rp 常數(shù)矩陣，則 該性質(zhì)表明，（多元）正態(tài)變量的任何線性變換仍為（多元）正態(tài)變量。,例3.2.2 設(shè)xNp (, )，a為p維常數(shù)向量，則由上述性質(zhì)（2）或（3）知， （4）設(shè)xNp (, )，則x的任何子向量也服從（多元）正態(tài)分布，其均值為的相應(yīng)子向量，協(xié)方差矩陣為的相應(yīng)子矩陣。 該性質(zhì)說明了多元正態(tài)分布的任何邊緣分布仍為（多元）正態(tài)分布。 需注意，隨機(jī)向量的任何邊緣分布皆為（多元）正態(tài)分布未必表明該隨機(jī)向量就服從多元正態(tài)分布。例2.2.2就是這樣的一個(gè)反例。,還需注意，正態(tài)變量的線性組合未必就是正態(tài)變量。 這是因?yàn)椋?x1,x2, ,xn均為一元正態(tài)變量 ()x1,x2, ,xn的聯(lián)合分布為多元正態(tài)分布 x1,x2, ,xn的一切線性組合是一元正態(tài)變量 例3.2.4 設(shè)xN4(, )，這里,則 （i） ； （ii） ； （iii） 。,3.2 多元正態(tài)分布的性質(zhì),（5）設(shè)x1,x2, ,xn相互獨(dú)立，且xiN p (i, i) ，i=1,2,n，則對(duì)任意n個(gè)常數(shù)，有 此性質(zhì)表明，獨(dú)立的多元正態(tài)變量（維數(shù)相同）的任意線性組合仍為多元正態(tài)變量。 （6）設(shè)xN p (, )，對(duì)x, , (0)作如下的剖分：,則子向量x1和x2相互獨(dú)立，當(dāng)且僅當(dāng)12=0。 該性質(zhì)指出，對(duì)于多元正態(tài)變量而言，其子向量之間互不相關(guān)和相互獨(dú)立是等價(jià)的。 （7）設(shè)xN p (, ), 0，則 例3.2.5 設(shè)xN3(,)，其中 則x2和x3不獨(dú)立，x1和(x2,x3)獨(dú)立。 *（8）略,*（9）略 *（10）略 （11）設(shè)xN p (, ), 0，作如下剖分 則給定x2時(shí)x1的條件分布為 ，其中 12和112分別是條件數(shù)學(xué)期望和條件協(xié)方差矩陣，112通常稱為偏協(xié)方差矩陣。,這一性質(zhì)表明，對(duì)于多元正態(tài)變量，其子向量的條件分布仍是（多元）正態(tài)的。 例3.2.7 設(shè)xN3(, )，其中 試求給定x1+2x3時(shí) 的條件分布。,3.3 復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù),一、復(fù)相關(guān)系數(shù) 二、偏相關(guān)系數(shù),一、復(fù)相關(guān)系數(shù),（簡(jiǎn)單）相關(guān)系數(shù)度量了一個(gè)隨機(jī)變量x1與另一個(gè)隨機(jī)變量x2之間線性關(guān)系的強(qiáng)弱。 復(fù)相關(guān)系數(shù)度量了一個(gè)隨機(jī)變量x1與一組隨機(jī)變量x2, ,xp之間線性關(guān)系的強(qiáng)弱。 將x, (0)剖分如下：,x1和x2的線性函數(shù) 間的最大相關(guān)系數(shù)稱為 x1和x2間的復(fù)(或多重)相關(guān)系數(shù)(multiple correlation coefficient)，記作12,p, 它度量了一個(gè)變量x1與一組變量x2, ,xp間的相關(guān)程度。 可推導(dǎo)出 例3.3.1 隨機(jī)變量x1,xp的任一線性函數(shù)F=l1x1+ lp xp與x1,xp的復(fù)相關(guān)系數(shù)為1。 證明,二、偏相關(guān)系數(shù),將x, (0)剖分如下： 稱 為給定x2時(shí)x1的偏協(xié)方差矩陣。記 ，稱 為偏協(xié)方差，它是剔除了 的（線性）影響之后，xi和xj之間的協(xié)方差。,給定x2時(shí)xi 和xj的偏相關(guān)系數(shù)（partial correlation coefficient）定義為 其中 。 ijk+1,p度量了剔除xk+1, ,xp的（線性）影響之后，xi和xj間相關(guān)關(guān)系的強(qiáng)弱。 對(duì)于多元正態(tài)變量x，由于112也是條件協(xié)方差矩陣，故此時(shí)偏相關(guān)系數(shù)與條件相關(guān)系數(shù)是同一個(gè)值，從而ijk+1,p同時(shí)也度量了在xk+1, ,xp值給定的條件下xi和xj間相關(guān)關(guān)系的強(qiáng)弱。,3.4 極大似然估計(jì)及估計(jì)量的性質(zhì),本課程第二章和第三章前三節(jié)的內(nèi)容屬概率論的范疇。 從第三章3.4 開始的內(nèi)容屬數(shù)理統(tǒng)計(jì)的范疇，特點(diǎn)是推斷和分析從樣本出發(fā)。 一、樣本x1,x2, ,xn的聯(lián)合概率密度 二、 和的極大似然估計(jì) 三、相關(guān)系數(shù)的極大似然估計(jì) 四、估計(jì)量的性質(zhì),設(shè)xNp(, ) , 0，x1,x2, ,xn是從總體x中抽取的一個(gè)簡(jiǎn)單隨機(jī)樣本（今后簡(jiǎn)稱為樣本），即滿足：x1,x2, ,xn獨(dú)立，且與總體分布相同。 令 稱之為（樣本）數(shù)據(jù)矩陣或觀測(cè)值矩陣。,一、樣本x1,x2, ,xn的聯(lián)合概率密度,極大似然估計(jì)是通過似然函數(shù)來(lái)求得的，似然函數(shù)可以是樣本聯(lián)合概率密度 f (x1,x2,xn)的任意正常數(shù)倍，我們不妨取成相等，記為L(zhǎng)(, )?？删唧w表達(dá)為：,二、和的極大似然估計(jì),一元正態(tài)情形： 多元正態(tài)情形： 其中 稱為樣本均值向量（簡(jiǎn)稱為樣本均值）， 稱為樣本離差矩陣。,三、相關(guān)系數(shù)的極大似然估計(jì),1.簡(jiǎn)單相關(guān)系數(shù) 2.復(fù)相關(guān)系數(shù) 3.偏相關(guān)系數(shù),1.簡(jiǎn)單相關(guān)系數(shù),相關(guān)系數(shù)ij的極大似然估計(jì)為 其中 。稱S為樣本協(xié)方差矩陣、rij為樣本相關(guān)系數(shù)、 為樣本相關(guān)矩陣。,2.復(fù)相關(guān)系數(shù),將x, (0),S剖分如下： 則復(fù)相關(guān)系數(shù)12,p的極大似然估計(jì)為r12,p,稱之為樣本復(fù)相關(guān)系數(shù)。其中,3.偏相關(guān)系數(shù),將x, (0),S剖分如下： 則偏相關(guān)系數(shù)ijk+1,p的極大似然估計(jì)為rijk+1,p ，稱之為樣本偏相關(guān)系數(shù)，其中,。,四、估計(jì)量的性質(zhì),1.無(wú)偏性 2.有效性 3.一致性 4.充分性,1.無(wú)偏性,設(shè) 是未知參數(shù) （可以是一個(gè)向量或矩陣）的一個(gè)估計(jì)量，如果 ，則稱估計(jì)量 是被估參數(shù)的一個(gè)無(wú)偏估計(jì)，否則就稱為有偏的。 樣本均值 是總體均值的無(wú)偏估計(jì)，即有 由于 ，故 不是的無(wú)偏估計(jì)。 若將該估計(jì)量稍加修正為 則S將是的一個(gè)無(wú)偏估計(jì)，即有E(S)=。,3.5 和(n 1)S的抽樣分布,一、 的抽樣分