多元正態(tài)分布

多元正態(tài)分布.第一頁，共五十八頁，2022年，8月28日定義2：獨(dú)立標(biāo)準(zhǔn)正態(tài)變量的有限線性組合

稱為m維正態(tài)隨機(jī)變量，記為其中但是的分解一般不是唯一的。定義3：若隨機(jī)向量X的特征函數(shù)為：其中t為實(shí)向量，則稱X服從p元正態(tài)分布。特征函數(shù)定義的優(yōu)點(diǎn)在于可以包含的情況。第二頁，共五十八頁，2022年，8月28日二元正態(tài)分布曲面(11=1,22=1,12=0)

第三頁，共五十八頁，2022年，8月28日二元正態(tài)分布曲面(11=2,22=4,12=0.75)第四頁，共五十八頁，2022年，8月28日二、多元正態(tài)分布的性質(zhì)性質(zhì)1：若，是對角矩陣，則相互獨(dú)立。性質(zhì)2：若則

性質(zhì)3：若，將作剖分：則第五頁，共五十八頁，2022年，8月28日特別地，二元正態(tài)分布：

第六頁，共五十八頁，2022年，8月28日的邊緣密度函數(shù)為：當(dāng)時(shí)X1與X2不相關(guān)，對于正態(tài)分布來說不相關(guān)和獨(dú)立等價(jià)。因?yàn)椋簽閄1和X2的相關(guān)系數(shù)。第七頁，共五十八頁，2022年，8月28日三、正態(tài)分布數(shù)據(jù)的變換若一批多元數(shù)據(jù)不滿足正態(tài)分布時(shí)，一般要對數(shù)據(jù)進(jìn)行正態(tài)變換。一般來說常采用冪變換，如果想使值變小可以采用變換：如果想使值變大，則采用變換：不管使用哪種冪變換，還應(yīng)該對變換后的數(shù)據(jù)的正態(tài)性做檢驗(yàn)（如Q-Q圖方法）第八頁，共五十八頁，2022年，8月28日§2多元正態(tài)分布的參數(shù)估計(jì)

一、多元樣本及其樣本數(shù)字特征１．多元樣本記第九頁，共五十八頁，2022年，8月28日2、多元樣本的數(shù)字特征樣本均值第十頁，共五十八頁，2022年，8月28日樣本離差陣第十一頁，共五十八頁，2022年，8月28日樣本協(xié)方差矩陣

或

二、多元正態(tài)總體的最大似然估計(jì)及其性質(zhì)利用最大似然法求出和的最大似然估計(jì)為：第十二頁，共五十八頁，2022年，8月28日求解過程似然函數(shù)為：第十三頁，共五十八頁，2022年，8月28日對數(shù)似然函數(shù)為：第十四頁，共五十八頁，2022年，8月28日（引理：設(shè)A為p階正定矩陣，則當(dāng)A=I等號成立。第十五頁，共五十八頁，2022年，8月28日最大似然估計(jì)的性質(zhì)，即是的無偏估計(jì)。，即不是的無偏估計(jì)。，即是無偏估計(jì)。分別是的最小方差無偏估量。3.分別是的一致估計(jì)。

第十六頁，共五十八頁，2022年，8月28日維斯特（Wishart）分布---一元分布的推廣定義：

設(shè)個(gè)隨機(jī)向量

獨(dú)立同分布于，則隨機(jī)矩陣服從自由度為n的非中心維斯特分布，記為

三、正態(tài)總體下的抽樣分布隨機(jī)矩陣的分布：將該矩陣的列向量（或行向量）連接起來組成的長向量稱為拉直向量，拉直向量的分布定義為該矩陣的分布，如果是對稱矩陣則只取其下三角的部分拉直即可。第十七頁，共五十八頁，2022年，8月28日性質(zhì)：（1）若W1和W2獨(dú)立，其分布分別和，則分布為，即維斯特(Wishart)分布有可加性。（2），C為m×p階的矩陣，則的分布為分布。第十八頁，共五十八頁，2022年，8月28日定理：設(shè)分別是來自正態(tài)總體的樣本均值和離差陣，則(1)(2)相互獨(dú)立。

S為正定矩陣的充分必要條件是n>p。11第十九頁，共五十八頁，2022年，8月28日一元正態(tài)總體：為來自一元正態(tài)總體的一組樣本定理：證明：構(gòu)造正交矩陣第二十頁，共五十八頁，2022年，8月28日做變換第二十一頁，共五十八頁，2022年，8月28日第三章多元正態(tài)總體參數(shù)的假設(shè)檢驗(yàn)Hotelling

T2分布—一元t分布的推廣定義設(shè)，且X與S相互獨(dú)立，，則稱統(tǒng)計(jì)量的分布為非中心的Hotelling

T２分布，記為，當(dāng)時(shí)稱為中心的Hotelling

T2分布。記為一元t分布：設(shè)總體是一組樣本,則統(tǒng)計(jì)量第二十二頁，共五十八頁，2022年，8月28日其中與類似并且第二十三頁，共五十八頁，2022年，8月28日基本性質(zhì):定理：設(shè)且X與S相互獨(dú)立，令則第二十四頁，共五十八頁，2022年，8月28日一、多元正態(tài)總體均值向量的假設(shè)檢驗(yàn)1.單個(gè)正態(tài)總體(1)協(xié)方差矩陣已知時(shí)均值向量的檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量設(shè)水平為，查表確定，使得（當(dāng)H0成立時(shí)）拒絕域?yàn)椋旱诙屙?，共五十八頁?022年，8月28日當(dāng)原假設(shè)成立時(shí)第二十六頁，共五十八頁，2022年，8月28日(2)協(xié)方差矩陣未知時(shí)均值向量的檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量拒絕域?yàn)椋旱诙唔?，共五十八頁?022年，8月28日2.協(xié)方差陣相等時(shí)，兩個(gè)正態(tài)總體均值向量的檢驗(yàn)第二十八頁，共五十八頁，2022年，8月28日3.協(xié)方差陣不相等時(shí)，兩個(gè)正態(tài)總體均值向量的檢驗(yàn)第二十九頁，共五十八頁，2022年，8月28日第三十頁，共五十八頁，2022年，8月28日一元方差分析一、方差分析的概念及有關(guān)術(shù)語

方差分析研究的是分類型自變量對數(shù)值型因變量的影響，包括它們之間有沒有關(guān)系、關(guān)系的強(qiáng)度如何等，所采用的方法就是檢驗(yàn)各個(gè)總體的均值是否相等來判斷分類型自變量對數(shù)值型因變量是否有顯著影響。例子：為了對幾個(gè)行業(yè)的服務(wù)質(zhì)量進(jìn)行評價(jià)，消費(fèi)者協(xié)會在零售業(yè)、旅游業(yè)、航空公司、家電制造業(yè)分別抽取了不同的企業(yè)作為樣本。每個(gè)行業(yè)中所抽取的樣本在服務(wù)對象、服務(wù)內(nèi)容、企業(yè)規(guī)模等基本上是相同的，統(tǒng)計(jì)出消費(fèi)者對23家企業(yè)的投訴次數(shù)，現(xiàn)判斷幾個(gè)行業(yè)的服務(wù)質(zhì)量是否有差別。投訴次數(shù)如下表：4.多個(gè)正態(tài)總體均值向量的檢驗(yàn)（多元方差分析）第三十一頁，共五十八頁，2022年，8月28日要分析4個(gè)行業(yè)的服務(wù)質(zhì)量是否有顯著差異，實(shí)際上就是判斷“行業(yè)”對投訴次數(shù)是否有顯著影響，做出這種判斷最終歸結(jié)為檢驗(yàn)4個(gè)行業(yè)被投訴次數(shù)的均值是否相等。如果相等則認(rèn)為行業(yè)因素對投訴次數(shù)是沒有影響的，如果均值不全相等，則意味著行業(yè)因素對服務(wù)質(zhì)量有影響。方差分析主要用來對多個(gè)總體均值是否相等作出假設(shè)檢驗(yàn)。第三十二頁，共五十八頁，2022年，8月28日相關(guān)術(shù)語因素（因子）：在方差分析中，所要檢驗(yàn)的對象稱為因素或因子。例子中的“行業(yè)”水平：因素中的不同表現(xiàn)成為水平。例子中的零售業(yè)、旅游業(yè)、航空公司、家電制造業(yè)是“行業(yè)”因素的具體表現(xiàn)，即水平。單因素方差分析：只針對一個(gè)因素進(jìn)行分析；多因素方差分析：同時(shí)針對多個(gè)因素進(jìn)行分析。第三十三頁，共五十八頁，2022年，8月28日（1）每個(gè)總體的相應(yīng)變量（因素的各個(gè)水平）服從正態(tài)分布。也就是說，對于因素的每個(gè)水平，其觀測值是來自正態(tài)總體的簡單隨機(jī)樣本上例中每個(gè)行業(yè)的投訴次數(shù)應(yīng)服從正態(tài)分布。（2）所有總體的方差相等2。也就是說，各組觀測數(shù)據(jù)來自相同方差的正態(tài)總體。上例中4個(gè)行業(yè)被投訴次數(shù)的方差相同。（3）不同觀察值相互獨(dú)立。（每個(gè)樣本點(diǎn)的取值不影響其他樣本點(diǎn)的取值）上例中，每個(gè)企業(yè)被投訴的次數(shù)與其他企業(yè)被投訴的次數(shù)是相互獨(dú)立的。方差分析的三個(gè)基本假定第三十四頁，共五十八頁，2022年，8月28日問題的一般提法設(shè)因素有k個(gè)水平，每個(gè)水平的均值分別為，要檢驗(yàn)k個(gè)水平（總體）的均值是否相等，提出如下假設(shè)：與原來兩兩總體的假設(shè)檢驗(yàn)方法相比，方差分析不僅可以提高檢驗(yàn)的效率，同時(shí)由于它是將所有的樣本信息結(jié)合在一起，因此增加了分析的可靠性。，上例中如果用一般的假設(shè)檢驗(yàn)方法，需要兩兩組合作6次檢驗(yàn)。第三十五頁，共五十八頁，2022年，8月28日某因素不同水平的影響（系統(tǒng)性影響）其他隨機(jī)因素的影響（隨機(jī)性影響）水平間方差（組間方差）某因素不同水平的影響（系統(tǒng)性影響）方差分析的思想：組內(nèi)離差平方和：衡量因素的同一水平下（同一總體）樣本數(shù)據(jù)的誤差。（隨機(jī)誤差）組間離差平方和：衡量因素的不同水平下（不同總體）樣本數(shù)據(jù)的誤差。（系統(tǒng)性誤差）總的離差平方和：組內(nèi)+組間水平內(nèi)誤差（組內(nèi)方差）水平間誤差（組間誤差）總的誤差其他隨機(jī)因素的影響（隨機(jī)性影響）某因素不同水平的影響（系統(tǒng)性影響）水平內(nèi)誤差（組內(nèi)方差）水平間誤差（組間誤差）總的誤差其他隨機(jī)因素的影響（隨機(jī)性影響）某因素不同水平的影響（系統(tǒng)性影響）水平內(nèi)誤差（組內(nèi)方差）水平間誤差（組間誤差）總的誤差其他隨機(jī)因素的影響（隨機(jī)性影響）某因素不同水平的影響（系統(tǒng)性影響）水平內(nèi)誤差（組內(nèi)方差）水平間誤差（組間誤差）總的誤差其他隨機(jī)因素的影響（隨機(jī)性影響）某因素不同水平的影響（系統(tǒng)性影響）水平內(nèi)誤差（組內(nèi)方差）水平間誤差（組間誤差）總的誤差其他隨機(jī)因素的影響（隨機(jī)性影響）某因素不同水平的影響（系統(tǒng)性影響）第三十六頁，共五十八頁，2022年，8月28日如果原假設(shè)成立：說明某因素不同水平的影響不顯著（無系統(tǒng)性影響），只剩下隨機(jī)性影響，因此組間方差與組內(nèi)方差差別不大，它們的比接近于1。如果原假設(shè)不成立：說明某因素不同水平的影響顯著（存在系統(tǒng)性影響），組間方差與組內(nèi)方差差別較大，它們的比遠(yuǎn)超出1構(gòu)造統(tǒng)計(jì)量：第三十七頁，共五十八頁，2022年，8月28日

一、單因素方差分析

（一）離差平方和的計(jì)算

方差分析需考察某因素的影響是否具有系統(tǒng)性，因此，需要將樣本總體離差分解為兩部分：

（1）反映系統(tǒng)性影響（因素水平影響）的組間離差

（2）反映隨機(jī)性影響（其他隨機(jī)因素影響）的組內(nèi)離差。第三十八頁，共五十八頁，2022年，8月28日為全體樣本合并的大樣本的樣本均值為第

j個(gè)總體的樣本均值xij=第j個(gè)子樣本中第

i個(gè)觀測值；nj=第j個(gè)子樣本的樣本容量其中，n=n1+n2+…+nkk為總體的個(gè)數(shù)于是，大樣本的總離差平方和(SumofSquaresforTotal，SST)為：設(shè)第三十九頁，共五十八頁，2022年，8月28日

可以證明：

第一項(xiàng)是各子樣本均值與合并的大樣本的公共均值的離差平方和，它反映了因素（變量）不同水平對總離差平方和的影響（系統(tǒng)性影響），稱為組間離差平方和（SumofSquaresforFactorA,SSA)；

第二項(xiàng)是各子樣本內(nèi)部離差平方和之和，反映了隨機(jī)性因素的影響(誤差性影響），稱為組內(nèi)離差平方和(SumofSquaresforError，SSE）。第四十頁，共五十八頁，2022年，8月28日各誤差平方和的大小與觀測值的多少有關(guān)，為了消除觀測值多少對誤差平方和大小的影響，用各個(gè)平方和除以自由度即得到平均平方(MeanSquare)：

即

SST=SSA+SSE

總離差平方和=組間離差平方和+組內(nèi)離差平方和構(gòu)造F統(tǒng)計(jì)量：原假設(shè)成立第四十一頁，共五十八頁，2022年，8月28日根據(jù)給定的顯著性水平，查表得到拒絕域：上例中，經(jīng)計(jì)算說明不同行業(yè)被投訴次數(shù)的均值有顯著差異，這意味著行業(yè)（自變量）與投訴次數(shù)（因變量）之間的關(guān)系是顯著的。第四十二頁，共五十八頁，2022年，8月28日關(guān)系強(qiáng)度的測量上述F統(tǒng)計(jì)量只能表明自變量和因變量之間是否有關(guān)系，不能表明關(guān)系的強(qiáng)弱，為了度量相關(guān)強(qiáng)度定義判定系數(shù)：R2越大說明關(guān)系越強(qiáng)，越小關(guān)系越弱。類似于相關(guān)系數(shù)。上例中，R2=0.349759。這表明行業(yè)對投訴次數(shù)的影響效應(yīng)占總效應(yīng)的34.9759%，而殘差效應(yīng)則占65.0241%。

第四十三頁，共五十八頁，2022年，8月28日方差分析中的多重比較上面的分析得出的結(jié)論是不同行業(yè)被投訴次數(shù)的均值是不全相同的，但是究竟哪些均值不相等呢，也就是這種差異究竟出現(xiàn)在哪些行業(yè)之間呢？則需要對總體均值進(jìn)行兩兩比較。多重比較的方法有很多，我們簡單介紹一下由Fisher提出的最小顯著差異方法（LSD方法）。檢驗(yàn)步驟為：第一步：提出原假設(shè)：第二步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量：第三步：計(jì)算LSD，公式為：第四步：根據(jù)顯著性水平做出決策：如果則拒絕原假設(shè)，否則接受原假設(shè)。第四十四頁，共五十八頁，2022年，8月28日例：對4個(gè)行業(yè)的均值作多重比較第一步：提出假設(shè)第二步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量第四十五頁，共五十八頁，2022年，8月28日第三步：計(jì)算LSD第四步：做出決策不能拒絕原假設(shè)，說明零售業(yè)和旅游業(yè)之間的投訴次數(shù)沒有顯著差異。......第四十六頁，共五十八頁，2022年，8月28日雙因素方差分析單因素方差分析只是考慮一個(gè)分類型自變量對數(shù)值型因變量的影響。如果同時(shí)需考慮兩個(gè)因素A與B的影響，則可進(jìn)行雙因素方差分析。例：分析影響彩電銷售量的因素，需要考察品牌、銷售地區(qū)等因素的影響?，F(xiàn)有4種品牌的彩電在5各地區(qū)進(jìn)行銷售，為分析彩電的“品牌”因素和“地區(qū)”因素對銷售量是否有影響，調(diào)查數(shù)據(jù)如下：地區(qū)因素

地區(qū)1地區(qū)2地區(qū)3地區(qū)4地區(qū)5品品牌1365350343340323牌品牌2345368363330333因品牌3358323353343308素品牌4288280298260298第四十七頁，共五十八頁，2022年，8月28日在雙因素方差分析中如果兩個(gè)因素，例如“品牌”和“銷售地區(qū)”兩個(gè)因素對銷售量的影響是相互獨(dú)立的，我們分別判斷兩個(gè)因素對銷售量的影響，稱為無交互作用的雙因素方差分析。如果除了兩個(gè)因素的單獨(dú)影響外，兩個(gè)因素的搭配還會對銷售量產(chǎn)生新的影響效應(yīng)，稱為有交互作用的雙因素方差分析。無交互作用的數(shù)據(jù)結(jié)構(gòu)第四十八頁，共五十八頁，2022年，8月28日無交互作用的雙因素方差分析為了檢驗(yàn)兩個(gè)因素的影響，需要分別對兩個(gè)因素提出假設(shè)。對行因素提出的假設(shè)為：對列因素提出的假設(shè)為：地區(qū)對銷售量沒有顯著影響品牌對銷售量沒有顯著影響第四十九頁，共五十八頁，2022