計(jì)量經(jīng)濟(jì)學(xué)講義第三講假設(shè)檢驗(yàn)

1、第三講假設(shè)檢驗(yàn)一、經(jīng)典線性模型假定對(duì)于模型 yi = b0 + b1xi +ei ，利用 OLS 有：b1 = b1+ å(xi - x)eiå(xi - x)2在高斯-馬爾科夫假定下，OLS 估計(jì)量的抽樣分布完全取決于誤差項(xiàng)的分布。在高斯-馬爾科夫假定中，我們要求誤差項(xiàng)是序列無關(guān)與同方差的，現(xiàn)在，我們施加更強(qiáng)的假定，即誤差項(xiàng)服從正態(tài)分布，即ei :N (0,d 2)。應(yīng)該注意到，當(dāng)誤差項(xiàng)服從正態(tài)分布時(shí)， 序列無關(guān)與獨(dú)立性是等價(jià)的。因此，我們可以把上述分布假設(shè)寫為： i.i.d 2ei : N (0,d ) ，即誤差項(xiàng)服從獨(dú)立同正態(tài)分布。為什么要施加更強(qiáng)的假定呢？這是為了進(jìn)

2、行小樣本下的假設(shè)檢驗(yàn)。ei : N (0,d 2) 與高斯-馬爾科夫假定一起，被稱為經(jīng)典線性模型假定。在經(jīng)典線性模型假定下，可以證明，OLS 估計(jì)量是方差最小的無偏估計(jì)量（注意！此時(shí)不需要把比較范圍限制在線性估計(jì)量之中）。筆記：1、假設(shè)誤差項(xiàng)服從正態(tài)分布的合理性在于，誤差項(xiàng)是由很多因素構(gòu)成的，當(dāng)這些因素是獨(dú)立同分布時(shí)，依照中心極限定理，那么這些因素之和應(yīng)該近似服從正態(tài)分布。當(dāng)然，這并不意味著用正態(tài)分布來近似誤差項(xiàng)的分布總是恰當(dāng)?shù)模?，各因素或許并不同分布。另外，如果 y 是價(jià)格這樣的變量，那么假設(shè)誤差項(xiàng)服從正態(tài)分布是不合理的，因?yàn)閮r(jià)格不可能是負(fù)數(shù)，不過我們可以進(jìn)行變量變換，例如對(duì)價(jià)格取自然對(duì)

3、數(shù)或者考察價(jià)格的變化率，那么經(jīng)過變量變換之后，或許再假設(shè)誤差項(xiàng)服從正態(tài)分布就變得合理了。2、如果能夠?qū)φ`差項(xiàng)是否服從正態(tài)分布進(jìn)行檢驗(yàn)，那最好不過了。一種常用的檢驗(yàn)方法是 Jarqe-Bera 檢驗(yàn)，這可以參見相關(guān)的教科書。問題是，盡管我們能觀察到解釋變量、被解釋變量的取值，然而，由于對(duì)參數(shù)的真實(shí)取值無法確定，因此誤差是觀測(cè)不到的，我們或許不得不利用殘差來代替誤差以進(jìn)行相關(guān)的檢驗(yàn)。當(dāng)然，一個(gè)前提是殘差確實(shí)是對(duì)誤差的良好近似，這進(jìn)而要求，我們對(duì)參數(shù)的估計(jì)是合理的。3、根據(jù)公式：b = b+ å(xi - x)ei = b+ 1 · å(xi - x)ei11å

4、;(xi - x)211 å(x- x)2NN i考慮 x 非隨機(jī)這種簡單情況，顯然，當(dāng)樣本容量很大時(shí)，只要誤差項(xiàng)是獨(dú)立同分布的（并不1需要要假定誤差項(xiàng)服從正態(tài)分布），那么根據(jù)中心極限定理， b應(yīng)該近似服從正態(tài)分布。當(dāng)然，為了保證誤差項(xiàng)的獨(dú)立性，抽樣的隨機(jī)性十分關(guān)鍵。二、利用標(biāo)準(zhǔn)正態(tài)分布作假設(shè)檢驗(yàn)假定 yi = b0 + b1xi +ei 是真實(shí)模型，當(dāng)然我們并不知道各參數(shù)的真實(shí)值是多少。但某一經(jīng)濟(jì)經(jīng)濟(jì)理論預(yù)言 b1 = w 。如果你手中掌握一樣本，一個(gè)問題是，你所掌握的樣本支持這個(gè)預(yù)言嗎？在 經(jīng) 典 線 性 模 型 假 定 下 ，b N (b ,d 2 )或 者111bb，12d

5、2(b - b ) / sd(b) N (0,1)， 其 中d= å- x)111(xi 2d 2b11sd(b ) =。0練習(xí)：確定 b的分布?，F(xiàn)在，假設(shè)經(jīng)濟(jì)理論的預(yù)言是正確的，那么針對(duì)特定的樣本你將得到標(biāo)準(zhǔn)正態(tài)分布圖橫坐標(biāo)上的一個(gè)點(diǎn)： (b -w)/ sd(b ) 。11現(xiàn)在來考察標(biāo)準(zhǔn)正態(tài)分布。在該分布上，存在對(duì)稱的兩點(diǎn)： z0.025 與-z0.025 ，其中：Pr(Z³ z0.025 ) = Pr(Z£ -z0.025 ) = 0.025如果把概率為 5%的事件稱為小概率事件，那么，當(dāng)(b -w)/ sd(b ) 的取值大于11z0.025 或者小于-z0

6、.025 時(shí)，我們認(rèn)為小概率事件發(fā)生了！小概率事件一般是不容易發(fā)生定義z =(b - b ) / sd(b )，則 z 就是所謂的 z 統(tǒng)計(jì)量。估計(jì)量是111用來估計(jì)真實(shí)參數(shù)的，而統(tǒng)計(jì)量是用來做統(tǒng)計(jì)推斷(或者假設(shè)檢驗(yàn)）的；統(tǒng)計(jì)量是隨機(jī)的，其分布也被稱為抽樣分布，針對(duì)特定樣本，我們得到統(tǒng)計(jì)量值，它是非隨機(jī)的。1在這里，該式是非隨機(jī)的，而特別應(yīng)該注意的是，分子中的b 是估1計(jì)值，而分母中的b是估計(jì)量。估計(jì)值的標(biāo)準(zhǔn)差是零！。的，現(xiàn)在居然發(fā)生了，因此，我們應(yīng)該懷疑上述經(jīng)濟(jì)理論所作出的預(yù)言。筆記：1另外一種直覺性的解釋：當(dāng) b1 = w 這個(gè)假設(shè)為真時(shí)，粗略看來，即使估計(jì)值 b 與1完全相等不太可能，但

7、估計(jì)值 b應(yīng)該接近于。然而我們也要注意到，對(duì) b1的估1計(jì)還存在精確性問題，這通過 b統(tǒng)計(jì)量的標(biāo)準(zhǔn)差體現(xiàn)出來。也就是說，在原假設(shè)為真時(shí)，即使估計(jì)值 b 與有一定的差異，然而如果 sd(b )較大，那么出現(xiàn) b與的較大111差異也許是正常的。不過總的來看，當(dāng)原假設(shè)為真時(shí)，z 統(tǒng)計(jì)量值是應(yīng)該接近于 0 的，這要么是因?yàn)?z =(b -w)/ sd(b ) 中的分子確實(shí)接近于 0，要么是因?yàn)楸M管 b 與1111有一定的差異，但主要是由 sd(b )較大所引起的。當(dāng) z 統(tǒng)計(jì)量值與 0 具有較大差異時(shí)，那么 b1 = w 這個(gè)假設(shè)的真實(shí)性是值得懷疑的！假設(shè)檢驗(yàn)的正式步驟是：（1）建立原假設(shè)與備擇假設(shè)：

8、筆記：H 0 : b1 = wH1 : b1 ¹ w原假設(shè)與備擇假設(shè)互斥；假設(shè)體系應(yīng)該是完備的，即原假設(shè)與備擇假設(shè)兩者之一必為真，但兩者不能同時(shí)為真。（2）確定小概率標(biāo)準(zhǔn) a。經(jīng)常我們把 1%、5%或者 10%作為小概率標(biāo)準(zhǔn)。對(duì) a 更加正式的稱呼是“顯著水平”。（3）考察統(tǒng)計(jì)量值(b -w)/ sd(b ) 是否落在拒絕域：11(-¥, -za /2 Èza /2 , +¥) 之內(nèi)。如果落在上述區(qū)間之內(nèi)，那么在 a 顯著水平上，我們拒絕原假設(shè)，接受備擇假設(shè)；反之，我們不拒絕原假設(shè)，拒絕備擇假設(shè)。筆記：1、為什么當(dāng)統(tǒng)計(jì)量值落在拒絕域(-¥, -

9、za /2 Èza / 2 , +¥) 之外時(shí)我們說“不拒絕原假設(shè)”而不是說“接受原假設(shè)”？其解釋是：我們可以作出很多的原假設(shè)，例如b1 = w1或者 b1 = w2 而我們所計(jì)算 出來的一 些統(tǒng)計(jì)量 值恰好都 落在 (-¥, -za /2 Èza / 2 , +¥)之外 ，難道我 們既接受 b1 = w1也接 受b1 = w2 ？顯然更恰當(dāng)?shù)谋磉_(dá)方式是，即不拒絕 b1 = w1 也不拒絕 b1 = w2 。2、“接受原假設(shè)”沒有留有余地，而“不拒絕原假設(shè)”表明我們的結(jié)論是留有余地的，即，在另外的原假設(shè)下也可能不拒絕 b1 = w2 ?！敖邮軅?/p>

10、擇假設(shè)”留有余地嗎？應(yīng)該注意到，備擇假設(shè)是 H1 : b1 ¹ w ，因此，即使說“接受備擇假設(shè)”，這也是留有余地的。3、設(shè)定 1%、5%或者 10%為顯著水平顯得有點(diǎn)隨意，為何不設(shè) 2%、6%、7%等為顯著水平呢？是否可以依據(jù)一個(gè)更一般的標(biāo)準(zhǔn)來進(jìn)行假設(shè)檢驗(yàn)？答案是肯定的，我們可以依據(jù)一個(gè)更一 般 的 標(biāo) 準(zhǔn) 來 進(jìn) 行 假 設(shè) 檢 驗(yàn) ！ 既 然 我 們 已 經(jīng) 計(jì) 算 出 統(tǒng) 計(jì) 量 值z(mì) =(b -w)/ sd (b )，如果 z 為正，那么根據(jù)正態(tài)分布表，我們就能夠確定11Pr(Z³ z È Z£ -z)的值（如果 z 值為負(fù)，那么我們能夠確定

11、Pr(Z³ -z È Z£ z) 的值），我們通常把這個(gè)概率值稱為伴隨概率，簡寫為 P 或者Prob.這個(gè)概率值很有用處！例如，假定 P 值是 0.062，那么，顯然，以任何小于 6.2%的概率為小概率標(biāo)準(zhǔn)，我們并不拒絕原假設(shè)；以任何大于 6.2%的概率為小概率標(biāo)準(zhǔn)，我們拒絕原假設(shè)。4、一個(gè)總結(jié)：在進(jìn)行雙尾檢驗(yàn)時(shí)，當(dāng) P 小于給定的顯著水平時(shí)，那么在給定的顯著水平下應(yīng)該拒絕原假設(shè)；反之，則不拒絕原假設(shè)。上述檢驗(yàn)都屬于雙尾檢驗(yàn)，即(-¥, -za /2 Èza /2 , +¥) 是拒絕域。如果假設(shè)體系是：H0 : b1 = wH1 :

12、b1 > w那么在顯著水平 a 下，拒絕域應(yīng)該是za , +¥)，我們進(jìn)行的是單側(cè)（尾）檢驗(yàn)。為了理解單側(cè)檢驗(yàn)，我們回答如下兩個(gè)問題：問題一：為什么拒絕域是za , +¥)？答案：當(dāng)原假設(shè)為真時(shí)，那么 Z =(b -w)/ sd (b ) 應(yīng)該在 0 左右不遠(yuǎn)處；當(dāng)備111擇假設(shè)為真時(shí)， b在真實(shí)參數(shù) b1 左右不遠(yuǎn)處。因此，只要真實(shí)參數(shù)遠(yuǎn)大于，則Z =(b -w)/ sd (b ) 遠(yuǎn)大于 0 是非?？赡艿?，而在這種情況下 Z 遠(yuǎn)小于 0 則不11太可能的。因此，我們把拒絕域設(shè)定為za , +¥)。當(dāng)實(shí)際計(jì)算出的 Z 值落在該區(qū)間內(nèi)時(shí)，我們拒絕原假設(shè)，接受

13、被擇假設(shè)。問題二：為什么-¥, -za /2 ) 并不是拒絕域？答案：如果實(shí)際計(jì)算出的 Z 值落在該區(qū)間內(nèi)時(shí)我們拒絕了原假設(shè)，那么我們更應(yīng)該拒絕被擇假設(shè)。因?yàn)楫?dāng)備擇為真時(shí)，實(shí)際計(jì)算出的 Z 值落在該區(qū)間內(nèi)的概率更小?；诩僭O(shè)體系的完備性，故我們不把-¥, -za /2 ) 設(shè)定為拒絕域。問題三：為何要設(shè)置這樣的假設(shè)體系？答案：這依賴于先驗(yàn)的理論與判斷。例如，假定 b1 是某正常商品的消費(fèi)收入彈性，那么 b1不可能為負(fù)。我們可以通過建立如下的假設(shè)體系：H0 : b1 = 0H1 : b1 > 0并基于樣本來判斷 b1 = 0 是否為真。思考題：在假設(shè)體系：H0 : b1

14、 = wH1 : b1 ¹ w下，計(jì)量軟件包計(jì)算出為正的統(tǒng)計(jì)量值 z，而且 P 值為 0.120【注：計(jì)量軟件包默認(rèn)的 P 值是雙尾的概率，當(dāng) z 為正時(shí)，它計(jì)算的是Pr(Z³ z È Z£ -z) 】。問：在假設(shè)體系H 0 : b1 = wH1 : b1 > w下，以 10%為顯著水平，我們是否拒絕原假設(shè)？三、t 檢驗(yàn)雖然在經(jīng)典線性模型假定下：(b - b ) / sd(b ) N (0,1)然而，在11d 2b1d 2å(xi - x)21sd(b ) =1之中，d 2經(jīng)常是未知的，需要我們估 計(jì) 。 在 第 二 講 時(shí) ， 我 們

15、已 知 道 ， 在 高 斯 馬 爾 可 夫 假 定 下 ，d2= RSS =åe2是 對(duì) d 2的 一 個(gè) 無 偏 估 計(jì) 。 我 們 記iN - k -1N - k -1d2 / å(xi - x)21se(b ) =，（注：the standard error,se;the standard deviation,sd）?？梢宰C明， (b - b1)/ se(b ) 服從 t(N-2)分布。11證明：在經(jīng)典線性模型假定下有：11111(b - b ) / sd (b ) = (b - b ) /üd 2å(xi - x)2Þ N (0,1)&

16、#239;ýåd 2 (x - x )2iå ie2/ d2N - 2iåe2 / d 2 : c（2N - 2)ïþ(b- b ) /: （t N- 2)11化簡可得： (b1 - b1) / se(b1) : （t N筆記：- 2)1、關(guān)于隨機(jī)變量概率分布的知識(shí)點(diǎn)見本講附錄 1；2、在經(jīng)典線性模型假定下可證明iåe2/ d 2 :c（2N - k -1)具體可參見一些較為高級(jí)的教科書。另外，根據(jù)附錄 1 的知識(shí)點(diǎn)，一個(gè)服從卡方分布的隨i機(jī)變量其期望值等于自由度，故 E(åe2 / d 2 ) = N - k -

17、1。實(shí)際上在第二講i我們已經(jīng)表明 Eåe2 / (N - k -1) = d 2 ，這驗(yàn)證了該知識(shí)點(diǎn)。接下來，檢驗(yàn)步驟和應(yīng)該注意的細(xì)節(jié)就和第二小節(jié)沒有差異了，除了所利用的是 t 分布而不是標(biāo)準(zhǔn)正態(tài)分布。筆記：隨著自由度趨于無窮大，t 分布漸進(jìn)于與標(biāo)準(zhǔn)正態(tài)分布，見附錄 1 知識(shí)點(diǎn) 4。事實(shí)上，當(dāng)自由度趨于無窮大時(shí)， se(b ) 在概率上收斂于 sd(b )【前者是對(duì)后者的一致估11計(jì)】，因此，隨著自由度趨于無窮大， (b - b ) / se(b )漸進(jìn)服從于標(biāo)準(zhǔn)正態(tài)分布。111前面我們討論的是簡單線性回歸模型。事實(shí)上相關(guān)結(jié)論與檢驗(yàn)完全可以被推廣到多元線性回歸模型：y = b0 +

18、b1x1 +. + b jxj +. + bk xk +e在該模型下， (bj - b j ) / se(bj ) tN -k-1思考題：一樣本其容量為 30，建立回歸模型：yi = b0 + b1x1i + b2x2i + b3x3i +eibt 等于-4，請(qǐng)判斷在顯著水平 1%、5%與 10%下是否拒絕原假設(shè)。0筆記：通過觀察 t 分布表可知，給定顯著水平，隨著自由度的增加，右側(cè)臨界值遞減。當(dāng)自由度為 10 時(shí)，有：a = 10% = 2 Prt ³ t0.05 (10) = 2 Prt ³ 1.812;a = 5% = 2 Prt ³ t0.025 (10)

19、 = 2 Prt ³ 2.228;a = 1% = 2 Prt ³ t0.005 (10) = 2 Prt ³ 3.169.進(jìn)行回歸分析時(shí)自由度一般都大于 10。如果情況確實(shí)如此，那么當(dāng)你得到一具體的 t 值時(shí)，你應(yīng)該能夠粗略地判斷在多大的顯著水平下是否拒絕原假設(shè)。在實(shí)踐中，我們經(jīng)常對(duì) b1是否為零的假設(shè)感興趣，顯然在假設(shè)體系：H0 : b1 = 0H1 : b1 ¹ 0下，此時(shí)的 t 統(tǒng)計(jì)量是 b / se(b )。針對(duì)特定樣本，計(jì)量軟件一般會(huì)自動(dòng)計(jì)算出對(duì)應(yīng)111于上述假設(shè)體系的 t 值。如果原假設(shè)被拒絕，那么我們就說在某某顯著水平上 x 是統(tǒng)計(jì)上顯著

20、的；如果不能被拒絕，則就說 x 在某某顯著水平上是統(tǒng)計(jì)上不顯著的。應(yīng)該注意：即使 b的絕對(duì)值很小很?。此^的變量 x 無經(jīng)濟(jì)顯著性或者實(shí)際顯著性（ economic significance/practical significance），但在統(tǒng)計(jì)上，它可能顯著地與 0 不同。四、 置信區(qū)間在模型 yi = b0 + b1xi +ei 下，如果有：b - b / se(b ) t(n- k -1)則有：111Prb -tse(b ) £ b£ b+ tse(b ) =1- a1a/2111a/2 1(b - tse(b ), b + tse(b ) 被稱為 b 的區(qū)間估計(jì)

21、量，而 1-a 是置信水1a / 211a / 21 1平。應(yīng)該注意，當(dāng)樣本并未指定時(shí)，(b - tse(b ), b + tse(b) 是一個(gè)1a / 211a / 2 11隨機(jī)區(qū)間！我們可以說，該隨機(jī)區(qū)間包含真實(shí)參數(shù)的概率為 1-a。然而，當(dāng)樣本給定后，b及其 se(b ) 通過計(jì)算已經(jīng)被獲得，那么(b - tse(b ), b + tse(b )11a / 211a / 2 1就不再是隨機(jī)區(qū)間了，該區(qū)間要么包含 b 的真實(shí)值要么不包含，故我們不能說，該確定性區(qū)間包含真實(shí)參數(shù)的概率為 1-a。然而，在重復(fù)抽樣的情景下，我們可以獲得無限多的確定性區(qū)間，在這些區(qū)間中，有百分之 100（1-a）

22、的區(qū)間將包含 b1 的真實(shí)值。當(dāng)原假設(shè) H0 : b1 = w 為真時(shí)，如果根據(jù)某一樣本所得到的置信區(qū)間并未包含，那么小概率事件發(fā)生了，因此，我們將拒絕 H0 : b1 = w 這個(gè)原假設(shè)。反之，則不拒絕原假設(shè)。如此看來，利用置信區(qū)間作假設(shè)檢驗(yàn)本質(zhì)上是與 t 檢驗(yàn)等價(jià)的。與區(qū)間估計(jì)量有聯(lián)系的一個(gè)概念是所謂的區(qū)間預(yù)測(cè)，見附錄 2。思考題：對(duì) 于 模 型yi = b0 + b1xi +ei， 根 據(jù) 一 樣 本 ， 我 們 得 到 ：(b - tse(b ), b + tse(b ) = (-0.23.0.89)10.05110.051（1）試判斷變量 x 在 10%顯著水平下是否統(tǒng)計(jì)顯著。（2）

23、在假設(shè)體系：H0 : b1 = 4及H1 : b1 ¹ 4其 10%顯著水平下，我們是否拒絕原假設(shè)？五、F 檢驗(yàn)現(xiàn)在我們把簡單線性回歸模型擴(kuò)展為多元線性模型，例如模型是：yi = b0 + b1x1i + b2x2i + b3x3i +ei如果我們對(duì)原假設(shè) H0 :b1 = w1;b2 = w2 是否成立感興趣，我們?cè)撛趺崔k？。第一步：估計(jì)受約束模型：yi = b0 + w1x1i + w2x2i + b3x3i +ei ，或者yi - w1x1i - w2x2i = b0 + b3x3i +ei估計(jì)上述模型得到殘差平方和 RSSr；第二步：估計(jì)不受約束模型：yi = b0 + b1

24、x1i + b2x2i + b3x3i +ei得到殘差平方和 RSSur；第三步：定義 F 統(tǒng)計(jì)量：F = (RSSr - RSSur )/(dfr -dfur )RSSur / dfur在經(jīng)典線性模型假定假定下及其原假設(shè)下，該統(tǒng)計(jì)量服從 F(dfr - dfur ,dfur ) 分布。在這里，dfr 是估計(jì)受約束模型時(shí)所得到的殘差的自由度；dfur 是估計(jì)不受約束模型時(shí)(RSSr - RSSur ) / 2所得到的殘差的自由度。在我們的例子中， F =筆記：RSSur/ N - 4。OLS 要求殘差平方和最小，現(xiàn)在我們得到了兩個(gè)殘差平方和，即 RSSr 與 RSSur，顯然 RSSr

25、79; RSSur，于是，上述對(duì) F 的定義滿足 F ³ 0?；貞?F 分布的圖形，它是在第一象限被定義的。如果原假設(shè)為真，即我們所施加的約束是正確的，那么，盡管 RSSr ³ RSSur，但 RSSr與 RSSur 應(yīng)該相差不多，因此，如果相差很大，那么我們就應(yīng)該懷疑原假設(shè)了！由于 RSSr與 RSSur 與被解釋變量的測(cè)度單位有關(guān)，因此，我們把兩者的差距除以 RSSur，以使其“無單位化”。筆記：為什么除以 RSSur 而不是 RSSr？如果除以 RSSr，那么計(jì)算所得的 F 值會(huì)更小，從而更容Q RSSr / d 2 c 2 (N - 2); RSSur / d 2

26、c 2 (N - 4);(RSSr - RSSur ) / d 2 c 2 (2)(RSSr - RSSur ) / 2 / RSSur /( N - 4) F (2, N - 4)易不拒絕原假設(shè)，即犯第二類錯(cuò)誤（取誤）的概率增加，因此，為提高檢驗(yàn)的勢(shì)（降低犯第二類錯(cuò)誤的概率）,在此除以 RSSur 而不是 RSSr, 除以 RSSur 相當(dāng)于“提供一個(gè)放大鏡，以使我們對(duì)原假設(shè)更加苛刻，不會(huì)輕易相信原假設(shè)所告訴的故事，這不正好體現(xiàn)了科學(xué)的懷疑精神嗎？”【注：犯第一類錯(cuò)誤（棄真）的概率就是顯著水平，因此，顯著水平越小，則犯第一類錯(cuò)誤的概率就越低】總而言之，一個(gè)直覺是當(dāng) F 值遠(yuǎn)大于零時(shí)我們應(yīng)該拒

27、絕原假設(shè)。多遠(yuǎn)才算遠(yuǎn)？設(shè)定臨界值 Fa(dfr - dfur,dfur)， 當(dāng) 我 們 依 據(jù) 樣 本 所 得 到 的 F值 落 在(Fa(dfr - dfur ,dfur ),+¥) 時(shí)，我們說“在 a 顯著水平下拒絕原假設(shè)”。筆記：在經(jīng)典線性模型假定及其原假設(shè)下，(RSSr - RSSur ) / d 2 與 RSSur / d 2 獨(dú)立嗎？只有兩者是獨(dú)立的，我們才能利用附錄 1 知識(shí)點(diǎn) 5。事實(shí)上，當(dāng)原假設(shè)為真時(shí)，(RSSr - RSSur )趨于 0，這并不依賴于 RSSur 的取值，因此，直觀看來，(RSSr - RSSur ) / d 2 與 RSSur / d 2應(yīng)該是

28、獨(dú)立的。Fsample同樣， 當(dāng)我們依據(jù)樣本得到值時(shí)， 我們也能夠依據(jù) F 分布表計(jì)算Pr(F筆記：³ F sample ) ，計(jì)量軟件包在 F 值后所給出的 P 值正是這個(gè)概率。利用 R2 指標(biāo)，F(xiàn) 統(tǒng)計(jì)量還被可以改寫為另外一種形式，即所謂的 R-平方型。R2 =1- RSSr ; R2=1- RSSur ;TSS= TSS，因此有：rTSSrurTSSurrurF = (RSSr - RSSur ) / (dfr - dfur )RSSur / dfur= (RSSr /TSS - RSSur / TSS)/ (dfr - dfur ) (RSSur / TSS)/ dfur(R

29、2 - R2)/(df- df)=urr(12rur- Rur) / dfur應(yīng)該注意到 R2 ³ R2 ，一個(gè)直觀的理解是，不受約束的樣本回歸模型由于更具彈性因此urr應(yīng)該擬合得更好。在實(shí)踐中，我們也許對(duì)原假設(shè) H0 :b1 = b2 = b3 = 0最感興趣。如果這個(gè)假設(shè)被拒絕，那么我們就說 x1、x2、x3 在統(tǒng)計(jì)上是聯(lián)合顯著的；如果不能被拒絕，則就說 x1、x2、x3 在統(tǒng)計(jì)上是聯(lián)合不顯著的。針對(duì)特定樣本，計(jì)量軟件一般會(huì)自動(dòng)計(jì)算出對(duì)應(yīng)于上述假設(shè)的F 值。練習(xí)：1、估計(jì)模型 yi = b0 + b1x1i +.+ bk xki +ei 并獲得 R2，針對(duì)原假設(shè)H0 :b1 =

30、. = bk = 0R2 / k(1- R2)/(N - k -1) 。， 請(qǐng) 推 導(dǎo) 出 R- 平 方 型 的 F統(tǒng) 計(jì) 量 ：2、如果利用 F 統(tǒng)計(jì)量檢驗(yàn)原假設(shè) H0 :b1 = b2 =.= bk = 0，證明有關(guān)系：- +R2 =1- N -1Nk1kF筆記：根據(jù)在原假設(shè) H0 :b1 = . = bk = 0 下的 R-平方型 F 統(tǒng)計(jì)量表達(dá)式可知，此時(shí)的 F 檢驗(yàn)實(shí)際上也是檢驗(yàn) R2 是否顯著不為 0。六、t 檢驗(yàn)與 F 檢驗(yàn)的聯(lián)系與區(qū)別（一）聯(lián)系對(duì)于模型：y = b0 + b1x1 +. + b jxj +. + bk xk +e現(xiàn)在我們對(duì)假設(shè) b j = 0進(jìn)行檢驗(yàn)，首選檢驗(yàn)方

31、法是 t 檢驗(yàn)，不過 F 檢驗(yàn)也是可行的?？梢宰C明，此時(shí)t2bj= F 。為簡單計(jì)，考慮簡單模型 yi = b0 + b1xi +ei ，我們對(duì) b1 是否為 0 感興趣。一方面可以進(jìn)行 t 檢驗(yàn)：RSSN - 2ur/(x - x)åi21t= b /b1另一方面也可以進(jìn)行 F 檢驗(yàn)：F = (RSSr - RSSur ) /(dfr - dfur ) = (TSS - RSSur ) /1 =ESSur0筆記：RSSur / dfurRSSur / N - 2RSSur / N - 2此時(shí)受約束模型是： yi= b0+ei，根據(jù)第一講相關(guān)知識(shí)點(diǎn)， b= y 。因此，rii iRS

32、S= å( y- y )2= å( y- y )2= TSSb接 下 來我們 闡 述證明 t2 = F1的 思路。 我 們實(shí)際 上 需要證 明 的是： b 2å(x - x)2 = ESSur 是否成立。由于 R2= ESSur，故需證明 1iurTSSb 2å(xi - x)2 = ESSur= R21TSSTSSur 是否成立。注意到：b 2å(x- x)2 =å(xi - x)( yi - y)2å(x- x)21iå(xi - x)2 i=å(xi - x)( yi - y)2å(xi

33、- x)2b 2å(xi - x)2 =å(xi - x)( yi - y)2因此，1，而TSSå(x - x)2å(y - y)2i ii iå(xi - x)( yi - y)2å(x- x)2å(y- y)2 是 x 與 y 的樣本相關(guān)系數(shù)的平方，按照第二講關(guān)于urR2 的相關(guān)結(jié)論，它與 R2相等。我們所證明的關(guān)系t2bj= F 是一個(gè)代數(shù)關(guān)系，問題是t2bj服從 F 分布嗎？根據(jù)附錄 1 知識(shí)點(diǎn) 4 與 5，一個(gè)服從 t(m)分布的隨機(jī)變量其平方一定服從 F(1,m)分布，進(jìn)而有：bPrt 2³ ta/2

34、(m) È t b2£ ta/2 (m) = a = Prt2b2³ Fa (1, m)因此 F 檢驗(yàn)與 t 檢驗(yàn)將得到完全相同的檢驗(yàn)結(jié)論。筆記：上述結(jié)論的一個(gè)應(yīng)用。對(duì)于模型 yi = b0 + b1x1i +.+ bk xki +ei ，通過前面的 練習(xí)，我 們知道 R2 N -1=1-N - k -1+ kF。 現(xiàn)在考慮 簡單模型： yi = b0 + b1x1i +ei ，則根據(jù)前面的結(jié)論有： R2 =1- N N -1，顯然，如2i果 t> 1，則 R2 > 0 。注意到對(duì)模型： y1= b0+ei- 2 + t b1，其調(diào)整的判定系數(shù)等于 0

35、（作b為一個(gè)練習(xí)請(qǐng)證明）。yi = b0 + b1x1i +ei 與 yi = b0 +ei 相比較，前者增加了一b個(gè)解釋變量，因此，其判定系數(shù)將大于等于后者的判定系數(shù)。然而，只有當(dāng) t 1> 1時(shí)，前者的調(diào)整的判定系數(shù)才會(huì)大于后者的調(diào)整的判定系數(shù)。這個(gè)結(jié)論可以推廣：在初始的線性模型上增加解釋變量，只有所增加變量所對(duì)應(yīng)的 t 值其絕對(duì)值大于 1 時(shí)（在計(jì)算該 t 值時(shí)所對(duì)應(yīng)的原假設(shè)是真實(shí)系數(shù)為 0），調(diào)整的判定系數(shù)才會(huì)增加（應(yīng)該注意到，t 值的絕對(duì)值大于 1并不意味著變量一定是顯著的）。（二）區(qū)別t 檢驗(yàn)關(guān)注的單個(gè)參數(shù)的取值問題，如果需要同時(shí)關(guān)注多個(gè)參數(shù)的取值問題，那么此時(shí)我們應(yīng)該利用

36、F 檢驗(yàn)。對(duì)于模型：yi = b0 + b1x1i + b2x2i + b3x3i +ei在實(shí)踐中，我們一方面可能對(duì) b j = 0是否成立感興趣，即關(guān)注單個(gè)解釋變量的顯著性，此時(shí)用到的是 t 檢驗(yàn)；另一方面，我們也可能對(duì) b1 = b2 = b3 = 0是否成立感興趣，即關(guān)注所有解釋變量的聯(lián)合顯著性，此時(shí)用到的是 F 檢驗(yàn)。應(yīng)該注意到，根據(jù)此時(shí)的 R-平方型 F 統(tǒng)計(jì)量表達(dá)式可知，我們實(shí)際上是在檢驗(yàn) R2 是否顯著不為 0，因此，關(guān)注所有解釋變量的聯(lián)合顯著性即關(guān)注整個(gè)模型的擬合程度。特別要注意的是，單個(gè)變量顯著并不意味著變量聯(lián)合顯著，反之亦然。筆記：與生活中的一種現(xiàn)象進(jìn)行類比：一種藥品包含兩

37、種成份，其中任何一種成份單獨(dú)看來其藥性都很強(qiáng)，但聯(lián)合時(shí)使用時(shí)可能并無藥效；另外一種情況是，其中任何一種成份單獨(dú)看來其藥性都很弱，但聯(lián)合時(shí)使用時(shí)藥品的藥效可能很大。七、補(bǔ)充知識(shí)點(diǎn)：相關(guān)系數(shù)的假設(shè)檢驗(yàn)（一）簡單相關(guān)系數(shù)的假設(shè)檢驗(yàn)我們想判斷隨機(jī)變量 x 與 y 的簡單相關(guān)系數(shù) r 是否為零。按照 Fisher，在假設(shè)體系：H 0 : r = 0n - 2H1 : r ¹ 01 - r 2sample下，當(dāng)原假設(shè)為真時(shí)， t =rsample: t(n - 2)【注： rsample 是樣本相關(guān)1系數(shù)】，現(xiàn)在我們考慮另外一種思路。建立回歸模型： y = b0 + b1x + e ，再考察 b

38、是否與 0 有顯著差異。bQ t21= F =R2n-2(1- R2)/(n-2)R2(1- R2)/(n-2)t=±=b1rsample1-r2sample上面最后一個(gè)等式之所以成立，首先是因?yàn)樵诤唵尉€性回歸模型中， R2等于 y 與 x 的樣1本簡單相關(guān)系數(shù)的平方，其次是因?yàn)楫?dāng)rsample 小于零時(shí)， b是負(fù)數(shù)，因此 t 值為正數(shù)；1當(dāng)rsample 大于零時(shí)， b是正數(shù)，因此 t 值為正數(shù)?？偟膩砜矗現(xiàn)isher 的方法與回歸檢驗(yàn)方法等價(jià)。換句話說，如果你試圖依據(jù)樣本判斷隨機(jī)變量 x 與y 的簡單相關(guān)系數(shù) r 是否為零，你可以建立簡單線性回歸模型然后對(duì)斜率系數(shù)進(jìn)1行 t 檢驗(yàn)

39、，如果 b與 0 有顯著差異，則可以拒絕 r 為 0 的原假設(shè)。（二）偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)x1 與x2 的簡單相關(guān)可能是由于兩變量分別與 x3 相關(guān)造成的。在控制了 x3 之后，x1 與x21 2 3還具有相關(guān)性嗎？在控制了 x3 之后，x1 與 x2 的相關(guān)關(guān)系被稱為偏相關(guān)，記為rx x .x 。如x1x2.x3何計(jì)算樣本偏相關(guān)系數(shù)rsample ？步驟：第一步：把 x1對(duì) x3 進(jìn)行回歸有：x1i = b+ bx i + vi（1）02 3第二步：把 x2 對(duì) x3 進(jìn)行回歸，即有：x2i =j0 +j2x3i + wi（2）å(wi - w)2å(vi - v)2=第

40、 三 步 ： 計(jì) 算 v與 w 的 樣 本 簡 單 相 關(guān) 系 數(shù) ， 有 ：rsample = rsample =åwi2åvi2å(wi - w)(vi - v)åwivix1x2.x3w v 當(dāng)然我們還可以利用變量間的樣本簡單相關(guān)系數(shù)來計(jì)樣本偏相關(guān)系數(shù)，這是因?yàn)榇嬖陉P(guān)系：rsample- rsamplersample(1-rsample 2x1x3 )(1-rsample2x2x3)x1x2.x3rsample = x1x2x1x3x2x3 ，其證明見附錄 3。我們還能檢驗(yàn)rsample 是否與0 有顯著差異。方法是對(duì)回歸模型：v=hw +ex1x

41、2.x3iii（注：不含截距，當(dāng)然你可以包含截距，但你會(huì)發(fā)現(xiàn)，截距的估計(jì)結(jié)果肯定為 0，這是因?yàn)?w 與v其均值都為零，而基于簡單線性回歸截距估計(jì)量的公式，這意味著截距估計(jì)量為 0），在原假設(shè)h =0下進(jìn)行 t 檢驗(yàn)。值得注意的是，此時(shí)自由度應(yīng)該是(N-2)-1=N-3 而不是 N-1!這是因?yàn)?w 與v的自由度是 N-2。利用上述檢驗(yàn)方法來檢驗(yàn) x1 與 x2 的偏相關(guān)關(guān)系顯得太復(fù)雜了，事實(shí)上基于回歸模型： x1i = a +b1x2i +b2x3i +ei ，在原假設(shè) H0 :b1 = 0 下進(jìn)行 t 檢驗(yàn)即可檢驗(yàn) x1與 x2 的偏相關(guān)關(guān)系。為什么呢？因?yàn)?b1 就是控制了 x3 后 x

42、2 對(duì) x1 的影響（在第六講，我們1將證明h =b ）。（二）復(fù)相關(guān)系數(shù)的假設(shè)檢驗(yàn)x1 與（x2，x3）的相關(guān)關(guān)系被稱為復(fù)相關(guān)，記為 R。如何計(jì)算樣本復(fù)相關(guān)系數(shù) Rsample ？基于回歸模型：x1i = a +b1x2i +b2x3i +ei ，計(jì)算 x1與 x1的樣本簡單相關(guān)系數(shù)，并取絕對(duì)值，則得到 x1 與（x2，x3）的樣本復(fù)相關(guān)系數(shù)。根據(jù)第一講， x1與 x1的樣本簡單相關(guān)系數(shù)的平方就是上述回歸的判定系數(shù) R2?；诨貧w模型： x1i = a +b1x2i +b2x3i +ei 在原假設(shè) H0 :b1 =b2 = 0下進(jìn)行 F 檢驗(yàn)，則等價(jià)于檢驗(yàn)原假設(shè)：復(fù)相關(guān)系數(shù) R=0 ?；貞浺?/p>

43、下，在原假設(shè)H :b = b= 0 下，F(xiàn) =R2 /2 R2=0012F=0。筆記：(1- R2)/(N -2-1) ，當(dāng)判定系數(shù)時(shí)，對(duì)于回歸模型： x1i = a +b1x2i +b2x3i +ei ，在原假設(shè) H0 :b1 = b2 = 0下進(jìn)行 F 檢驗(yàn)實(shí)際上是檢驗(yàn) x1 與（x2，x3）的復(fù)相關(guān)關(guān)系；在原假設(shè) H0 :b1 = 0下進(jìn)行 t檢驗(yàn)實(shí)際上是檢驗(yàn) x1 與 x2 的偏相關(guān)關(guān)系（控制了 x3）。附錄 1：正態(tài)分布、卡方分布、t 分布與 F 分布1. X 是期望值為u ，標(biāo)準(zhǔn)差為d 的隨機(jī)變量，則 X 所服從分布的偏度與峰度分別被定義為E( X - u)3S =d 3; K =

44、E( X - u)4d 42. 如果 X N (u,d 2 ) ，則 S = 0, K = 3 。另外，當(dāng) j 是奇數(shù)時(shí)， E( X - u) j = 0i.i.dn3. z N (0,1) Þ å z2 c 2 (n) ，則i inni=1E(c 2 (n) = E(å z2 ) = å E(z2 ) = nVar(z ) = nii ii=1i=1nnniii iVar(c 2 (n) = Var(å z2 ) = åVar(z2 ) =å Ez2 - E(z2 )2i=1i=1i=1nniiiii i= å

45、Ez4 + E2 (z2 ) - 2z2E(z2 ) =å E(z4 +1- 2z2 i=1nni=1i i= å E(z4 ) + n - 2å E(z2 ) = 3n + n - 2n = 2nz y nz N (0,1)üi=1i=1þ4. y c 2 (n) ý Þ t = tnyy2n2yyQ E( ) = 1,Var( ) =, limVar( ) = 0, p lim= 1,當(dāng)n ® ¥時(shí)t漸進(jìn)分布于N (0,1)。12nnn2n n®¥nn5. y c 2 , y c

46、2, 且兩者獨(dú)立，則 F =y1 / n1 F (n , n )1n12n2y2 / n212z2z2 /1 2t = ()y / n= y / n F (1, n) 。另外，當(dāng) n2 ®¥ 時(shí)， n1F 漸進(jìn)分布于 cn 。附錄 2： 區(qū)間預(yù)測(cè)假定真實(shí)模型是： y = b0 + b1x + e，模型滿足經(jīng)典線性模型假定。以 y f = b+ b x 作為對(duì) yf 的預(yù)測(cè)。此時(shí)預(yù)測(cè)誤差是：e1 =01f0y f - y f = (b0 - b) + (b1 - b)xf+ e f1 1(x - x f )2顯然，E(e )=0，Var(e ) = +1d 2 （參見第二講補(bǔ)充11Nå(x - x)2i知識(shí)點(diǎn) 2），e1 服從正態(tài)分布。即e1 - E(e1 ) =e1= y f - y f N (0,1)Sd (e1)Sd (e1)