回歸方程及回歸系數(shù)的顯著性檢驗(yàn)

1、§3 回歸方程及回歸系數(shù)的顯著性檢驗(yàn)、回歸方程的顯著性檢驗(yàn)(1) 回歸平方和與剩余平方和建立回歸方程以后, 回歸效果如何呢？因變量與自變量是否確實(shí)存在線性關(guān)系呢？這是需要進(jìn)行統(tǒng)計(jì)檢驗(yàn)才能加以肯定或否定, 為此, 我們要進(jìn)一步研究因變量取值的變化規(guī)律。的每次取值是有波動(dòng)的, 這種波動(dòng)常稱為變差, 每次觀測值的變差大小, 常用該次觀側(cè)值與次觀測值的平均值的差(稱為離差)來表示, 而全部次觀測值的總變差可由總的離差平方和,其中:稱為回歸平方和, 是回歸值與均值之差的平方和, 它反映了自變量的變化所引起的的波動(dòng), 其自由度(為自變量的個(gè)數(shù))。稱為剩余平方和(或稱殘差平方和), 是實(shí)測值與回歸

2、值之差的平方和, 它是由試驗(yàn)誤差及其它因素引起的, 其自由度?？偟碾x差平方和的自由度為。如果觀測值給定, 則總的離差平方和是確定的, 即是確定的, 因此大則小, 反之, 小則大, 所以與都可用來衡量回歸效果, 且回歸平方和越大則線性回歸效果越顯著, 或者說剩余平方和越小回歸效果越顯著, 如果0, 則回歸超平面過所有觀測點(diǎn); 如果大, 則線性回歸效果不好。(2) 復(fù)相關(guān)系數(shù)為檢驗(yàn)總的回歸效果, 人們也常引用無量綱指標(biāo), (3.1)或, (3.2)稱為復(fù)相關(guān)系數(shù)。因?yàn)榛貧w平方和實(shí)際上是反映回歸方程中全部自變量的“方差貢獻(xiàn)”, 因此就是這種貢獻(xiàn)在總回歸平方和中所占的比例, 因此表示全部自變量與因變量

3、的相關(guān)程度。顯然。復(fù)相關(guān)系數(shù)越接近, 回歸效果就越好, 因此它可以作為檢驗(yàn)總的回歸效果的一個(gè)指標(biāo)。但應(yīng)注意, 與回歸方程中自變量的個(gè)數(shù)及觀測組數(shù)有關(guān), 當(dāng)相對于并不很大時(shí), 常有較大的值, 因此實(shí)際計(jì)算中應(yīng)注意與的適當(dāng)比例, 一般認(rèn)為應(yīng)取至少為的到10倍為宜。(3) 檢驗(yàn)要檢驗(yàn)與是否存在線性關(guān)系, 就是要檢驗(yàn)假設(shè), (3.3)當(dāng)假設(shè)成立時(shí), 則與無線性關(guān)系, 否則認(rèn)為線性關(guān)系顯著。檢驗(yàn)假設(shè)應(yīng)用統(tǒng)計(jì)量, (3.4)這是兩個(gè)方差之比, 它服從自由度為及的分布, 即, (3.5)用此統(tǒng)計(jì)量可檢驗(yàn)回歸的總體效果。如果假設(shè)成立, 則當(dāng)給定檢驗(yàn)水平下, 統(tǒng)計(jì)量應(yīng)有, (3.6)對于給定的置信度, 由分布表

4、可查得的值, 如果根據(jù)統(tǒng)計(jì)量算得的值為, 則拒絕假設(shè), 即不能認(rèn)為全部為O, 即個(gè)自變量的總體回歸效果是顯著的, 否則認(rèn)為回歸效果不顯著。利用檢驗(yàn)對回歸方程進(jìn)行顯著性檢驗(yàn)的方法稱為方差分析。上面對回歸效果的討論可歸結(jié)于一個(gè)方差分析表中, 如表3.1。表3.1 方差分析表來 源平方和自由度方 差方差比回 歸剩 余總 計(jì)根據(jù)與的定義, 可以導(dǎo)出與的以下關(guān)系:,。利用這兩個(gè)關(guān)系式可以解決值多大時(shí)回歸效果才算是顯著的問題。因?yàn)閷o定的檢驗(yàn)水平, 由分布表可查出的臨界值, 然后由即可求出的臨界值:, (3.7)當(dāng)時(shí), 則認(rèn)為回歸效果顯著。例3.1 利用方差分析對例2.1的回歸方程進(jìn)行顯著性檢驗(yàn)。方差分析

5、結(jié)果見表3.2。表3.2總 計(jì)取檢驗(yàn)水平0.05, 查分布表得, 而, 所以例2.1的回歸方程回歸效果是顯著的。、回歸系數(shù)的顯著性檢驗(yàn)前面討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說明每個(gè)自變量對因變量都是重要的, 即可能有某個(gè)自變量對并不起作用或者能被其它的的作用所代替, 因此對這種自變量我們希望從回歸方程中剔除, 這樣可以建立更簡單的回歸方程。顯然某個(gè)自變量如果對作用不顯著, 則它的系數(shù)就應(yīng)取值為0, 因此檢驗(yàn)每個(gè)自變量是否顯著, 就要檢驗(yàn)假設(shè):, , (3.8)(1) 檢驗(yàn):在假設(shè)下, 可應(yīng)用檢驗(yàn):, , (3.9)其中為矩陣的對角線上第個(gè)元素。對給定的檢驗(yàn)水平,

6、 從分布表中可查出與對應(yīng)的臨界值, 如果有, 則拒絕假設(shè), 即認(rèn)為與0有顯著差異, 這說明對有重要作用不應(yīng)剔除; 如果有則接受假設(shè), 即認(rèn)為成立, 這說明對不起作用, 應(yīng)予剔除。(2) 檢驗(yàn):檢驗(yàn)假設(shè), 亦可用服從自由度分別為1與的分布的統(tǒng)計(jì)量, (3.10)其中為矩陣的主對角線上第個(gè)元素。對于給定的檢驗(yàn)水平, 從分布表中可查得臨界, 如果有, 則拒絕假設(shè), 認(rèn)為對有重要作用。如果, 則接受假設(shè), 即認(rèn)為自變量對不起重要作用, 可以剔除。一般一次檢驗(yàn)只剔除一個(gè)自變量, 且這個(gè)自變量是所有不顯著自變量中值最小者, 然后再建立回歸方程, 并繼續(xù)進(jìn)行檢驗(yàn), 直到建立的回歸方程及各個(gè)自變量均顯著為止。

7、最后指出, 上述對各自變量進(jìn)行顯著性檢驗(yàn)采用的兩種統(tǒng)計(jì)量與實(shí)際上是等價(jià)的, 因?yàn)橛?3.9)式及(3.10)式知, 有 (3.11)例3.2 對例2.1的回歸方程各系數(shù)進(jìn)行顯著性檢驗(yàn)。經(jīng)計(jì)算:,于是,其中0.002223, 0.004577。由(3.7)式知,查分布表得, , 因?yàn)? , 所以兩個(gè)自變量及都是顯著的。又由, 說明體長比胸圍對體重的影響更大。如果應(yīng)用檢驗(yàn), 查分布表有, 又由,因?yàn)? , 因此及都是顯著的, 均為重要變量, 應(yīng)保留在回歸方程中。(3) 偏回歸平方和檢驗(yàn)?zāi)骋蛔宰兞渴欠耧@著, 還可應(yīng)用偏回歸平方和進(jìn)行檢驗(yàn)。個(gè)自變量的回歸平方和為,如果自個(gè)自變量中去掉, 則剩下的個(gè)自變量的回歸平方和設(shè)為, 并設(shè),則就表示變量在回歸平方和中的貢獻(xiàn), 稱為的偏回歸平方和或貢獻(xiàn)?？梢宰C明, (3.12)偏回歸平方和越大, 說明在回歸方程中越重要, 對的作用和影響越大, 或者說對回歸方程的貢獻(xiàn)越大。因此偏回歸平方和也是用來衡量每個(gè)自變量在回歸方程中作用大小(貢獻(xiàn)大小)的一個(gè)指標(biāo)。例如在