逐步回歸分析

1、4.6 逐步回歸分析逐步回歸分析4.6.1最優(yōu)選擇的標(biāo)準(zhǔn)最優(yōu)選擇的標(biāo)準(zhǔn) 最優(yōu)回歸方程的含義： （1）方程中包含所有對因變量影響顯著的變量； （2）方程中所包含的自變量要盡可能地少。 設(shè)n為觀測樣本數(shù)， ,21mxxxX為所有自變量構(gòu)成的集合， liiixxxA,21為X的子集。 （1）均方誤差）均方誤差s2最小最小 1)(2lnASAsE達(dá)到最小 （2）預(yù)測均方誤差最?。╊A(yù)測均方誤差最小 ASlnlnAJE11)(達(dá)到最小 （3）pC統(tǒng)計量最小準(zhǔn)則統(tǒng)計量最小準(zhǔn)則 nlmnSASACEEp21達(dá)到最小 （4）AIC或或BIC準(zhǔn)則準(zhǔn)則 nlASAAICE2ln)( nnlASABICElnln)(

2、或 達(dá)到最小 （5）修正）修正2R準(zhǔn)則準(zhǔn)則)1 (122RlninR達(dá)到最大 4.6.2 選擇最優(yōu)回歸子集的方法選擇最優(yōu)回歸子集的方法（1）選擇最優(yōu)子集的簡便方法： 逐步篩選法（STEPWISE） 向前引入法或 前進(jìn)法（FORWARD） 向后剔除法或后退法（BACKWARD）（2）計算量最大的全子集法：R2選擇法（RSQUARE）Cp選擇法（CP）修正R2選擇法（ADJRSQ）。 最小R2增量法（MINR）最大R2增量法（MAXR）（3）計算量適中的選擇法： 4.6.3逐步回歸的基本思想與步驟逐步回歸的基本思想與步驟基本思想：逐個引入自變量，每次引入對y影響最顯著的自變量，并對方程中的老變量逐

3、個進(jìn)行檢驗，把變得不顯著的變量逐個從方程中剔除，最終的回歸方程中既不漏掉對y影響顯著的變量，又不包含對y影響不顯著的變量。4.6.3.1前進(jìn)法（前進(jìn)法（FORWARD）原理：原理：事先給定挑選自變量進(jìn)入方程的顯著性水平，按自變量對因變量y的貢獻(xiàn)由大到小依次挑選自變量進(jìn)入方程，直到方程外沒有顯著的自變量可引入為止。該方法的特點是：自變量一旦被選入，就永遠(yuǎn)保留在模型中。圖圖4.1 逐步回歸的基本步驟逐步回歸的基本步驟11211,mFFF112111,max1mkFFFF2111nFFFk，進(jìn)2111nFFFk，進(jìn)1kx1kx1x21,xx31,xxmxx ,122322,mFFF223222,ma

4、x2mkFFFF12122nFFFk，進(jìn)12122nFFFk，進(jìn)121,llxxxx221,llxxxxmlxxxx,21mllxxx,2111211,lmllllFFF112111,max1lmlllllkFFFFl) 1) 1(, 1 (11lnFFlkl) 1) 1(, 1 (11lnFFlkl1lkx4.6.3.2 后退法（后退法（BACKWARD）原理：原理：事先給定從方程中剔除自變量的顯著性水平，開始全部自變量都在模型中，然后按自變量對y的貢獻(xiàn)由小到大依次剔除，直至方程中沒有不顯著的變量可剔除為止。 該方法的特點是：自變量一旦被剔除，就不再進(jìn)入模型， 11211,mFFF11211

5、1,min1mkFFFF1111mnFFFk，出1111mnFFFk，出212221,mFFF2122212,min2mkFFFF1) 1(122mnFFFk，出1) 1(122mnFFFk，出11211,llmllFFF,min1121111llmlllkFFFFl1, 111lmnFFlkl1, 111lmnFFlkl1lkx1lkxlmx4.6.3.3 逐步篩選法逐步篩選法原理：原理： 該方法在前進(jìn)法的基礎(chǔ)上，引進(jìn)后退法的思想。即對每一個自變量隨著其對回歸方程貢獻(xiàn)的變化，隨時地引入或剔除模型，使得最終回歸方程中的變量對y的影響都是顯著的，而回歸方程外的變量對y的影響都是不顯著的，該方法即

6、通常所說的逐步回歸法。121021mymmmmymymmmssssssssssssSS21222221111211 jjjyjssV21 11)1(max1jmjkVV1kx 11111nSVFEk 111kTEVSS11, 11nFF11, 11nFF 11 mmS )1()1()1(2)1(1)1()1()1(2)1(1)1(2)1(2)1(22)1(21)1(1)1(1)1(12)1(111)1(1111mymmmmykmkkkymymmmssssssssssssssssS 111111111111111111111kjkisskjiskjkisssskjkissskkikkkkkjki

7、kijkkikij，當(dāng)當(dāng)，當(dāng)，當(dāng)其中 11mmS 22iyiiisVs1kx )1(2)1(21111kkykkssV 212(2)maxkjj kVV一切 12222nSVFEk 222kTEVSS12, 11nFF12, 11nFF2kx 11 mmS 21 mmS 22222122222122222222212121212211212222mymmmmykmkkkymymmmssssssssssssssssS 221121221111221122222222222221kjkisskjiskjkisssskjkissskkikkkkkjkikijkkjkij，當(dāng)當(dāng)，當(dāng)，當(dāng)22 lES l

8、mylmmlmlmlyklmklklklylmlllylmlllmmssssssssssssssssS212122222111121112222 2112liyiliililiyiliisxsVsxs（ 不在模型中）（ 在模型中）1)1(minljjlkVV一切已入選的1)1(1pnSVFlElk11lkTlEVSS1, 12pnFF1, 12pnFF1)1(maxljjlkVV一切未入選的11(1)1lklTkVFSVnp11,1 1FFnp 11,1 1FFnp lmmS111lmmS22221111111211111121222211111112111(1)12llllmyllllmylmmllllkkk mk yllllmmmmmyssssssssSssssssss kjkisskjiskjkisssskjkissslkkliklkklkklkjliklijlkklkjlij，當(dāng)當(dāng)，當(dāng)，當(dāng)114.7 可化為線性回歸的曲線回歸可化為線性回歸的曲線回歸（1）對于雙曲線型函數(shù)：）對于雙曲線型函數(shù)： xbayxt1btay（2）冪函數(shù)型）冪函數(shù)型 ：baxy xbaylnlnlnyzlnxtln冪函數(shù)圖形 （3）指數(shù)曲線