第六章回歸分析

1、數(shù)學(xué)建?；A(chǔ)數(shù)學(xué)建?；A(chǔ)青島科技大學(xué)數(shù)理學(xué)院王天順2012年04月回歸分析回歸分析回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個問題：回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個問題：（i）建立因變量）建立因變量y與自變量與自變量x , x , , xm 1 2 L 之間的回之間的回歸模型（經(jīng)驗(yàn)公式）；歸模型（經(jīng)驗(yàn)公式）；（ii）對回歸模型的可信度進(jìn)行檢驗(yàn)；）對回歸模型的可信度進(jìn)行檢驗(yàn)；（iii）判斷每個自變量）判斷每個自變量x (i 1,2, ,m) i = L 對對y 的影響是的影響是否顯著；否顯著；（iv）診斷回歸模型是否適合這組數(shù)據(jù)；）診斷回歸模型是否適合這組數(shù)據(jù)；（v）利用回歸模型對）利用回歸模型

2、對y 進(jìn)行預(yù)報或控制。進(jìn)行預(yù)報或控制。回歸分析回歸分析數(shù)學(xué)模型及定義數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)模型參數(shù)估計(jì)* *檢驗(yàn)、預(yù)測與控制檢驗(yàn)、預(yù)測與控制可線性化的一元非線可線性化的一元非線性回歸（曲線回歸性回歸（曲線回歸）數(shù)學(xué)模型及定義數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)模型參數(shù)估計(jì)*多元線性回歸中的多元線性回歸中的檢驗(yàn)與預(yù)測檢驗(yàn)與預(yù)測逐步回歸分析逐步回歸分析一、數(shù)學(xué)模型一、數(shù)學(xué)模型例例1 測16名成年女子的身高與腿長所得數(shù)據(jù)如下：身高143145146147149150153154155156157158159160162164腿長8885889192939395969897969899100102以身高

3、x為橫坐標(biāo)，以腿長y為縱坐標(biāo)將這些數(shù)據(jù)點(diǎn)（xI，yi）在平面直角坐標(biāo)系上標(biāo)出.1401451501551601658486889092949698100102散點(diǎn)圖xy10 一般地，稱由xy10確定的模型為一一元元線線性性回回歸歸模模型型，記為 210, 0DExy固定的未知參數(shù)0、1稱為回歸系數(shù)，自變量 x 也稱為回歸變量.一元線性回歸分析的主要任務(wù)主要任務(wù)是：1、用試驗(yàn)值（樣本值）對0、1和作點(diǎn)估計(jì)；2、對回歸系數(shù)0、1作假設(shè)檢驗(yàn)； 3、在 x=0 x處對 y 作預(yù)測，對 y 作區(qū)間估計(jì).xY10，稱為 y 對對 x的的回回歸歸直直線線方方程程.二、模型參數(shù)估計(jì)二、模型參數(shù)估計(jì)1、回歸系數(shù)

4、的最小二乘估計(jì)、回歸系數(shù)的最小二乘估計(jì)有 n 組獨(dú)立觀測值， （x1，y1） ， （x2，y2） ， （xn，yn） 設(shè) 相互獨(dú)立且，niiiiDEnixy., , 0,.,2 , 1,21210 記 niiiniixyQQ12101210),(最小二乘法最小二乘法就是選擇0和1的估計(jì)0，1使得 ),(min),(10,1010QQ22110 xxyxxyxy解得（經(jīng)經(jīng)驗(yàn)驗(yàn)）回回歸歸方方程程為為: )(110 xxyxy 或 niiniiixxyyxx1211其中niiniiynyxnx111,1 niiiniiyxnxyxnx11221,12、2的的無無偏偏估估計(jì)計(jì)一個好的擬合方程，其殘差應(yīng)

5、越小越好。殘差越小，擬合值與觀測值越接近，各觀測點(diǎn)在擬合直線周圍聚集的緊密程度越高，也就是說，擬合方程 解釋y 的能力越強(qiáng)。另外，當(dāng)剩余標(biāo)準(zhǔn)差 越小時，還說明殘差值的變異程度越小。由于殘差的樣本均值為零。所以，其離散范圍越小，擬合的模型就越為精確。三、檢驗(yàn)、預(yù)測與控制三、檢驗(yàn)、預(yù)測與控制1、顯著性檢驗(yàn)、顯著性檢驗(yàn)假設(shè)0:10H被拒絕，則回歸顯著，認(rèn)為 y 與 x 存在線性關(guān)系，所求的線性回歸方程有意義；否則回歸不顯著，y 與 x 的關(guān)系不能用一元線性回歸模型來描述，所得的回歸方程也無意義.一般地，回歸方程的假設(shè)檢驗(yàn)包括兩個方面：一個是對模型的檢驗(yàn)，即檢驗(yàn)自變量與因變量之間的關(guān)系能否用一個線性模

6、型來表示，這是由F 檢驗(yàn)來完成的；另一個檢驗(yàn)是關(guān)于回歸參數(shù)的檢驗(yàn)，即當(dāng)模型檢驗(yàn)通過后，還要具體檢驗(yàn)每一個自變量對因變量的影響程度是否顯著。這是由t 檢驗(yàn)完成。在一元線性分析中，由于自變量的個數(shù)只有一個，這兩種檢驗(yàn)是統(tǒng)一的，它們的效果完全是等價的。但是，在多元線性回歸分析中，這兩個檢驗(yàn)的意義是不同的。從邏輯上說，一般常在F 檢驗(yàn)通過后，再進(jìn)一步進(jìn)行t 檢驗(yàn)。（）F檢驗(yàn)法檢驗(yàn)法 當(dāng)0H成立時， )2/( nQUFeF（1，n-2）其中 niiyyU12（回回歸歸平平方方和和）故 F)2, 1 (1nF，拒絕0H，否則就接受0H. （）t檢驗(yàn)法檢驗(yàn)法niiniixxxnxxxL12212)(其中當(dāng)0

7、H成立時，exxLT1t（n-2）故)2(21ntT，拒絕0H，否則就接受0H.（）r檢驗(yàn)法檢驗(yàn)法當(dāng)|r| r1-時，拒絕H0；否則就接受H0.記 niniiiniiiyyxxyyxxr11221)()()(其中2, 121111nFnr2、回歸系數(shù)的置信區(qū)間、回歸系數(shù)的置信區(qū)間0和和1置置信信水水平平為為1-的的置置信信區(qū)區(qū)間間分分別別為為 xxexxeLxnntLxnnt221022101)2(,1)2(和 xxexxeLntLnt/)2(,/)2(2112113、預(yù)測與控制、預(yù)測與控制（1）預(yù)測）預(yù)測用 y0的回歸值0100 xy作為 y0的的預(yù)預(yù)測測值值.0y的置信水平為1的預(yù)預(yù)測測區(qū)

8、區(qū)間間為 )(),(0000 xyxy其中xxeLxxnntx2021011)2()( 特 別 ， 當(dāng) n 很 大 且 x0在x附 近 取 值 時 ,y 的 置 信 水 平 為1的預(yù)預(yù) 測測 區(qū)區(qū) 間間 近近 似似 為為 2121,uyuyee（2）控制）控制要求：xy10的值以1的概率落在指定區(qū)間yy ,只要控制 x 滿足以下兩個不等式 yxyyxy )(,)(要求)(2xyy .若yxyyxy )(,)(分別有解x和x ，即yxyyxy )(,)(. 則xx ,就是所求的 x 的控制區(qū)間.四、可線性化的一元非線性回歸四、可線性化的一元非線性回歸 （曲線回歸）（曲線回歸）例例2 出鋼時所用的

9、盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕， 容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān) 系.對一鋼包作試驗(yàn)，測得的數(shù)據(jù)列于下表：使用次數(shù)增大容積使用次數(shù)增大容積234567896.428.209.589.509.7010.009.939.991011121314151610.4910.5910.6010.8010.6010.9010.7624681012141666.577.588.599.51010.511散點(diǎn)圖此即非線性回歸非線性回歸或曲線回歸曲線回歸 問題（需要配曲線）配曲線的一般方法是：配曲線的一般方法是：先對兩個變量 x 和 y 作n 次試驗(yàn)觀察得niyxii,.,2 ,

10、1),(畫出散點(diǎn)圖，根據(jù)散點(diǎn)圖確定須配曲線的類型.然后由 n 對試驗(yàn)數(shù)據(jù)確定每一類曲線的未知參數(shù) a 和 b.采用的方法是通過變量代換把非線性回歸化成線性回歸，即采用非線性回歸線性化的方法.通常選擇的六類曲線如下：（1）雙雙曲曲線線xbay1（2）冪冪函函數(shù)數(shù)曲曲線線y=abx, 其中 x0,a0（3）指指數(shù)數(shù)曲曲線線 y=abxe其中參數(shù) a0.（4）倒倒指指數(shù)數(shù)曲曲線線 y=axbe/其中 a0，（5）對對數(shù)數(shù)曲曲線線y=a+blogx,x0（6）S型型曲曲線線xbeay1解例2.由散點(diǎn)圖我們選配倒指數(shù)曲線y=axbe/根據(jù)線性化方法，算得4587. 2,1107. 1Ab由此 6789.

11、11Aea最后得 xey1107. 16789.11一、數(shù)學(xué)模型及定義一、數(shù)學(xué)模型及定義nyyY.1，nknnkkxxxxxxxxxX.1.1.1212222111211，k.10，n.21kkxxy.110稱為回回歸歸平平面面方方程程. 二、模型參數(shù)估計(jì)二、模型參數(shù)估計(jì)1、對對i和和2作作估估計(jì)計(jì) 得到的i代入回歸平面方程得： kkxxy.110稱為經(jīng)經(jīng)驗(yàn)驗(yàn)回回歸歸平平面面方方程程.i稱為經(jīng)經(jīng)驗(yàn)驗(yàn)回回歸歸系系數(shù)數(shù).解得估計(jì)值 YXXXTT12、 多多 項(xiàng)項(xiàng) 式式 回回 歸歸設(shè)變量 x、Y的回歸模型為 ppxxxY.2210其中 p 是已知的，), 2 , 1(pii是未知參數(shù)，服從正態(tài)分布)

12、, 0(2N. 令iixx ，i=1，2，k 多項(xiàng)式回歸模型變?yōu)槎嘣€性回歸模型. kkxxxY.2210稱為回歸多項(xiàng)式回歸多項(xiàng)式.上面的回歸模型稱為多項(xiàng)式回歸多項(xiàng)式回歸.三、多元線性回歸中的檢驗(yàn)與預(yù)測三、多元線性回歸中的檢驗(yàn)與預(yù)測假設(shè) 0.:100kH （）線性模型檢驗(yàn)）線性模型檢驗(yàn)F檢驗(yàn)法檢驗(yàn)法（）回歸系數(shù)檢驗(yàn)）回歸系數(shù)檢驗(yàn)t檢驗(yàn)法檢驗(yàn)法 niiieyyQ12)(殘差平方和）殘差平方和）2、預(yù)測、預(yù)測（1）點(diǎn)預(yù)測）點(diǎn)預(yù)測求出回歸方程kkxxy.110，對于給定自變量的值kxx ,.,*1，用*110*.kkxxy來預(yù)測*110.kkxxy.稱* y為*y的點(diǎn)預(yù)測.（2）區(qū)間預(yù)測）區(qū)間預(yù)測y

13、 的1的預(yù)測區(qū)間（置信）區(qū)間為),(21yy,其中) 1(1) 1(12/10022/1001kntxxcyykntxxcyykikjjiijekikjjiijeC=L-1=(cij), L=XX1knQee四、逐步回歸分析四、逐步回歸分析（4）“有進(jìn)有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個變量開始，把變量逐個引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法： “最優(yōu)最優(yōu)”的回歸方程的回歸方程就是包含所有對Y有影響的變量, 而不包含對Y影響不顯著的變量回歸方程。 以第四種方法，即逐步回歸分析法

14、逐步回歸分析法在篩選變量方面較為理想. 這個過程反復(fù)進(jìn)行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時為止。逐步回歸分析法逐步回歸分析法的思想： 從一個自變量開始，視自變量Y作用的顯著程度，從大到地依次逐個引入回歸方程。 當(dāng)引入的自變量由于后面變量的引入而變得不顯著時，要將其剔除掉。 引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。 對于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對Y作用顯著的變量。1、多元線性回歸、多元線性回歸2、多項(xiàng)式回歸、多項(xiàng)式回歸3、非線性回歸、非線性回歸4、逐步回歸、逐步回歸多元線性回歸多元線性回歸 b=

15、regress( Y, X )npnnppxxxxxxxxxX.1.1.1212222111211nYYYY.21pb.101、確定回歸系數(shù)的點(diǎn)估計(jì)值：確定回歸系數(shù)的點(diǎn)估計(jì)值：ppxxy.110對一元線性回歸，取 p=1 即可3、畫出殘差及其置信區(qū)間：畫出殘差及其置信區(qū)間： rcoplot（r，rint）2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個數(shù)值：相關(guān)系數(shù)r2、F值、與F對應(yīng)的概率p置信區(qū)間 顯著性水平（

16、缺省時為0.05） 相關(guān)系數(shù) r2越接近 1，說明回歸方程越顯著； F F1-（k，n-k-1）時拒絕 H0，F(xiàn) 越大，說明回歸方程越顯著； 與 F 對應(yīng)的概率 p時拒絕 H0，回歸模型成立.例例1 解：解：1、輸入數(shù)據(jù)：輸入數(shù)據(jù)： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回歸分析及檢驗(yàn)：回歸分析及檢驗(yàn)： b,bint,r,rint,stats=regress(Y

17、,X) b,bint,stats3、殘差分析，作殘差圖：、殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出，除第二個數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點(diǎn)均較近，且殘差的置信區(qū)間均包含零點(diǎn)，這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個數(shù)據(jù)可視為異常點(diǎn). 4、預(yù)測及作圖：、預(yù)測及作圖：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)246810121416-5-4-3-2-101234Residual Case Order PlotResidualsCase Number多多 項(xiàng)項(xiàng) 式式 回回 歸歸 （一）一元多項(xiàng)式回歸（一）一元多

18、項(xiàng)式回歸 （1）確定多項(xiàng)式系數(shù)的命令：p，S=polyfit（x，y，m） 其中 x=（x1，x2，xn） ，y=（y1，y2，yn） ；p=（a1，a2，am+1）是多項(xiàng)式 y=a1xm+a2xm-1+amx+am+1的系數(shù)；S 是一個矩陣，用來估計(jì)預(yù)測誤差.（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：、回歸：y=a1xm+a2xm-1+amx+am+12、預(yù)測和預(yù)測誤差估計(jì)：、預(yù)測和預(yù)測誤差估計(jì)：（1）Y=polyval（p，x）求polyfit所得的回歸多項(xiàng)式在x處 的預(yù) 測值Y； （2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得

19、 的回歸多項(xiàng)式在x處的預(yù)測值Y及預(yù)測值的顯著性為1- alpha的置信區(qū)間Y DELTA；alpha缺省時為0.5. 例例 2 觀測物體降落的距離s 與時間t 的關(guān)系，得到數(shù)據(jù)如下表，求s關(guān)于 t 的回歸方程2ctbtas.t (s)1/302/303/304/305/306/307/30s (cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48法一法一 直接作二次多項(xiàng)式回歸：直接作二次多項(xiàng)式回歸： t=1/

20、30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2)1329. 98896.652946.4892tts得回歸模型為 ：法二法二化為多元線性回歸：化為多元線性回歸：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1) t

21、 (t.2);b,bint,r,rint,stats=regress(s,T);b,stats22946.4898896.651329. 9tts得回歸模型為 ：Y=polyconf(p,t,S) plot(t,s,k+,t,Y,r)預(yù)測及作圖預(yù)測及作圖（二）多元二項(xiàng)式回歸（二）多元二項(xiàng)式回歸命令：rstool（x，y，model, alpha）nm矩陣顯著性水平（缺省時為0.05）n維列向量由下列 4 個模型中選擇 1 個（用字符串輸入，缺省時為線性模型）： linear（線性）：mmxxy 110 purequadratic（純二次）： njjjjmmxxxy12110 interacti

22、on（交叉）： mkjkjjkmmxxxxy1110 quadratic（完全二次）： mkjkjjkmmxxxxy,1110 例例3 設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價格的統(tǒng)計(jì)數(shù) 據(jù)如下，建立回歸模型，預(yù)測平均收入為1000、價格為6時 的商品需求量.需求量10075807050659010011060收入10006001200500300400130011001300300價格5766875439選擇純二次模型，即 2222211122110 xxxxy法一法一 直接用多元二項(xiàng)式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x

23、2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2; rstool(x,y,purequadratic) 在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。 則畫面左邊的“Predicted Y”下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測出平均收入為1000、價格為6時的商品需求量為88.4791.在Matlab工作區(qū)中輸入命令： beta, rmse得結(jié)果：beta = 110.5313 0.1

24、464 -26.5709 -0.0001 1.8475 rmse = 4.5362故回歸模型為：2221218475. 10001. 05709.261464. 05313.110 xxxxy剩余標(biāo)準(zhǔn)差為 4.5362, 說明此回歸模型的顯著性較好.X=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,X);b,stats結(jié)果為: b = 110.5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0005法二法二 2222211122110 xxxxy

25、將 化為多元線性回歸：非線性回非線性回 歸歸 （1）確定回歸系數(shù)的命令： beta，r，J=nlinfit（x，y，model, beta0）（2）非線性回歸命令：nlintool（x，y，model, beta0，alpha）1、回歸：、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計(jì)出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為 矩陣和n維列向量，對一元非線性回歸，x為n維列向量。mn2、預(yù)測和預(yù)測誤差估計(jì)：、預(yù)測和預(yù)測誤差估計(jì)：Y，DELTA=nlpredci（model, x，beta，r，J）求nlinfit 或nlintool所得的回歸函數(shù)在x處的預(yù)測值Y及預(yù)測值

26、的顯著性為1-alpha的置信區(qū)間Y DELTA.例例 4 對第一節(jié)例2，求解如下：1、對將要擬合的非線性模型 y=axbe/，建立 m-文件 volum.m 如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x);2、輸入數(shù)據(jù)： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;3、求回歸系數(shù)： beta,r ,J=nlinfit(x,y,volum,beta0)； beta得結(jié)果

27、：beta = 11.6036 -1.0641即得回歸模型為：xey10641. 16036.11逐逐 步步 回回 歸歸逐步回歸的命令是： stepwise（x，y，inmodel，alpha） 運(yùn)行stepwise命令時產(chǎn)生三個圖形窗口：Stepwise Plot，Stepwise Table，Stepwise History. 在Stepwise Plot窗口，顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間. Stepwise Table 窗口中列出了一個統(tǒng)計(jì)表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對應(yīng)的概率P.矩陣的列數(shù)的指標(biāo)，給出

28、初始模型中包括的子集（缺省時設(shè)定為全部自變量）顯著性水平（缺省時為0.5）自變量數(shù)據(jù), 階矩陣mn因變量數(shù)據(jù)， 階矩陣1n例例6 水泥凝固時放出的熱量y與水泥中4種化學(xué)成分x1、x2、x3、 x4 有關(guān)，今測得一組數(shù)據(jù)如下，試用逐步回歸法確定一個 線性模 型. 序號12345678910111213x17111117113122111110 x226295631525571315447406668x3615886917221842398x46052204733226442226341212y78.574.3104.387.695.9109.2102.772.593.1115.983.8113.

29、3109.41、數(shù)據(jù)輸入：、數(shù)據(jù)輸入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;2、逐步回歸：、逐步回歸：（1）先在初始模型中取全部自變量：）先在初始模型中取全部自變量： stepwise(x,y)得圖Stepwise Plot 和表Stepwise Table圖圖Stepwise Plot中四條直線都是虛中四條直線都是虛線，說明模型的顯著性不好線，說明模型的顯著性不好從表從表Stepwise Table中看出變中看出變量量x3和和x4的顯著性