總結(jié)：線性回歸分析的基本步驟

1、線性回歸分析的基本步驟步驟一、建立模型知識(shí)點(diǎn)：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程 總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關(guān)系 的計(jì)量模型。Y = X 1 U特點(diǎn)：由于隨機(jī)誤差項(xiàng) U的存在，使得 Y和X不在一條直線/平面上。例1:某鎮(zhèn)共有60個(gè)家庭，經(jīng)普查，60個(gè)家庭的每周收入（X）與每周 消費(fèi)（Y）數(shù)據(jù)如下：每周收入（X）每周消費(fèi)支出（Y）80556065707510065707480858812079849094981408093951031081131151601021071101161181251801101151201301351402001

2、20136140144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點(diǎn)圖如下:200180160140Y 120 -10080604080120160200240280 總體回歸方程（線）：由于假定EU = 0，因此因變量的均值與自變量 總處于一條直線上，這條直線E Y|X - Xi就稱為總體回歸線（方程） 總體回歸方程的求法：以例 1的數(shù)據(jù)為例1）對(duì)第一個(gè)Xi，求出E（YXi）。每周收入（X）每周消費(fèi)支出（Y）E(Y|Xi)80556065707565100657074808588771

3、20798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于E Yj|Xi八°Xj，因此任意帶入兩個(gè) Xi和其對(duì)應(yīng)的E（Y|Xi）值， 即可求出飛和:i，并進(jìn)而得到總體回歸方程。如 將 X 100,E Y2 |X2 - 77和X 200,E Y7 | X7 - 137 代 入

4、E Yi|Xj 二 o Xi 可得:77= o 100 1 = o = 17 137=0200 r廠 0.6X以上求出飛和:1反映了 E（Y|Xi）和Xi之間的真實(shí)關(guān)系，即所求的總體回歸 方程為：E Yi |Xi =17 06Xj，其圖形為：X 樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數(shù)據(jù)。如在例1中，通過抽樣考察，我們得到了 20個(gè)家庭的樣本數(shù)據(jù):每周收入（X）每周消費(fèi)支出（Y)8055100657012079841408093160102107110180110200120136220135137240137145260150152175那么描述樣本數(shù)據(jù)中因變量Y和自變量X

5、之間非確定依賴關(guān)系的模型X ? e就稱為樣本回歸模型。 樣本回歸方程（線）：通過樣本數(shù)據(jù)估計(jì)出 ?，得到樣本觀測(cè)值的擬合 值與解釋變量之間的關(guān)系方程 Y?二X ?稱為樣本回歸方程。如下圖所示： 四者之間的關(guān)系：i：總體回歸模型建立在總體數(shù)據(jù)之上， 它描述的是因變量 Y和自變量X之間的真實(shí)的非確定型依賴關(guān)系；樣本回歸模型建立在抽樣數(shù)據(jù)基礎(chǔ)之上，它描述的是因變量 Y和自變量X之間的近似于真實(shí)的非確定型依賴關(guān)系。這種近似表現(xiàn)在兩個(gè)方面：一是結(jié)構(gòu)參數(shù)?是其真實(shí)值1的一種近似估計(jì)；二是殘差 e是隨機(jī)誤差項(xiàng)u的一個(gè)近似估計(jì)；丘：總體回歸方程是根據(jù)總體數(shù)據(jù)得到的，它描述的是因變量的條件均值E(Y|X)與自變

6、量X之間的線性關(guān)系；樣本回歸方程是根據(jù)抽樣數(shù)據(jù)得到 的，它描述的是因變量 Y樣本預(yù)測(cè)值的擬合值Y?與自變量X之間的線性 關(guān)系。iii：回歸分析的目的是試圖通過樣本數(shù)據(jù)得到真實(shí)結(jié)構(gòu)參數(shù)一：的估計(jì)值，并要求估計(jì)結(jié)果 ?足夠接近真實(shí)值1。由于抽樣數(shù)據(jù)有多種可能，每一 次抽樣所得到的估計(jì)值 ?都不會(huì)相同，即-的估計(jì)量?是一個(gè)隨機(jī)變量。 因此必須選擇合適的參數(shù)估計(jì)方法，使其具有良好的統(tǒng)計(jì)性質(zhì)。2、隨機(jī)誤差項(xiàng)U存在的原因： 非重要解釋變量的省略 人的隨機(jī)行為 數(shù)學(xué)模型形式欠妥 歸并誤差(如一國GDP的計(jì)算) 測(cè)量誤差等3、多元回歸模型的基本假定 隨機(jī)誤差項(xiàng)的期望值為零 E(UiH 0 隨機(jī)誤差項(xiàng)具有同方差

7、性 Var(Uip -2 i = 1,2,，n 隨機(jī)誤差項(xiàng)彼此之間不相關(guān) Cov(*,Uj) = 0 i j ; i,j = 1,2, ,n 解釋就變量x1,x2, -;Xk為確定型變量，與隨機(jī)誤差項(xiàng)彼此不相關(guān)。Cov(Xij,UjP0 i "2 ,k 1,2, ,n 解釋就變量X1,X2, -；xk之間不存在精確的（完全的）線性關(guān)系，即解 釋變量的樣本觀測(cè)值矩陣 X為滿秩矩陣：rank（X）=k+1<n 隨機(jī)誤差項(xiàng)服從正態(tài)分布，即：UjN（0,；2），i=1,2,n步驟二、參數(shù)估計(jì)知識(shí)點(diǎn)：1、最小二乘估計(jì)的基本原理：殘差平方和最小化。2、參數(shù)估計(jì)量：'? 乞Xi嚴(yán)12

8、 一元回歸：<送XiW陸X 多元回歸：?= X X 1 xty3、最小二乘估計(jì)量的性質(zhì)（Gauss-Markov定理）：在滿足基本假設(shè)的情況下，最小二乘估計(jì)量?是：的最優(yōu)線性無偏估 計(jì)量（BLUE估計(jì)量）步驟三、模型檢驗(yàn)1、經(jīng)濟(jì)計(jì)量檢驗(yàn)（后三章內(nèi)容）2、統(tǒng)計(jì)檢驗(yàn)擬合優(yōu)度檢驗(yàn)知識(shí)點(diǎn)：i：擬合優(yōu)度檢驗(yàn)的作用：檢驗(yàn)回歸方程對(duì)樣本點(diǎn)的擬合程度ii：擬合優(yōu)度的檢驗(yàn)方法：計(jì)算（調(diào)整的）樣本可決系數(shù)R2/R2r2畢十彈,R2十ESS/n k1TSS TSS 'TSS/n 1注意掌握離差平方和、回歸平方和、殘差平方和之間的關(guān)系以及它們的自由度。計(jì)算方法：通過方差分析表計(jì)算方差來源符號(hào)計(jì)算公式自由

9、度（d.f.）均方值（MSS）離差平方和TSS2 送(Yi -Y ) in-12E (Yi Y)/n-1 i回歸平方和RSSZ (£-Y)2ik送(Y?-Y,/ki殘差平方和ESSin-k-12送(¥ / n-k-1i例2:下表列出了三變量（二元）模型的回歸結(jié)果:方差來源平方和（SS）自由度均方值離差平方和TSS6604214回歸平方和RSS65965殘差平方和ESS1）樣本容量為多少？解：由于TSS的自由度為n-1，由上表知n-1 = 14,因此樣本容量n=152）求 ESS解：由于 TSS= ESS+ RSS, 故 ESS= TSS RSS= 77 3） ESS和RSS

10、的自由度各為多少？解：對(duì)三變量模型而言， k=2，故ESS的自由度為n-k-1 = 12RSS的自由度為k= 24)求R2和R2解:R2RSSTSS6596566042二 0.9988 ,R2十需汁0.9986 回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）目的：檢驗(yàn)?zāi)Ｐ椭械囊蜃兞颗c自變量之間是否存在顯著的線性關(guān)系步驟：1、提出假設(shè)：H 0 ： 1；- = -2 = .= 5 = 0H1 :至少有一目 j 式 0, j =1,2,., k2、構(gòu)造統(tǒng)計(jì)量：F RSS/k F（k,n_k_1）ESS/n -k 13、 給定顯著性水平，確定拒絕域F F k,n_k_14、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例3:就例

11、2中的數(shù)據(jù)，給定顯著性水平：一 1%，對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)。解：由于統(tǒng)計(jì)量值FRS659竺公"140.13，ESS/nk177/12又 F0.01 (2,12)=6.93，而 F =5140.13>F0.01 (2,12)= 6.93故拒絕原假設(shè)，即在1%的顯著性水平下可以認(rèn)為回歸方程存在顯著 的線性關(guān)系。附：R2與F檢驗(yàn)的關(guān)系:,2 RSS RSSR2RRSS2 ESS_ 2 ,.由于 TSS ESS RSS1R2FR /kRSS/k 廠(1-R2 )/(n-k-1 )又ESS/nk1 J 解釋變量的顯著性檢驗(yàn)（t檢驗(yàn)） 目的：檢驗(yàn)?zāi)Ｐ椭械淖宰兞渴欠駥?duì)因變量存在顯著影響。

12、知識(shí)點(diǎn):多元回歸：Ss+，其中C3為（XX）中位于第i+1行和i+1列的元素;一元回歸:s?0Z eL Xi2Sn(nx2，SP變量顯著性檢驗(yàn)的基本步驟:1、提出假設(shè)：叫：片=0弭式02、構(gòu)造統(tǒng)計(jì)量：t = = t(n - k-“ Sj?3、給定顯著性水平，確定拒絕域t t：/2（n-k-1）4、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例4:根據(jù)19個(gè)樣本數(shù)據(jù)得到某一回歸方程如下：Y?二 58.9 0.2X“ 一 0.1X2se（0.0092） （0.084）試在5%的顯著性水平下對(duì)變量 X,和X2的顯著性進(jìn)行檢驗(yàn)。解：由于ta/2（n-k-1）=如25（16） = 2.12，故t檢驗(yàn)的拒絕域?yàn)?g

13、t;2.12。對(duì) 自變量X1而言，其t統(tǒng)計(jì)量值為0221.74 2.12，落入S?0.0092拒絕域，故拒絕 0的原假設(shè)，即在5%的顯著性水平下，可以認(rèn)為自變量X1對(duì)因變量有顯著影響；對(duì)自變量X2而言，其t統(tǒng)計(jì)量值為t =磐=呂基=1.19< 2.12，未落入拒S?0.084絕域，故不能拒絕0的原假設(shè)，即在 5%的顯著性水平下，可以認(rèn)為自變量X2對(duì)因變量Y的影響并不顯著。 回歸系數(shù)的置信區(qū)間目的：給定某一置信水平1，構(gòu)造某一回歸參數(shù) 訂的一個(gè)置信區(qū)間，使i落在該區(qū)間內(nèi)的概率為1 -:基本步驟:? _ R1、構(gòu)造統(tǒng)計(jì)量i =-=t（n k1）S?2、 給定置信水平1，查表求出：水平的雙側(cè)分

14、位數(shù)t./2（n k1）3、 求出'-i的置信度為1-的置信區(qū)間？-t：./2 S?,? t：./2 S?例5:根據(jù)例4的數(shù)據(jù)，求出:1的置信度為95%的置信區(qū)間。解：由于如25（16） = 2.12，故'-1的置信度為95%的置信區(qū)間為：0.2 2.12 0.0092,0.2 2.12 0.0092 二 0.18,0.223、經(jīng)濟(jì)意義檢驗(yàn)?zāi)康模簷z驗(yàn)回歸參數(shù)的符號(hào)及數(shù)值是否與經(jīng)濟(jì)理論的預(yù)期相符。例6:根據(jù)26個(gè)樣本數(shù)據(jù)建立了以下回歸方程用于解釋美國居民的個(gè)人 消費(fèi)支出：Y?二 10.96 0.93X"2.09X2t （ 3.33） （249.06） （一3.09）R2

15、 二 0.9996其中：Y為個(gè)人消費(fèi)支出（億元）；X1為居民可支配收入（億元）；X2為 利率（%）1）先驗(yàn)估計(jì)時(shí)和囤的符號(hào)；解：由于居民可支配收入越高，其個(gè)人消費(fèi)水平也會(huì)越高，因此預(yù)期自變量X1回歸系數(shù)的符號(hào)為正；而利率越高，居民儲(chǔ)蓄意愿越強(qiáng)，消費(fèi)意愿相應(yīng)越低，因此個(gè)從消費(fèi)支出與利率應(yīng)該存在負(fù)相關(guān)關(guān)系，即?2應(yīng)為負(fù)。2）解釋兩個(gè)自變量回歸系數(shù)的經(jīng)濟(jì)含義；解：弭=0.93表示，居民可支配收入每增加1億元，其個(gè)人消費(fèi)支出相應(yīng)會(huì)增加0.93億元，即居民的邊際消費(fèi)傾向MPC = 0.93；?22.09表示，利率提高1個(gè)百分點(diǎn)，個(gè)人消費(fèi)支出將減少2.09億元截距項(xiàng)表示居民可支配收入和利率為零時(shí)的個(gè)人消費(fèi)

16、支出為-10.96億元，它沒有明確的經(jīng)濟(jì)含義。3）檢驗(yàn)1是否顯著不為1; （=5%）解：1）提出假設(shè)：H o ： 1=1已"2） 構(gòu)造統(tǒng)計(jì)量：t = -? lt（nk1）S目3） 給定顯著性水平:=5°%，查表得t：./2（n k 1）=如25（23） = 2.07，故拒絕 域?yàn)?.074） 計(jì)算統(tǒng)計(jì)量值：由于t（ ?1）' S?0930.003734S?* t（弭）249.06則|t| =0.07 =18.752.07，落入拒絕域。故拒絕 憶=1的原假設(shè)。S?0.003734即在5%的顯著性水平下，可認(rèn)為邊際消費(fèi)傾向 MPC顯著不為1。4） 檢驗(yàn)j顯否顯著不為零；

17、 O "%） 解：1）提出假設(shè)：H0:"0 治2=0、翼2） 構(gòu)造統(tǒng)計(jì)量：t=gt（n-k-1）s®3） 給定顯著性水平:=5%，查表得t/2（n-k-1） = t0.025（23） = 2.07，故拒絕域?yàn)?.074） 計(jì)算統(tǒng)計(jì)量值：由于t（ ?2） = 3.09 2.07，落入拒絕域，故拒絕原假設(shè)。即在5%的顯著性水平下，可以認(rèn)為2顯著異于零。5）計(jì)算R2值；R2解:由于ESS / n -k -1二 1 -TSS / n 1ESS n-1=1 一TSS n - k 一 12=1 - 1-R=1 - 1 -0.999626 126 2 1=0.999576) 計(jì)

18、算每個(gè)回歸系數(shù)的標(biāo)準(zhǔn)差;S?0 =解：由于詢二廿廠也_-3.330.93t(?)249.06JL.-2.090.00373S?1% t(罵廠-3.09?0W3.29=0.67647) 給出2置信水平為95%的置信區(qū)間;解：由于?2 = -2.09 , Sp =0.6764 , t°.025(23) = 2.07，故 氏置信水平為95%的置信區(qū)間為 -2.09-2.07 0.6764 , - 2.09 2.07 0.6764 二-3.49 , -0.698) 對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)；解：提出假設(shè)：H0 :0 已或構(gòu)造統(tǒng)計(jì)量RSS/kESS/nk-1 F (k,n -k -1)確定拒絕

19、域： F iFJk.nk1) = Fo.05(2,23) =3.42計(jì)算統(tǒng)計(jì)量并進(jìn)行判斷:R2/k1 -R2 / n -k -10.9996/20.0004/23二 28738.53.42故拒絕原假設(shè)，即在5%的顯著性水平下認(rèn)為回歸方程的線性關(guān)系顯 著成立。步驟四：經(jīng)濟(jì)預(yù)測(cè)點(diǎn)預(yù)測(cè)：Y?=X°?可以看著是Y的條件均值EY°|X0和個(gè)別值Y。的預(yù)測(cè)值， 分別稱為均值預(yù)測(cè)和個(gè)值預(yù)測(cè)；性質(zhì)：Y? =X0?是E Y°|X0和Y。的一個(gè)無偏估計(jì)量。區(qū)間預(yù)測(cè)：均值EY°|X0的區(qū)間預(yù)測(cè)預(yù)測(cè)步驟：1)確定統(tǒng)計(jì)量：t= 一E Y01 X0 t(n-kT)SY?其中Sy0冷二葺Xo(XXX00n -k -12)給定置信水平，