多元線性回歸模型

1、第四章 多元線性回歸模型在一元線性回歸模型中，解釋變量只有一個。但在實際問題中，影響因變量的變量可能不止一個，比如根據(jù)經(jīng)濟學理論，人們對某種商品的需求不僅受該商品市場價格的影響，而且受其它商品價格以及人們可支配收入水平的制約；影響勞動力勞動供給意愿（用勞動參與率度量）的因素不僅包括經(jīng)濟形勢（用失業(yè)率度量），而且包括勞動實際工資；根據(jù)凱恩斯的流動性偏好理論，影響人們貨幣需求的因素不僅包括人們的收入水平，而且包括利率水平等。當解釋變量的個數(shù)由一個擴展到兩個或兩個以上時，一元線性回歸模型就擴展為多元線性回歸模型。本章在理論分析中以二元線性回歸模型為例進行。一、預備知識（一）相關概念對于一個三變量總體

2、，若由基礎理論，變量和變量之間存在因果關系，或的變異可用來解釋的變異。為檢驗變量和變量之間因果關系是否存在、度量變量對變量影響的強弱與顯著性、以及利用解釋變量去預測因變量，引入多元回歸分析這一工具。將給定條件下的均值 （4.1）定義為總體回歸函數(shù)（Population Regression Function,PRF）。定義為誤差項（error term）,記為，即，這樣，或 （4.2）（4.2）式稱為總體回歸模型或者隨機總體回歸函數(shù)。其中，稱為解釋變量（explanatory variable）或自變量（independent variable）；稱為被解釋變量（explained varia

3、ble）或因變量（dependent variable）；誤差項解釋了因變量的變動中不能完全被自變量所解釋的部分。在總體回歸模型（4.2）中參數(shù)是未知的，是不可觀察的，統(tǒng)計計量分析的目標之一就是估計模型的未知參數(shù)。給定一組隨機樣本，對（4.1）式進行估計，若的估計量分別記為，則定義（4.3）式為樣本回歸函數(shù) （） （4.3）注意，樣本回歸函數(shù)隨著樣本的不同而不同，也就是說是隨機變量，它們的隨機性是由于的隨機性（同一組可能對應不同的）、各自的變異、以及之間的相關性共同引起的。定義為殘差項（residual term）,記為，即，這樣，或 （） （4.4）（4.4）式稱為樣本回歸模型或者隨機樣本回

4、歸函數(shù)。樣本回歸模型中殘差項可視為總體回歸模型中誤差項的估計量。（二）多元線性回歸模型的矩陣表示多元線性回歸模型的參數(shù)估計比一元線性回歸模型要復雜得多，為了便于計算和分析，便于將結果由三變量總體推廣到一般的多變量總體，引入矩陣這一工具簡化計算和分析。設是取自總體的一組隨機樣本。在該組樣本下，總體回歸模型（4.2）式可以寫成方程組的形式 利用矩陣運算，可表示為 （4.5）記，,則在該組樣本下，總體回歸模型的矩陣表示為 （4.6）記,則樣本回歸模型的矩陣表示為 （4.7）（三）模型假定假定1 回歸模型是參數(shù)線性的，并且是設定正確的。假定2 隨機誤差項與解釋變量不相關。即，。如果解釋變量是非隨機的，

5、則該假設自動滿足。假定3 零均值假定。即，假定4 同方差假定。即，假定5 無自相關假定。即兩個誤差項之間不相關 ，假定6 解釋變量與之間不存在完全共線性，即兩個解釋變量之間無確切的的線性關系。假定7 正態(tài)性假定。即，（四）參數(shù)估計與估計量的分布系數(shù)向量的OLS估計為 （4.8）其中，為的轉置矩陣。在隨機誤差項服從正態(tài)分布的假定下，系數(shù)向量的估計量也服從正態(tài)分布，即 （4.9）記的第j個主對角元素為，則 （4.10）有了系數(shù)估計量的分布，就可以對總體參數(shù)做假設檢驗。與雙變量總體相同，總體誤差是不可觀察的，因而其方差是未知的。若用的無偏估計量代替，則OLS估計量服從自由度為的t分布，而不是正態(tài)分布

6、，即 （4.11）其中，。（五）預測原理回歸分析的目的之一是利用回歸模型預測因變量。假設三變量總體的回歸模型為（4.2），即 （4.2）在一組隨機樣本下，利用OLS求得樣本回歸函數(shù)為（4.3） （） （4.3）給定樣本外一點，則因變量的點預測為 （4.12）點預測的標準誤為 （4.13）因變量的置信度為的區(qū)間預測為 , （4.14）二、案例案例1 Woody餐館的選址分析Woody餐館是一家價位適中、24小時營業(yè)的家庭連鎖店，公司邀請你決策下一家連鎖店的選址問題。你決定建立一個回歸模型來解釋每一家連鎖餐館的毛銷售額Y（the gross sales volume）,通過文獻的閱讀，你認為以下變

7、量對毛銷售額的影響較大，N =競爭變量：餐館位置半徑2里以內市場直接競爭者的數(shù)量；P=人口： 餐館位置半徑3里以內人口的數(shù)量；I=收入： 餐館位置半徑3里以內家庭平均收入。并且通過調研，你獲得了33家Woody餐館連鎖店的數(shù)據(jù)。案例2 經(jīng)濟形勢和實際工資對人們工作意愿的影響在第三章，我們根據(jù)勞動經(jīng)濟學理論，分析了經(jīng)濟形勢對人們工作意愿的影響存在兩種效應：受挫工人效應和增加工人效應；并且利用1980-2002年的數(shù)據(jù)實證了受挫工人效應占主導地位。但根據(jù)勞動經(jīng)濟學理論，影響人們工作意愿的因素，除了經(jīng)濟形勢以外，還有實際的工資水平。從理論上說，實際工資增加對勞動供給具有兩種效應：替代效應與收入效應。

8、替代效應趨于使勞動供給增加，而收入效應則趨于使勞動供給降低，兩種效應的相對影響取決于家庭的偏好（參考文獻4，p49）。本案例考察實際工資對人們工作意愿是否有影響，以及在有影響的情況下，那種效應占優(yōu)。數(shù)據(jù)見表3.1。三、實驗目的案例1 Woody餐館的選址分析1、繪制Y對N、P、I的散點圖，并在散點圖中附加回歸線。2、建立Y對N、P、I的線性回歸模型，并定性分析解釋變量N、P、I對Y的影響。3、利用樣本數(shù)據(jù)及OLS法對回歸模型進行估計，并報告回歸結果。4、觀察回歸系數(shù)的顯著性和方程的顯著性，并解釋回歸系數(shù)的含義。案例2 經(jīng)濟形勢和實際工資對人們工作意愿的影響1、繪制clfpr對ahe82的散點圖

9、，并附回歸線，觀察城市勞動參與率與實際工資之間的線性關系。2、建立clfpr對ahe82的一元線性回歸模型，利用1980-2002年的數(shù)據(jù)估計模型，并觀察回歸系數(shù)的顯著性和方程的顯著性。3、同時考慮經(jīng)濟形勢與實際工資對人們工作意愿的影響，建立二元線性回歸模型，利用1980-2002年的數(shù)據(jù)估計模型，觀察回歸系數(shù)的顯著性和方程的顯著性，并解釋回歸系數(shù)的經(jīng)濟含義。4、對上面（2）與（3）中估計結果的差別進行解釋。5、模型的選擇問題，在以下三個模型之間，哪個模型更好呢？ （） （） （）四、實驗原理五、實驗步驟案例1 Woody餐館的選址分析圖4-1 Y對N、P、I的散點圖1、打開Eviews工作文

10、件Woody.wfl，按住Ctrl鍵，點擊工作文件目錄中的序列Y、N、P、I圖標，點擊鼠標右鍵，點擊Open/as Group，出現(xiàn)包含序列Y、N、P、I的組對象窗口。點擊組對象窗口工具欄的View按鈕，選擇Graph，在Specifi選項中選擇Scatter，在Fit lines中選擇Regression Line，在Multiple中選擇Multiple graphs-First vs.All,設定完畢后點擊確定按鈕，則出現(xiàn)Y對N、P、I的三張散點圖，點擊鼠標右鍵，選擇Copy，將散點圖復制到Word文檔中，如圖4-1所示。2、Y對N、P、I的線性回歸模型為 （4.15）一般來說，人口越多

11、，餐館的毛銷售額越大；人們的收入水平越高，餐館的毛銷售額越大；競爭者的數(shù)量越多，餐館的毛銷售額越低。即P和I對Y有正的影響，N對Y有負的影響，從而的預期符號為正，的預期符號為負。圖4-1散點圖中回歸線的斜率與理論的預期是一致的。3、在文件窗口點擊object/new object,在出現(xiàn)的對象類型中選擇equation,在對象名中填寫eq1,點擊OK，出現(xiàn)對話框圖4.2圖4.2 回歸方程的設定在估計方法中選擇最小二乘法，樣本范圍填寫1到30。設定完畢后點擊確定。出現(xiàn)圖4.3圖4.3 方程估計的輸出根據(jù)圖4.3，報告估計結果如下Y = 102192.4 - 9074.67*N + 0.35*P

12、+ 1.29*I （2052.67） （0.073） （0.54） t= -4.42 4.87 2.37 =0.584、從估計輸出結果可知，回歸系數(shù)的符號方向（正、負）和大小均與理論分析一致，t統(tǒng)計量的值顯示也在0.05的顯著性水平下顯著（這一點也可以從邊際概率值觀察到），F(xiàn)統(tǒng)計量的值為15.64（相應的概率值為0.000003），表明三個解釋變量對被解釋變量聯(lián)合顯著。多元回歸系數(shù)的含義為，當其他變量（控制變量）不變時，該變量對因變量的邊際影響。對于本例各系數(shù)的含義為，收入增加一個單位會使餐館的銷售收入增加1.29個單位；人口增加一個單位會使餐館的銷售收入增加0.35個單位；競爭者的數(shù)量增加一

13、個單位將使餐館的銷售數(shù)量減少9074.67個單位。案例2 經(jīng)濟形勢和實際工資對人們工作意愿的影響在以下操作中，假設包含clfpr、 ahe82和cunr三個序列的Eviews工作文件clfpr.wfl已經(jīng)存在。1、打開Eviews工作文件clfpr.wfl，建立包括序列ahe82和clfpr的組對象，點擊組對象窗口工具欄的View按鈕，選擇Graph，在Specifi選項中選擇Scatter，在Fit lines中選擇Regression Line，設定完畢后點擊確定按鈕，出現(xiàn)圖4.4。圖4.4 clfpr對ahe82的散點圖由散點圖可見，clfpr與ahe82之間存在非常弱的線性關系，回歸線

14、斜率為負，且接近于水平線。2、建立一元線性回歸模型如下： （4.16）用1980-2002年的數(shù)據(jù)估計上述模型，估計結果如圖4.5所示圖4.5 clfpr對ahe82回歸的估計結果從圖4.5的t統(tǒng)計量和概率值均可知，實際工資對勞動參與率沒有顯著影響，擬合優(yōu)度（0.024118）很低，調整的擬合優(yōu)度更是為負值，F(xiàn)統(tǒng)計量和概率值也顯示方程常數(shù)項和解釋變量（ahe82）對因變量（clfpr）的聯(lián)合影響不顯著?；貧w的結果與理論分析相悖。3、同時考慮經(jīng)濟形勢與實際工資對人們工作意愿的影響，建立二元線性回歸模型如下 （4.17）利用1980-2002年的數(shù)據(jù)估計模型，估計結果如圖4.6所示圖4.6 clf

15、pr對ahe82和cunr回歸的估計結果由圖4.6中間部分的t統(tǒng)計量和概率值可知，解釋變量ahe82和cunr均在0.05的水平上對clfpr有顯著影響；調整的擬合優(yōu)度為0.750205，擬合度較高；F統(tǒng)計量的值為34.03611，相應的概率值為0.000000，表明ahe82和cunr對clfpr的聯(lián)合影響顯著。解釋變量ahe82和cunr的回歸系數(shù)分別為-1.41和-0.67，它們的經(jīng)濟含義為，在cunr保持不變的條件下，實際小時工資增加1美元，勞動參與率降低1.41個百分點，表明實際工資對勞動供給影響的收入效應占優(yōu)，即收入效應大于替代效應；在ahe82保持不變的條件下，失業(yè)率上升1個百分

16、點，勞動參與率降低0.67個百分點，表明在剔除了實際工資對勞動供給的影響之后，失業(yè)率對勞動供給的影響依然是受挫效應占優(yōu)。4、在（2）的一元回歸模型中，估計的結果表明，ahe82對勞動參與率沒有顯著的影響，但在引入的解釋變量cunr后，即在（3）中的二元回歸模型中，ahe82對勞動參與率的影響在0.05的水平下卻是顯著的，為什么會出現(xiàn)這種差別呢？為了解釋一元回歸估計結果與多元回歸結果的差別，現(xiàn)來觀察clfpr、ahe82與cunr的相關系數(shù)矩陣(顯示組對象相關系數(shù)矩陣的Eviews操作見第二章)，如圖4.7所示。圖4.7 clfpr、ahe82與cunr的相關系數(shù)矩陣由圖4.7可知，cunr和ahe82與clfpr的相關系數(shù)分別為-0.155299和-0.843967，均為負相關。在（2）中的一元回歸模型中，ahe82的回歸系數(shù)-0.884518中包含了cunr通過ahe82對clfpr的間接影響，這種間接的影響是正方向的，使得ahe82對clfpr的影響被高估；而在（3）中的多元回歸模型中，因為剔除了這種正方向的間接影響，使得ahe82對clfpr的直接影響增加為-1.41，并且影響由不顯著到顯著。另外，也可注意到在（3）中的多元回歸模型中，cunr的回歸系數(shù)-0.671631與clfpr對cunr的一元回歸系數(shù)（見第三章案例1）-