多元線性回歸模型(5)課件

1、多元線性回歸模型(5)課件第八章第八章 經(jīng)典單方程計量經(jīng)濟學模型：經(jīng)典單方程計量經(jīng)濟學模型：多元線性回歸模型多元線性回歸模型 多元線性回歸模型多元線性回歸模型 多元線性回歸模型的參數(shù)估計多元線性回歸模型的參數(shù)估計 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型(5)課件3.1 3.1 多元線性回歸模型多元線性回歸模型 一、多元線性回歸模型一、多元線性回歸模型二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 多元線性回歸模型(5)課件一、多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式一

2、般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)回歸參數(shù)（regression coefficient）。多元線性回歸模型(5)課件ikikiiiXXXY 22110也被稱為也被稱為總體回歸函數(shù)總體回歸函數(shù)的的隨機表達形式隨機表達形式。它。它 的的非隨機（即確定）表達式非隨機（即確定）表達式為為:kikiikiiiiXXXXXXYE 2211021),|(表示：表示：各變量各變量X X值固定（即給定）時值固定（即給定）時Y Y的平均響的平均響應（即均值）應（即均值）。 習慣上習慣上：把常數(shù)項常數(shù)項看成為一虛變量虛變量的系數(shù)，該虛變量的樣本觀測

3、值始終取1。于是：模型中解釋變量的數(shù)目為（模型中解釋變量的數(shù)目為（k+1） 多元線性回歸模型(5)課件 j也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。用來估計總體回歸函數(shù)的樣本回歸函數(shù)樣本回歸函數(shù)為：kikiiiiXXXY22110多元線性回歸模型(5)課件其其隨機表示式隨機表示式: : ikikiiiieXXXY22110 ei稱為殘差殘差或剩余項剩余項(residuals)，可看成是總體回歸模型中隨機擾動項 i的近似替代。 多元線性回歸模型(

4、5)課件二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 （注意和一元線性回歸模型的基本假定相比較）（注意和一元線性回歸模型的基本假定相比較） 假設1，解釋變量是非隨機的或固定的，且各X之間不存在完全共線性（即無多重共線性，或解釋變量之間不完全線性相關）(注：這一假設只有在多元線性回歸模型的基本假定中才有，而在一元線性回歸模型中沒有，為什么？）。假設2，隨機誤差項具有零均值、同方差及不序列相關性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1,多元線性回歸模型(5)課件 假設3，解釋變量與隨機項不相關 0),(ijiXCovkj,2 , 1

5、假設4，隨機項滿足正態(tài)分布 ), 0(2Ni 如果X是非隨機機的（即為固定值），則該假設自動滿足。因為一個固定值與一個隨機變量之間當然不相關。 推導：誤差項代表了沒有納入回歸模型的其他所有影響因素。因為這些影響因素中，每種因素對Y的影響都很微弱。如果所有這些影響因素都是隨機的，并用代表所有這些影響因素之和，那么根據(jù)中心極限定理，可以假設誤差項服從正態(tài)分布多元線性回歸模型(5)課件3.2 3.2 多元線性回歸模型的估計多元線性回歸模型的估計 一、普通最小二乘估計一、普通最小二乘估計 * *二、最大或然估計二、最大或然估計(Maximum Likelihood) (Maximum Likeliho

6、od) * *三、矩估計（三、矩估計（Moment Method) Moment Method) 四、參數(shù)估計量的性質(zhì)四、參數(shù)估計量的性質(zhì) * 五、樣本容量問題五、樣本容量問題 六、估計實例六、估計實例 多元線性回歸模型(5)課件說說 明明（注：參數(shù)有兩類：結(jié)構參數(shù)和分布參數(shù)，分布參數(shù)是（注：參數(shù)有兩類：結(jié)構參數(shù)和分布參數(shù)，分布參數(shù)是指隨機誤差項的均值和方差）指隨機誤差項的均值和方差）估計方法：估計方法：3大類方法：大類方法：OLS、ML或者或者MM在經(jīng)典模型中多應用在經(jīng)典模型中多應用OLS在非經(jīng)典模型中多應用在非經(jīng)典模型中多應用ML或者或者MM我們只學習我們只學習OLS多元線性回歸模型(5)

7、課件一、普通最小二乘估計一、普通最小二乘估計 對于隨機抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有： KikiiiiXXXY22110i=1,2n 根據(jù)最最小二乘原小二乘原理理，參數(shù)估計值應該是右列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXY多元線性回歸模型(5)課件 于是得到關于待估參數(shù)估計值的正規(guī)方程組正規(guī)方程組： 解該（k+1） 個方程組成的線性代數(shù)方程組，即可得到(k+1) 個待估參數(shù)的估計值$, , ,jj 012 。kSSSSSSSS

8、kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110多元線性回歸模型(5)課件注 意 （特別重要） 經(jīng)濟計量學精要（古亞拉提 著）將多元回歸分析中的解釋變量限定在2個（該類多元回歸模型也稱為三變量模型）。但實際中的多元回歸模型的解釋變量往往多于2個（有3個或3個以上），那么估計公式會更復雜。在這種情況下，必須使用矩陣代數(shù)知識。當然，本書沒有使用矩陣代數(shù)知識。不過現(xiàn)在很少有人手工計算了，還是讓計算機做這些復雜的工作吧。初學者只需先掌握含兩個解釋變量的多元回歸模型（以避免復雜的

9、矩陣代數(shù)運算），以下的分析都建立在以2個解釋變量為前提的多元回歸模型基礎上。多元線性回歸模型(5)課件三變量模型回歸系數(shù)的OLS估計量（教材P156）33221XXY 23223223232322iiiiiiiiiiixxxxxxyxxyx 23223222iiiii 3i2ii2i2ii 33xxxxxxyxxyx多元線性回歸模型(5)課件偏回歸系數(shù)的含義 偏回歸系數(shù)體現(xiàn)的是解釋變量對因變量的凈影響或直接影響。 一元回歸模型中的回歸系數(shù)體現(xiàn)的是解釋變量對因變量的總影響，包括直接影響和間接影響。多元線性回歸模型(5)課件j也被稱為也被稱為偏回歸系數(shù)偏回歸系數(shù)，表示在其他解釋，表示在其他解釋變量

10、保持不變的情況下，變量保持不變的情況下，Xj每變化每變化1個單個單位時，位時，Y的均值的均值E(Y)的變化的變化; 或者說或者說j給出了給出了Xj的單位變化對的單位變化對Y均值的均值的“直接直接”或或“凈凈”（不含其他變量）影（不含其他變量）影響。響。ikikiiiXXXY 22110多元線性回歸模型(5)課件埋伏筆：三變量模型參數(shù)的OLS估計量是隨機變量解釋：因為給定一個具體的樣本，就能求出一個特定的估計值。再換過一個樣本，又可以求出不同的估計值。所以參數(shù)的估計量取值隨著樣本的改變而改變。既然是隨機變量，就可以求方差。多元線性回歸模型(5)課件三變量模型OLS估計量方差的代數(shù)公式（教材P15

11、7） 2232232232322223232221iiiiiiii1xxxxxxXXxXxXnvar 23222222323variiiiixxxx x 22232222323variiiiixxxx x多元線性回歸模型(5)課件總體回歸模型的隨機誤差項總體回歸模型的隨機誤差項 是一個隨機變量，是一個隨機變量，既然是隨機變量，就可以求方差。既然是隨機變量，就可以求方差。將隨機誤差項將隨機誤差項 的方差記為的方差記為 2 2客觀存在，但往往未知。只能對其進行估計?？陀^存在，但往往未知。只能對其進行估計。多元線性回歸模型(5)課件隨機誤差項隨機誤差項 的方差的方差 2的估計的估計 2 表示總體誤差

12、項表示總體誤差項 的方差，這個未知方差的OLS估計量是：223ten其中222323tttttteyy xy x多元線性回歸模型(5)課件實例 美國1980-1995年（非農(nóng)業(yè)未償還）抵押貸款數(shù)額Y（億美元）、個人收入X2（億美元）、新住宅抵押貸款費用X3 (%). 利用以下樣本數(shù)據(jù)對多元線性回歸模型進行估計。多元線性回歸模型(5)課件多元線性回歸模型(5)課件EVIEWS演示過程：多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件多元線性回歸模型(5)課件 四、參數(shù)估計量的性質(zhì)四、參數(shù)估計量的性質(zhì) 在滿足基本假設

13、的情況下，其結(jié)構參數(shù) 的普通最小二乘估計量“ 尖尖”仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時，隨著樣本容量增加，參數(shù)估計量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性。多元線性回歸模型(5)課件3.3 3.3 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) ) 三、三、變量的顯著性檢驗（變量的顯著性檢驗（t t檢驗）檢驗） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 多元線性回歸模型(5)課件一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)、可決系

14、數(shù)與調(diào)整的可決系數(shù) 總離差平方和的分解總離差平方和的分解ESSRSSYYYYTSSiii22)()(多元線性回歸模型(5)課件Y 離差分解示意圖多元線性回歸模型(5)課件 可決系數(shù)可決系數(shù)TSSRSSTSSESSR12該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：問題：在應用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量， R2往往增大（Why?)。這是因為殘差平方和往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。 多元線性回歸模型(5)課件 這就給人一個錯覺一個錯覺：要使得模型擬合得好，只要增加解釋變量即要使得模型擬合得好，只要增加解釋變量即可可。 但是，我們不能這樣做。這是因為，在。這是因為，

15、在R2的定義中R2=ESS/TSS并沒有考慮到自由度。 因此，比較相同被解釋變量，但不同個數(shù)解釋變量的兩個回歸模型的R2，就像是拿蘋果和桔子比較（不具有可比性）。校正（或調(diào)整）后的判定系數(shù)可以對相同被解釋變量、不同解釋變量（個數(shù)不同）的兩個回歸模型進行比較。回歸平方和的自由度=模型中偏斜率系數(shù)的個數(shù)殘差平方和的自由度=n-待估計的（結(jié)構）參數(shù)的個數(shù)總體平方和的自由度=回歸平方和的自由度+殘差平方和的自由度=n-1多元線性回歸模型(5)課件 調(diào)整的可決系數(shù)調(diào)整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由

16、度減少，所以調(diào)整的思路是:將殘差平將殘差平方和與總離差平方和分別除以各自的自由度，以方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度，此處的k表示模型中偏斜率系數(shù)的個數(shù)， 。) 1/()1/(12-nTSSknRSSR多元線性回歸模型(5)課件1)1(122-1knnRR 校正（或調(diào)整）后的判定系數(shù)有如下性質(zhì)：1.如果模型中待估計的（結(jié)構）參數(shù)個數(shù)大于1，則校正后的判定系數(shù) 3.81，所以拒絕原假設H0，即認為抵押貸款債務與個人收入和抵押貸款費用之間總體上存在線性關系給定顯著性水

17、平0.05，可得到臨界值F0.05(2,13)=3.81.多元線性回歸模型(5)課件 2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論關系的討論 ) 1/()1 (/22knRkRF注意：此處的k表示模型中偏斜率系數(shù)的個數(shù).多元線性回歸模型(5)課件多元線性回歸模型(5)課件 答：有時方程通過總體線性關系的顯著性檢驗（F檢驗），但計算得到的校正（或調(diào)整）后的擬合優(yōu)度值比較小，比如0.2左右。此時，我們不應對校正后的擬合優(yōu)度值過分苛求，更重要的是要考察模型的經(jīng)濟關系是否合理。多元線性回歸模型(5)課件三、變量的顯著性檢驗（三、變量的顯著性檢驗（t t檢驗）檢驗） 方

18、程的總體線性總體線性關系顯著 每個解釋變量每個解釋變量對被解釋變量的影響都是顯著的。 因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。 這一檢驗是由對變量的這一檢驗是由對變量的 t 檢驗完成的。檢驗完成的。多元線性回歸模型(5)課件 設計原假設與備擇假設： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設H0，從而判定對應的解釋變判定對應的解釋變量是否應包括在模型中。量是否應包括在模型中。 H0：i=0 （i=1,2k） 注意：此處的k表示模

19、型中偏斜率系數(shù)的個數(shù).多元線性回歸模型(5)課件注意：注意：一元線性回歸中，變量的顯著性一元線性回歸中，變量的顯著性t t檢驗與方程檢驗與方程的顯著性的顯著性F F檢驗是一回事。檢驗是一回事。 t檢驗與F檢驗都是對相同的原假設H0： 1=0=0 進行檢驗.（假設常數(shù)項為 0 ）所以，所以，一元線性回歸中，一元線性回歸中，t檢驗與檢驗與F檢驗一致檢驗一致 。（如果你是光棍，別人問你全家可好，和問你一人可好（如果你是光棍，別人問你全家可好，和問你一人可好是同一回事，因為你全家只有你一個解釋變量）是同一回事，因為你全家只有你一個解釋變量）多元線性回歸模型(5)課件 檢驗步驟：檢驗步驟： （1）對總體參數(shù)提出假設 H0： 1=0， H1：10（2）以原假設H0構造t統(tǒng)計量，并由樣本計算其值11St （3）給定顯著性水平，查t分布表得臨界值t /2(n-3)多元線性回歸模型(5)課件 (4) 比較，判斷 若 |t| t /2 (n-3)，則拒絕H0 ，接受H1