計(jì)量經(jīng)濟(jì)學(xué)第三章-多元線性回歸方程-1ppt課件

1 計(jì)量經(jīng)濟(jì)學(xué) Econometrics 經(jīng)濟(jì)計(jì)量學(xué) 2 第三章多元線性回歸模型 多元線性回歸模型多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的預(yù)測(cè)回歸模型的其他形式回歸模型的參數(shù)約束 3 3 1多元線性回歸模型 一 多元線性回歸模型二 多元線性回歸模型的基本假定 4 一 多元線性回歸模型 多元線性回歸模型 表現(xiàn)在線性回歸模型中的解釋變量有多個(gè) 一般表現(xiàn)形式 其中 k為解釋變量的數(shù)目 i稱為回歸參數(shù) regressioncoefficient 習(xí)慣上 把常數(shù)項(xiàng)看成為一虛變量的系數(shù) 該虛變量的樣本觀測(cè)值始終取1 這樣 模型中解釋變量的數(shù)目為 k 1 i 1 2 n 5 一 多元線性回歸模型 總體回歸函數(shù)的隨機(jī)表達(dá)形式 它的非隨機(jī)表達(dá)式為 方程表示 各變量X值固定時(shí)Y的平均響應(yīng) j也被稱為偏回歸系數(shù) 表示在其他解釋變量保持不變的情況下 Xj每變化1個(gè)單位時(shí) Y的均值E Y 的變化 或者說(shuō) j給出了Xj的單位變化對(duì)Y均值的 直接 或 凈 不含其他變量 影響 總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為 其中 一 多元線性回歸模型 7 一 多元線性回歸模型 樣本回歸函數(shù) 用來(lái)估計(jì)總體回歸函數(shù)其隨機(jī)表示式 ei稱為殘差或剩余項(xiàng) residuals 可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng) i的近似替代 樣本回歸函數(shù)的矩陣表達(dá) 或 其中 二 多元線性回歸模型的基本假定 假設(shè)2 解釋變量是非隨機(jī)的或固定的 且各X之間互不相關(guān) 無(wú)多重共線性 假設(shè)3 樣本容量趨于無(wú)窮時(shí) 各解釋變量的方差趨于有界常數(shù) 即n 時(shí) 其中 Q為一非奇異固定矩陣 矩陣x是由各解釋變量的離差為元素組成的n k階矩陣 假設(shè)1 回歸模型的設(shè)定是正確的 或 二 多元線性回歸模型的基本假定 假設(shè)4 隨機(jī)誤差項(xiàng)具有零均值 同方差及不序列相關(guān)性假設(shè)5 解釋變量與隨機(jī)項(xiàng)不相關(guān)假設(shè)6 隨機(jī)項(xiàng)滿足正態(tài)分布 上述假設(shè)的矩陣符號(hào)表示式 假設(shè)2 n k 1 矩陣X是非隨機(jī)的 且X的秩 k 1 即X滿秩 假設(shè)4 假設(shè)5 E X 0 即 二 多元線性回歸模型的基本假定 11 3 2多元線性回歸模型的參數(shù)估計(jì) 一 普通最小二乘估計(jì) 二 最大或然估計(jì) 三 矩估計(jì)四 參數(shù)估計(jì)量的性質(zhì)五 樣本容量問題六 估計(jì)實(shí)例 對(duì)于隨機(jī)抽取的n組觀測(cè)值 如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到 則有 i 1 2 n 根據(jù)最小二乘原理 參數(shù)估計(jì)值應(yīng)該是下列方程組的解 其中 一 普通最小二乘估計(jì) 于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組 一 普通最小二乘估計(jì) 正規(guī)方程組的矩陣形式 即 由于X X滿秩 故有 一 普通最小二乘估計(jì) 將上述過程用矩陣表示如下 即求解方程組 得到 于是 例3 2 1 在例2 1 1的家庭收入 消費(fèi)支出例中 可求得 于是 對(duì)于正規(guī)方程組 一 普通最小二乘估計(jì) 于是 或 或 是多元線性回歸模型正規(guī)方程組的另一種寫法 i 1 2 n 其矩陣形式為 其中 在離差形式下 參數(shù)的最小二乘估計(jì)結(jié)果為 一 普通最小二乘估計(jì) 樣本回歸函數(shù)的離差形式 一 普通最小二乘估計(jì) 隨機(jī)誤差項(xiàng) 的方差 的無(wú)偏估計(jì) 可以證明 隨機(jī)誤差項(xiàng) 的方差的無(wú)偏估計(jì)量為 對(duì)于多元線性回歸模型 易知 Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率 即為變量Y的或然函數(shù) 二 最大或然估計(jì) 對(duì)數(shù)或然函數(shù)為 對(duì)對(duì)數(shù)或然函數(shù)求極大值 也就是對(duì) 求極小值 因此 參數(shù)的最大或然估計(jì)為 結(jié)果與參數(shù)的普通最小二乘估計(jì)相同 二 最大或然估計(jì) 三 矩估計(jì) MomentMethod OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組 并對(duì)它進(jìn)行求解而完成的 該正規(guī)方程組可以從另外一種思路來(lái)導(dǎo) 求期望 稱為原總體回歸方程的一組矩條件 表明了原總體回歸方程所具有的內(nèi)在特征 由此得到正規(guī)方程組 解此正規(guī)方程組即得參數(shù)的MM估計(jì)量 易知MM估計(jì)量與OLS ML估計(jì)量等價(jià) 矩方法是工具變量方法 InstrumentalVariables IV 和廣義矩估計(jì)方法 GeneralizedMomentMethod GMM 的基礎(chǔ) 在矩方法中關(guān)鍵是利用了E X 0 如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān) 只要能找到1個(gè)工具變量 仍然可以構(gòu)成一組矩條件 這就是IV 如果存在 k 1個(gè)變量與隨機(jī)項(xiàng)不相關(guān) 可以構(gòu)成一組包含 k 1方程的矩條件 這就是GMM 在滿足基本假設(shè)的情況下 其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì) 最大或然估計(jì)及矩估計(jì)仍具有 線性性無(wú)偏性有效性同時(shí) 隨著樣本容量增加 參數(shù)估計(jì)量具有 漸近無(wú)偏性漸近有效性一致性 四 參數(shù)估計(jì)量的性質(zhì) 26 四 參數(shù)估計(jì)量的性質(zhì) 1 線性性其中 C X X 1X 為一僅與固定的X有關(guān)的行向量2 無(wú)偏性這里利用了假設(shè) E X 0 27 四 參數(shù)估計(jì)量的性質(zhì) 3 有效性 最小方差性 其中利用了 和 四 參數(shù)估計(jì)量的性質(zhì) 29 五 樣本容量問題 最小樣本容量所謂 最小樣本容量 即從最小二乘原理和最大或然原理出發(fā) 欲得到參數(shù)估計(jì)量 不管其質(zhì)量如何 所要求的樣本容量的下限 樣本最小容量必須不少于模型中解釋變量的數(shù)目 包括常數(shù)項(xiàng) 即n k 1因?yàn)?無(wú)多重共線性要求 秩 X k 1 2 滿足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度 n 30時(shí) Z檢驗(yàn)才能應(yīng)用 n k 8時(shí) t分布較為穩(wěn)定一般經(jīng)驗(yàn)認(rèn)為 當(dāng)n 30或者至少n 3 k 1 時(shí) 才能說(shuō)滿足模型估計(jì)的基本要求 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明 六 多元線性回歸模型的參數(shù)估計(jì)實(shí)例 例3 2 2在例2 5 1中 已建立了中國(guó)居民人均消費(fèi)一元線性模型 這里我們?cè)倏紤]建立多元線性模型 解釋變量 人均GDP GDPP前期消費(fèi) CONSP 1 估計(jì)區(qū)間 1979 2000年 Eviews軟件估計(jì)結(jié)果 33 3 3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 一 擬合優(yōu)度檢驗(yàn)二 方程的顯著性檢驗(yàn) F檢驗(yàn) 三 變量的顯著性檢驗(yàn) t檢驗(yàn) 四 參數(shù)的置信區(qū)間 34 一 擬合優(yōu)度檢驗(yàn) 1 可決系數(shù) R2 與調(diào)整的可決系數(shù) 調(diào)整的R2 總離差平方和的分解 則 由于 0 所以有 注意 一個(gè)有趣的現(xiàn)象 該統(tǒng)計(jì)量越接近于1 模型的擬合優(yōu)度越高 在應(yīng)用過程中發(fā)現(xiàn) 如果在模型中增加一個(gè)解釋變量 R2往往增大這就給人一個(gè)錯(cuò)覺 要使得模型擬合得好 只要增加解釋變量即可 但是 現(xiàn)實(shí)情況往往是 由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān) R2需調(diào)整 一 擬合優(yōu)度檢驗(yàn) 調(diào)整的可決系數(shù) adjustedcoefficientofdetermination 在樣本容量一定的情況下 增加解釋變量必定使得自由度減少 所以調(diào)整的思路是 將殘差平方和與總離差平方和分別除以各自的自由度 以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響 其中 n k 1為殘差平方和的自由度 n 1為總體平方和的自由度 一 擬合優(yōu)度檢驗(yàn) 自由度是指變量可以自由取值的個(gè)數(shù) 例如我們要測(cè)量學(xué)生的身高X 隨機(jī)抽取10名學(xué)生 如果沒有任何限制 則X可以自由取值10個(gè)值 自由度為10 但是如果我們限定10各同學(xué)的平均身高 那么隨機(jī)抽取9名后 最后一名的身高則不能隨意取值了 此時(shí)自由度減少一個(gè) 為10 1 9 這也是為什么我們?cè)诮y(tǒng)計(jì)學(xué)里說(shuō)修正的樣本方差 除以n 1 為總體方差的無(wú)偏估計(jì)量 在計(jì)量經(jīng)濟(jì)學(xué)中 對(duì)于一個(gè)包含k個(gè)解釋變量的回歸方程而言 待估計(jì)的參數(shù)個(gè)數(shù)為k 1 包括常數(shù)項(xiàng) 在我們根據(jù)最小殘差平方和求偏導(dǎo)的過程中 會(huì)得到 k 1 個(gè)方程構(gòu)成的方程組 這k 1個(gè)方程實(shí)際上構(gòu)成了對(duì)殘差的k 1個(gè)限制條件所以凡是涉及到殘差構(gòu)成的統(tǒng)計(jì)量 自由度就會(huì)減少k 1個(gè) 例如顯著性檢驗(yàn)中的t檢驗(yàn)和f檢驗(yàn)的自由度等 什么是自由度 一 擬合優(yōu)度檢驗(yàn) 2 赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則 為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度 常用的標(biāo)準(zhǔn)還有 赤池信息準(zhǔn)則 Akaikeinformationcriterion AIC 施瓦茨準(zhǔn)則 Schwarzcriterion SC 這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量 Eviews的估計(jì)結(jié)果顯示 中國(guó)居民消費(fèi)一元例中 AIC 7 09AC 7 19中國(guó)居民消費(fèi)二元例中 AIC 6 68AC 6 83 問題 前期人均居民消費(fèi)CONSP 1 是否應(yīng)包括在模型中 答 應(yīng)該 因?yàn)锳IC和AC值都降低了 這說(shuō)明增加的變量具有解釋能力 應(yīng)該包括在模型中 二 方程的顯著性檢驗(yàn) F檢驗(yàn) 方程的顯著性檢驗(yàn) 旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷 1 方程顯著性的F檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ蚘i 0 1X1i 2X2i kXki ii 1 2 n中的參數(shù) j是否顯著不為0 可提出如下原假設(shè)與備擇假設(shè) H0 0 1 2 k 0H1 j不全為0 F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式 TSS ESS RSS 如果這個(gè)比值較大 則X的聯(lián)合體對(duì)Y的解釋程度高 可認(rèn)為總體存在線性關(guān)系 反之總體上可能不存在線性關(guān)系 因此 可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí) 在原假設(shè)H0成立的條件下 統(tǒng)計(jì)量 服從自由度為 k n k 1 的F分布 給定顯著性水平 可得到臨界值F k n k 1 由樣本求出統(tǒng)計(jì)量F的數(shù)值 通過F F k n k 1 或F F k n k 1 來(lái)拒絕或接受原假設(shè)H0 以判定原方程總體上的線性關(guān)系是否顯著成立 對(duì)于中國(guó)居民人均消費(fèi)支出的例子 一元模型 F 285 92二元模型 F 2057 3 給定顯著性水平 0 05 查分布表 得到臨界值 一元例 F 1 21 4 32二元例 F 2 19 3 52 顯然有F F k n k 1 即二個(gè)模型的線性關(guān)系在95 的水平下顯著成立 46 2 擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)的關(guān)系 二者原理不同 擬合優(yōu)度是檢驗(yàn)估計(jì)模型對(duì)樣本觀測(cè)值的擬合程度F檢驗(yàn)是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性相關(guān)關(guān)系的顯著性二者方法不同 擬合優(yōu)度檢驗(yàn)直接構(gòu)造了統(tǒng)計(jì)量F檢驗(yàn)采用的是數(shù)理統(tǒng)計(jì)中的假設(shè)檢驗(yàn)二者有具有相關(guān)性 模型對(duì)樣本觀測(cè)值的擬合程度高 模型總體線性關(guān)系的顯著性就強(qiáng) 2 擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)的關(guān)系 可推出 與 或 由 48 例題 多項(xiàng)選擇題 根據(jù)可決系數(shù)R2與F統(tǒng)計(jì)量之間的關(guān)系 下列哪個(gè)選項(xiàng)是正確的 p76A R2 1時(shí) F無(wú)窮大B R2 1時(shí) F 1C 0時(shí) F 1D 0時(shí) F無(wú)窮大 答案 AC 49 例題 判斷題 1 可決系數(shù)R2衡量的是樣本回歸線對(duì)樣本觀測(cè)值的擬合程度 2 F統(tǒng)計(jì)量是對(duì)模型總體線性相關(guān)性的檢驗(yàn) 答案 對(duì) 答案 對(duì) 在中國(guó)居民人均收入 消費(fèi)一元模型中 在中國(guó)居民人均收入 消費(fèi)二元模型中 R2要多大才算模型顯著 三 變量的顯著性檢驗(yàn) t檢驗(yàn) 方程的總體線性關(guān)系顯著 每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的 因此 必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn) 以決定是否作為解釋變量被保留在模型中 這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的 1 t統(tǒng)計(jì)量 根據(jù)前面估計(jì)量有效性證明結(jié)論 有 以cii表示矩陣 X X 1主對(duì)角線上的第i個(gè)元素 于是參數(shù)估計(jì)量的方差為 其中 2為隨機(jī)誤差項(xiàng)的方差 在實(shí)際計(jì)算時(shí) 用它的估計(jì)量代替 因此 可構(gòu)造如下t統(tǒng)計(jì)量 2 t檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè) H1 i 0 給定顯著性水平 可得到臨界值t 2 n k 1 由樣本求出統(tǒng)計(jì)量t的數(shù)值 通過 t t 2 n k 1 或 t t 2 n k 1 來(lái)拒絕或接受原假設(shè)H0 從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中 H0 i 0 i 1 2 k 注意 一元線性回歸中 t檢驗(yàn)與F檢驗(yàn)一致 一方面 t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0 1 0進(jìn)行檢驗(yàn) 另一方面 兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系 在中國(guó)居民人均收入 消費(fèi)支出二元模型例中 由應(yīng)用軟件計(jì)算出參數(shù)的t值 給定顯著性水平 0 05 查得相應(yīng)臨界值 t0 025 19 2 093 可見 計(jì)算的所有t值都大于該臨界值 所以拒絕原假設(shè) 即 包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95 的水平下顯著 都通過了變量顯著性檢驗(yàn) 四 參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來(lái)考察 在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多 近 在變量的顯著性檢驗(yàn)中已經(jīng)知道 容易推出 在 1 的置信水平下 i的置信區(qū)間是 其中 t 2為顯著性水平為 自由度為n k 1的臨界值 在中國(guó)居民人均收入 消費(fèi)支出二元模型例中 給定 0 05 查表得臨界值 t0 025 19 2 093 計(jì)算得參數(shù)的置信區(qū)間 0 44 284 197 116 1 0 0937 0 3489 2 0 0951 0 8080 從回歸