Eviews數據統(tǒng)計與分析教程5章ppt課件.ppt

第5章基本回歸模型的OLS估計重點內容 普通最小二乘法線性回歸模型的估計線性回歸模型的檢驗 一 普通最小二乘法 OLS 1 最小二乘原理 設 x1 y1 x2 y2 xn yn 是平面直角坐標系下的一組數據 且x1 x2 xn 如果這組圖像接近于一條直線 我們可以確定一條直線y a bx 使得這條直線能反映出該組數據的變化 如果用不同精度多次觀測一個或多個未知量 為了確定各未知量的可靠值 各觀測量必須加改正數 使其各改正數的平方乘以觀測值的權數的總和為最小 因而稱最小二乘法 一 普通最小二乘法 OLS 1 最小二乘原理 設雙變量的總體回歸方程為yt B1 B2xt t樣本回歸函數為yt b1 b2xt et其中 et為殘差項 5 3式為估計方程 b1和b2分別為B1和B2的估計量 因而e 實際的yt 估計的yt 一 普通最小二乘法 OLS 1 最小二乘原理 估計總體回歸函數的最優(yōu)方法是選擇B1和B2的估計量b1 b2 使得殘差et盡可能達到最小 用公式表達即為總之 最小二乘原理就是選擇樣本回歸函數使得y的估計值與真實值之差的平方和最小 一 普通最小二乘法 OLS 2 方程對象 選擇工作文件窗口工具欄中的 Object NewObject Equation 選項 在下圖所示的對話框中輸入方程變量 一 普通最小二乘法 OLS 2 方程對象 EViews5 1提供了8種估計方法 LS 為最小二乘法 TSLS 為兩階段最小二乘法 GMM 為廣義矩法 ARCH 為自回歸條件異方差 BINARY 為二元選擇模型 其中包括Logit模型 Probit模型和極端值模型 ORDERED 為有序選擇模型 CENSORED 截取回歸模型 COUNT 為計數模型 二 一元線性回歸模型1 模型設定 一元線性回歸模型的形式為yi 0 1xi ui i 1 2 n 其中 y為被解釋變量 也被稱為因變量 x為解釋變量或自變量 u是隨機誤差項 randomerrorterm 也被稱為誤差項或擾動項 它表示除了x之外影響y的因素 即y的變化中未被x所解釋的部分 n為樣本個數 二 一元線性回歸模型2 實際值 擬合值和殘差 估計方程為表示的是yt的擬合值 和分別是 0和 1的估計量 實際值指的是回歸模型中被解釋變量 因變量 y的原始觀測數據 擬合值就是通過回歸模型計算出來的yt的預測值 二 一元線性回歸模型2 實際值 擬合值和殘差 三條曲線分別是實際值 Actual 擬合值 Fitted 和殘差 Residual 實際值和擬合值越接近 方程擬合效果越好 三 多元線性回歸模型 通常情況下 將含有多個解釋變量的線性回歸模型 多元線性回歸模型 寫成如下形式 yi 0 1x1i 2x2i 3x3i kxki ui i 1 2 n 其中 y為被解釋變量 也被稱為因變量 x為解釋變量或自變量 u是隨機誤差項 randomerrorterm 也被稱為誤差項或擾動項 n為樣本個數 三 多元線性回歸模型 在多元線性回歸模型中 要求解釋變量x1 x2 xk之間互不相關 即該模型不存在多重共線性問題 如果有兩個變量完全相關 就出現了完全多重共線性 這時參數是不可識別的 模型無法估計 三 多元線性回歸模型 通常情況下 把多元線性回歸方程中的常數項看作虛擬變量的系數 在參數估計過程中該常數項始終取值為1 因而模型的解釋變量個數為k 1 多元回歸模型的矩陣形式為Y X u其中 Y是因變量觀測值的T維列向量 X是所有自變量 包括虛擬變量 的T個樣本點觀測值組成的T k 1 的矩陣 是k 1維系數向量 u是T維擾動項向量 四 線性回歸模型的基本假定 線性回歸模型必須滿足以下幾個基本假定 假定1 隨機誤差項u具有0均值和同方差 即E ui 0i 1 2 nVar ui 2i 1 2 n其中 E表示均值 也稱為期望 在這里隨機誤差項u的均值為0 Var表示隨機誤差項u的方差 對于每一個樣本點i 即在i 1 2 n的每一個數值上 解釋變量y對被解釋變量x的條件分布具有相同的方差 當這一假定條件不成立是 稱該回歸模型存在異方差問題 四 線性回歸模型的基本假定 假定2 不同樣本點下的隨機誤差項u之間是不相關的 即Cov ui uj 0 i j i j 1 2 n其中 cov表示協(xié)方差 當此假定條件不成立時 則稱該回歸模型存在序列相關問題 也稱為自相關問題 四 線性回歸模型的基本假定 假定3 同一個樣本點下的隨機誤差項u與解釋變量x之間不相關 即Cov xi ui 0i 1 2 n 四 線性回歸模型的基本假定 假定4 隨機誤差項u服從均值為0 同方差的正態(tài)分布 即u N 0 2 如果回歸模型中沒有被列出的各因素是獨立的隨機變量 則隨著這些隨機變量個數的增加 隨機誤差項u服從正態(tài)分布 四 線性回歸模型的基本假定 假定5 解釋變量x1 x2 xi是非隨機的確定性變量 并且解釋變量間互不相關 則這說明yi的概率分布具有均值 即E yi xi E 0 1xi ui 0 1xi該式被稱為總體回歸函數 如果兩個或多個解釋變量間出現了相關性 則說明該模型存在多重共線性問題 五 線性回歸模型的檢驗1 擬合優(yōu)度檢驗 擬合優(yōu)度檢驗用來驗證回歸模型對樣本觀測值 實際值 的擬合程度 可通過R2統(tǒng)計量來檢驗 五 線性回歸模型的檢驗1 擬合優(yōu)度檢驗 公式三者的關系為TSS RSS ESSTSS為總體平方和 RSS為殘差平方和 ESS為回歸平方和 五 線性回歸模型的檢驗1 擬合優(yōu)度檢驗 總體平方和 TSS 反映了樣本觀測值總體離差的大小 也被稱為離差平方和 殘差平方 RSS 說明的是樣本觀測值與估計值偏離的程度 反映了因變量總的波動中未被回歸模型所解釋的部分 回歸平方和 ESS 反映了擬合值總體離差大小 這個擬合值是根據模型解釋變量算出來的 五 線性回歸模型的檢驗1 擬合優(yōu)度檢驗 擬合優(yōu)度R2的計算公式為R2 ESS TSS 1 RSS TSS當回歸平方 ESS 和與總體平方和 TSS 較為接近時 模型的擬合程度較好 反之 則模型的擬合程度較差 因此 模型的擬合程度可通過這兩個指標來表示 五 線性回歸模型的檢驗2 顯著性檢驗 變量顯著性檢驗 t檢驗 檢驗中的原假設為 H0 i 0 備擇假設為 H1 i 0 如果原假設成立 表明解釋變量x對被解釋變量y沒有顯著的影響 當原假設不成立時 表明解釋變量x對被解釋變量y有顯著的影響 此時接受備擇假設 五 線性回歸模型的檢驗2 顯著性檢驗 方程顯著性檢驗 F檢驗 原假設為 H0 1 0 2 0 k 0 備擇假設為 H1 i中至少有一個不為0 如果原假設成立 表明解釋變量x對被解釋變量y沒有顯著的影響 當原假設不成立時 表明解釋變量x對被解釋變量y有顯著的影響 此時接受備擇假設 五 線性回歸模型的檢驗2 顯著性檢驗 方程顯著性檢驗 F檢驗 F統(tǒng)計量為該統(tǒng)計量服從自由度為 k n k 1 的F分布 給定一個顯著性水平 當F統(tǒng)計量的數值大于該顯著性水平下的臨界值F k n k 1 時 則在 1 的水平下拒絕原假設H0 即模型通過了方程的顯著性檢驗 模型的線性關系顯著成立 五 線性回歸模型的檢驗3 異方差性檢驗 1 圖示檢驗法圖示檢驗法通過散點圖來判斷用OLS方法估計的模型異方差性 這種方法較為直觀 通常是先將回歸模型的殘差序列和因變量一起繪制一個散點圖 進而判斷是否存在相關性 如果兩個序列的相關性存在 則該模型存在異方差性 五 線性回歸模型的檢驗3 異方差性檢驗 1 圖示檢驗法檢驗步驟 建立方程對象進行模型的OLS 最小二乘 估計 此時產生的殘差保存在主窗口界面的序列對象resid中 建立一個新的序列對象 并將殘差序列中的數據復制到新建立的對象中 然后選擇主窗口中的 Quick Graph Scatter 選項 生成散點圖 進而可判斷隨機項是否存在異方差性 五 線性回歸模型的檢驗3 異方差性檢驗 2 懷特 White 檢驗法檢驗步驟 用OLS 最小二乘法 估計回歸方程 得到殘差e 作輔助回歸模型 求輔助回歸模型的擬合優(yōu)度R2的值 White檢驗的統(tǒng)計量服從 2分布 即N R2 2 k 其中 N為樣本容量 k為自由度 k等于輔助回歸模型 中解釋變量的個數 如果 2值大于給點顯著性水平下對應的臨界值 則可以拒絕原假設 即存在異方差 反之 接受原假設 即不存在異方差 五 線性回歸模型的檢驗3 異方差性檢驗 2 懷特 White 檢驗法White檢驗的統(tǒng)計量服從 2分布 即N R2 2 k 其中 N為樣本容量 k為自由度 k等于輔助回歸模型 中解釋變量的個數 如果 2值大于給點顯著性水平下對應的臨界值 則可以拒絕原假設 即存在異方差 反之 接受原假設 即不存在異方差 五 線性回歸模型的檢驗3 異方差性檢驗 2 懷特 White 檢驗法在EViews5 1軟件中選擇方程對象工具欄中的 View ResidualTests WhiteHeteroskedasticity 選項即可完成操作 五 線性回歸模型的檢驗3 異方差性檢驗 異方差性的后果 當模型出現異方差性時 用OLS 最小二乘估計法 得到的估計參數將不再有效 變量的顯著性檢驗 t檢驗 失去意義 模型不再具有良好的統(tǒng)計性質 并且模型失去了預測功能 五 線性回歸模型的檢驗4 序列相關檢驗 方法 1 杜賓 D W Durbin Watson 檢驗法 2 LM 拉格朗日乘數 LagrangeMultiplier 檢驗法 五 線性回歸模型的檢驗4 序列相關檢驗 1 杜賓 D W Durbin Watson 檢驗法J Durbin G S Watson于1950年提出了D W 檢驗法 它是通過對殘差構成的統(tǒng)計量來判斷誤差項ut是否存在自相關 D W 檢驗法用來判定一階序列相關性的存在 D W 的統(tǒng)計量為 五 線性回歸模型的檢驗4 序列相關檢驗 1 杜賓 D W Durbin Watson 檢驗法如果 0 D W dt 存在一階正自相關dt D W du 不能確定是否存在自相關du D W 4 du 不存在自相關4 du D W 4 dt不能確定是否存在自相關4 dt D W 4 存在一階負自相關 五 線性回歸模型的檢驗4 序列相關檢驗 1 杜賓 D W Durbin Watson 檢驗法使用D W 檢驗時應注意 因變量的滯后項yt 1不能作為回歸模型的解釋變量 否則D W 檢驗失效 另外 樣本容量應足夠大 一般情況下 樣本數量應在15個以上 五 線性回歸模型的檢驗4 序列相關檢驗 2 LM 拉格朗日乘數 LagrangeMultiplier 檢驗法LM檢驗原假設和備擇假設分別為 H0 直到p階滯后不存在序列相關H1 存在p階序列相關LM的統(tǒng)計量為LM n R2 2 p 其中 n為樣本容量 R2為輔助回歸模型的擬合優(yōu)度 LM統(tǒng)計量服從漸進的 2 p 在給定顯著性水平的情況下 如果LM統(tǒng)計量小于設定在該顯著性水平下的臨近值 則接受原假設 即直到p階滯后不存在序列相關 五 線性回歸模型的檢驗4 序列相關檢驗 序列相關性的后果 用OLS 最小二乘估計法 得到的估計參數將不再有效 變量的顯著性檢驗 t檢驗 失去意義 模型不再具有良好的統(tǒng)計性質 并且模型失去了預測功能 五 線性回歸模型的檢驗5 多重共線性 方法 1 相關系數檢驗法 2 逐步回歸法 五 線性回歸模型的檢驗5 多重共線性 1 相關系數檢驗法在群對象窗口的工具欄中選擇 View Correlations CommonSample 選項 即可得到變量間的相關系數 如果相關系數較高 則變量間可能存在線性關系 即模型有多重共線性的可能 五 線性回歸模型的檢驗5 多重共線性 2 逐步回歸法當在回歸模型中增加或減