chapter9模型設(shè)定.ppt

第九章 模型設(shè)定和數(shù)據(jù)問題的深入探討,9.1函數(shù)形式誤設(shè) 9.2對無法觀測解釋變量使用代理變量 9.3隨機(jī)斜率模型 9.4有測量誤差時(shí)OLS的性質(zhì) 9.5數(shù)據(jù)缺失、非隨機(jī)樣本和異常觀測,9.1函數(shù)形式的誤設(shè),回憶經(jīng)典線性模型中一個(gè)隱含的假設(shè)：回歸模型是正確設(shè)定的 如果模型未被正確設(shè)定，那么我們就遇到“模型設(shè)定誤差”或“模型設(shè)定偏誤”. 1.我們?nèi)绾伟l(fā)現(xiàn)模型是“正確的”? 2.我們經(jīng)常會(huì)遇到哪些類型的“模型設(shè)定誤差”? 3.設(shè)定誤差的后果有哪些? 4.如何檢驗(yàn)設(shè)定誤差? 5.采取那些補(bǔ)救措施？ 6.如何評價(jià)幾個(gè)表現(xiàn)不相上下的模型的優(yōu)劣？,9.1.1模型選擇準(zhǔn)則,數(shù)據(jù)容納性：從模型所作出的預(yù)測符合邏輯 與理論一致 回歸元的弱外生性：解釋變量與誤差不相關(guān) 參數(shù)不變性：參數(shù)值穩(wěn)定，否則預(yù)測會(huì)困難 表現(xiàn)出數(shù)據(jù)的協(xié)調(diào)性：殘差必須完全隨機(jī) 模型具有包容性：其他模型都不可能再改進(jìn)我們的模型。,9.1.2模型設(shè)定誤差的類型及危害,遺漏有關(guān)變量很可能產(chǎn)生偏誤 包含一個(gè)無關(guān)變量估計(jì)量方差變大 采用了錯(cuò)誤的函數(shù)形式 測量誤差 對隨機(jī)誤差項(xiàng)不正確的設(shè)定 隨機(jī)誤差項(xiàng)是以乘積形式進(jìn)入模型，還是以相加形式進(jìn)入模型。,9.1.3模型設(shè)定誤差的檢驗(yàn) 9.1.3.1檢驗(yàn)是否含有無關(guān)變量,通過t-檢驗(yàn)去檢驗(yàn)一個(gè)變量參數(shù)的顯著性。 通過F-檢驗(yàn)去檢驗(yàn)一組變量參數(shù)的顯著性。,注意，并不能完全依賴統(tǒng)計(jì)檢驗(yàn)， 還要注意經(jīng)濟(jì)或?qū)嶋H上的顯著性。,9.1.3.2檢驗(yàn)遺漏變量和函數(shù)形式誤設(shè),殘差分析：可用于檢驗(yàn)遺漏變量和函數(shù)形式誤設(shè),逐漸趨于真實(shí)模型,回歸設(shè)定誤差檢驗(yàn)（RESET） 思路： 如果下面的模型滿足MLR.4 那么如果在模型中添加自變量的非線性關(guān)系應(yīng)該是不顯著的。,RESET檢驗(yàn)的過程：,考慮擴(kuò)大方程 y = b0 + b1x1 + + bkxk + d12 + d13 +u 檢驗(yàn)H0: d1 = 0, d2 = 0 注意：FF2,n-k-3 or LM22,自由度： n-k-1-2,Example：住房價(jià)格方程,比較兩個(gè)模型的RESET統(tǒng)計(jì)量： Price= b0+b1lotsize+b2sqrft+b3bdrms+u F=4.67，p=0.012 lPrice= b0+b1llotsize+b2lsqrft+b3bdrms+u F=2.56，p=0.084,被拒絕,不能被拒絕,9.1,小結(jié)：,RESET檢驗(yàn)的優(yōu)勢是不需要設(shè)立對立模型 RESET檢驗(yàn)的重要缺陷是如果方程被拒絕，它不能告訴我們應(yīng)該如何修正我們的錯(cuò)誤模型。,9.1.4對非嵌套模型的檢驗(yàn),如果我們要在下列兩個(gè)非嵌套模型中選擇： 我們可以使用兩類方法 判別方法 檢驗(yàn)方法,判別方法,兩個(gè)模型優(yōu)劣判斷必須基于相同的因變量 然后基于R2或調(diào)整的R2來判斷 還有其他準(zhǔn)則可以用以判斷：赤池信息準(zhǔn)則（AIC）、施瓦茲信息準(zhǔn)則（SIC）和馬婁斯的Cp準(zhǔn)則,赤池信息準(zhǔn)則（AIC）,對模型中增加回歸元施加了更嚴(yán)厲的懲罰 在比較兩個(gè)模型時(shí)，具有最低AIC的模型優(yōu)先 AIC的優(yōu)越性在于，不僅適用于樣本內(nèi)預(yù)測，還適用于預(yù)測樣本外模型的表現(xiàn)。 嵌套模型、非嵌套模型都適用。,施瓦茲信息準(zhǔn)則（SIC）,對模型中增加回歸元施加了比AIC更嚴(yán)厲的懲罰 SIC的值越低越好 SIC也可以用于比較模型在樣本內(nèi)與樣本外的預(yù)測表現(xiàn)。,馬婁斯的Cp準(zhǔn)則（軟件不能給出）,若模型有p個(gè)回歸元，則 若模型是正確設(shè)定的，則 注：上述幾個(gè)準(zhǔn)則，不存在誰更優(yōu)于誰,檢驗(yàn)方法,方法一：（Mizon and Richard，1986） 分別檢驗(yàn)：,綜合模型,檢驗(yàn)（2）,檢驗(yàn)（1）,這種檢驗(yàn)程序存在的問題,（1）（2）兩模型中的回歸元如果存在高度相關(guān)，則綜合模型就存在高度多重共線性。這可能使正確模型中的參數(shù)檢驗(yàn)不顯著。,（2）的擬合值,方法二：戴維森-麥金農(nóng) J檢驗(yàn) 思想：如果（1）正確，那么（2）中的擬合值y在（1）中作為解釋變量時(shí)應(yīng)該是不顯著的。 對模型 檢驗(yàn)： 對模型 檢驗(yàn)：,不能拒絕則說明1兼容2,（1）的擬合值,不能拒絕則說明2兼容1,評價(jià)J檢驗(yàn)：,可能兩個(gè)模型都被拒絕，或都沒有被拒絕。那么我們就得不到明確的答案。 檢驗(yàn)中擬合值的t統(tǒng)計(jì)量是漸近的服從t分布的，因此，在小樣本中，J檢驗(yàn)會(huì)過多的拒絕真模型。,9.2對無法觀測的解釋變量使用代理變量 9.2.1代理變量和植入解,考慮工資模型,如果因?yàn)闊o法觀測而放入誤差項(xiàng)，則可能會(huì)導(dǎo)致嚴(yán)重偏誤，這時(shí)考慮代理變量IQ,可以測量，與無法觀測的變量高度相關(guān),無法觀測的變量,遺漏變量問題的植入解,植入解得到無偏估計(jì)量的假設(shè)：,u與x1、x2、x3*以及x3都不相關(guān) v3與x1、x2、x3都不相關(guān) E(x3* | x1, x2, x3) = E(x3* | x3) = d0 + d3x3 y = (b0 + b3d0) + b1x1+ b2x2 + b3d3x3 + (u + b3v3),新截距,代理變量的斜率,新誤差項(xiàng),無偏估計(jì)量,代理變量只與x3有關(guān)，與其他自變量無關(guān),如果代理變量與其他自變量也相關(guān)，則會(huì)出現(xiàn)偏誤！,偏誤,9.3,9.2.2用滯后因變量作為代理變量,如果無法確定遺漏變量的代理變量究竟應(yīng)該是什么，那么可以選擇較早時(shí)期的因變量作為代理變量。 例如，某些城市過去有較高的犯罪率，同時(shí)導(dǎo)致現(xiàn)在和過去犯罪率很高的無法觀測因素中，許多都是相同的。,Example：城市犯罪率,Crime表示人均犯罪次數(shù)，unem表示城市失業(yè)率，expend表示執(zhí)法的人均支出，crime-1表示以前某個(gè)年度的犯罪率,9.3隨機(jī)斜率模型,如果一個(gè)變量的偏效應(yīng)是隨某些無法觀測的因素而變化的，這就會(huì)產(chǎn)生隨機(jī)斜率模型。 例如：工資方程,對于不同的人，多讀一年書的偏效應(yīng)是不同的取決于個(gè)人能力,對于沒有讀過書的人，工資水平是不同的取決于個(gè)人能力,對于我們的n個(gè)觀測者：,我們有n個(gè)ai，=E（ai） 我們有n個(gè)bi，=E(bi) 對于某個(gè)觀測者，如果ai=+ci， bi=+di其隨機(jī)斜率模型為： y=ai+bixi=+ci+(+di)xi=+xi+ui 其中ui=ci+dixi,平均邊際效應(yīng),平均截距,隨機(jī)斜率模型可以寫為常系數(shù)模型，但是其誤差與x有關(guān)異方差,隨機(jī)斜率模型是否有偏？,E(ui|x)= E(ci|x) +xi E(di|x) = E(ai|x)-+ xi E(bi|x)- 如果E(ai|x)=，E(bi|x)=則E(ui|x)=0,ui=ci+dixi,注意到：ai=+ci， bi=+di,注意=E(ai)，=E(bi),允許斜率因人而異，但只要他們的均值獨(dú)立于解釋變量，則OLS估計(jì)量就是無偏的,9.4有測量誤差時(shí)OLS的性質(zhì),測量誤差是模型設(shè)定偏誤的又一種情況 測量誤差來自于兩種情況 1.因變量的測量誤差 2.自變量的測量誤差,9.4.1因變量中的測量誤差,測量誤差的例子：我們想要“家庭年收入”，但是被調(diào)查者只為我們提供了家庭成員的工資總收入，實(shí)際上投資收益被忽略了，此時(shí)產(chǎn)生了測量誤差。 令y*表示因變量的真實(shí)值，y表示觀測值 測量誤差e=y-y*,存在測量誤差會(huì)導(dǎo)致OLS估計(jì)量的性質(zhì)發(fā)生什么變化？,測量誤差的均值為0，且測量誤差和解釋變量無關(guān),對于真實(shí)情況（滿足高斯-馬爾科夫假定） 而我們回歸的方程為 如果也滿足滿足高斯-馬爾科夫假定，則估計(jì)量是有效地，即 E（e|x）=0 存在測量誤差時(shí)，誤差方差會(huì)增大。,小結(jié)：,如果因變量的測量誤差與解釋變量系統(tǒng)相關(guān)，則會(huì)導(dǎo)致OLS的偏誤。 如果測量誤差只是一個(gè)與解釋變量無關(guān)的隨機(jī)誤差，則OLS完全適用，但會(huì)加大估計(jì)量的方差。,9.4.2解釋變量中的測量誤差,令x*表示因變量的真實(shí)值，x表示觀測值 對于解釋變量x1的測量誤差e1=x1-x1* 假設(shè)E（e1）=0,E（u- 1e1 |x）=0?,0(根據(jù)假定),e1=x1-x1*,自變量測量誤差在兩類假定下的影響,保證了估計(jì)量的一致性,誤差方差加大,假定一：Cov（x1，e1）=0 E（u- 1e1 |x1）=0 Var（u-1e1） Var（u） 假定二（經(jīng)典變量誤差假定CEV）：Cov（x1*，e1）=0 Cov（x1，e1）=E（x1e1） = E（x1*e1）+E（e12）=Var(e1) Cov（x1，u-1e1）=- 1 Var(e1),在CEV假定下，OLS將給出有偏的不一致的估計(jì)量,在CEV假定下的偏誤,回憶第5章漸進(jìn)偏誤的定義： 在CEV假定下的偏誤,衰減偏誤,小結(jié)：,如果自變量存在測量誤差，且滿足CEV，則估計(jì)量會(huì)產(chǎn)生衰減偏誤。 但如果測量誤差的方差Var（e1）相對于自變量真實(shí)值的方差Var（x1*）很小的話，則測量誤差不會(huì)導(dǎo)致很大偏差。,這時(shí)，我們可以忽略自變 量測量誤差導(dǎo)致的偏誤。 但困難在于Var（e1）和 Var（x1*）不易觀測。,另一種方法是使用工具變量或代理變量，它們與觀測值X高度相關(guān)，但與方程誤差和測量誤差（、e）都不相關(guān)。那么我們就能得到的一致估計(jì)。 因此，自變量的觀測值要盡量準(zhǔn)確。,也比較困難,9.5數(shù)據(jù)缺失、非隨機(jī)樣本和異常觀測 9.5.1數(shù)據(jù)缺失（missing data）,如果一個(gè)觀測缺失了其因變量或一個(gè)自變量，那么這個(gè)觀測就不能用于多元回歸分析。 如果數(shù)據(jù)是隨機(jī)缺失的，那么除了減少了樣本容量而導(dǎo)致估計(jì)量沒有那么準(zhǔn)確以外，不會(huì)引起任何偏誤。,9.5.2非隨機(jī)樣本,如果數(shù)據(jù)缺失是非隨機(jī)的，那么將導(dǎo)致樣本變?yōu)榉请S機(jī)樣本。,在嬰兒出生的數(shù)據(jù)集中，如果受教育程度低的人 缺失數(shù)據(jù)的概率大。,違背MLR.2,外生樣本選擇不會(huì)有偏誤,內(nèi)生樣本選擇會(huì)有偏誤,外生樣本選擇：基于自變量 例如 內(nèi)生樣本選擇：基于因變量 例如,假設(shè)我們針對35歲以上的人群調(diào)查，則得到非隨機(jī)樣本不會(huì)導(dǎo)致偏誤,假設(shè)我們針對財(cái)富不足25萬的人群調(diào)查，也得到非隨機(jī)樣本導(dǎo)致偏誤,9.5.3異常觀測,異常觀測值也可以定義為殘差很大的觀測值。 如果將一個(gè)觀測從數(shù)據(jù)集中去掉會(huì)使得OLS估計(jì)量發(fā)生很大變化，則這個(gè)觀測就是異常觀測。,這個(gè)很大的殘差會(huì)因?yàn)樗?和回歸線的垂直距離很大 而把回歸線向自己拉近， 從而改變回歸線的斜率。,異常數(shù)據(jù)的性質(zhì),對所有數(shù)據(jù)的OLS線,除去異常觀測值的OLS線,不是異常觀測值,是異常觀測值,由于OLS是對殘差平方進(jìn)行最小化，所以O(shè)LS估計(jì)量對異常觀測值十分敏感。 一組觀測值中可能不止一個(gè)異常觀測值。 不加思索的將異常觀測值從樣本中去掉不是明智的選擇。除非異常觀測是由于記錄發(fā)生錯(cuò)誤而導(dǎo)致，否則異常觀測值可能記