邏輯回歸模型分析報告見解

1、標準文檔實用文案邏輯回歸模型1.1 邏輯回歸模型考慮具有 p 個獨立變量的向量，設條件概率為根據(jù)觀測量相對于某事件發(fā)生的概率。邏輯回歸模型可表示為. ； （ 1.1）上式右側(cè)形式的函數(shù)稱為稱為邏輯函數(shù)。下圖給出其函數(shù)圖象形式。個具有 k 個取值的名義變量，將變?yōu)?k-1 個 dummy 變量。這樣，有那么，事件發(fā)生與事件不發(fā)生的概率之比為這個比值稱為事件的發(fā)生比（the odds of experiencing an event）,簡稱為 odds。因為 0p0。對 odds 取對數(shù)，即得到線性函數(shù)，呵（:-島8用-+：一.6州- . （ 1.5）1.2 極大似然函數(shù)其中二-。如果含有名義變量

2、,則將其變?yōu)?dummy 變量。(1.3)戶（工二|力二F二護代P（O|x）-p(1.4)定義不發(fā)生事件的條件概率為1標準文檔實用文案假設有 n 個觀測樣本，觀測值分別為 】匚設一-:-為給定條件下標準文檔實用文案得到一 的概率。在同樣條件下得到二-1的條件概率為 = 0|）=1-。于是,得到一個觀測值的概率為口打 /（ 1.6）因為各項觀測獨立，所以它們的聯(lián)合分布可以表示為各邊際分布的乘積。/（Q 二 fl 加計1 班勁 7（1.7）上式稱為 n 個觀測的似然函數(shù)。我們的目標是能夠求出使這一似然函數(shù)的值最大的參數(shù)估 計。于是，最大似然估計的關(guān)鍵就是求出參數(shù)必二小上，使上式取得最大值。對上述函

3、數(shù)求對數(shù).1I（ 1.8）對此函數(shù)求導，得到 p+1 個似然方程。上式稱為似然方程。為了解上述非線性方程，應用牛頓拉斐森（Newton-Raphson）方法進行 迭代求解。牛頓拉斐森迭代法對二,1求二階偏導數(shù)，即 Hessian 矩陣為如果寫成矩陣形式，以 H表示Hessian 矩陣，X表示耳 1？邯（1.11 ）上式稱為對數(shù)似然函數(shù)。為了估計能使匸取得最大的參數(shù)的值。(1.9)j=1,2,.,p.二心碼（1羽）J-1(1.10)j.iVr標準文檔實用文案令得牛頓迭代法的形式為(1.13)注意到上式中矩陣 H為對稱正定的，求解二 即為求解線性方程 HX = U中的矩陣 X。對 H進行 chol

4、esky 分解。最大似然估計的漸近方差(asymptotic varianee)和協(xié)方差(covarianee)可以由信息矩陣(information matrix)的逆矩陣估計出來。而信息矩陣實際上是川二階導數(shù)的負值，8乜(肉/ 二-1斥表示為疔：。估計值的方差和協(xié)方差表示為- ,也就是說，估計值的方差為矩陣 I的逆矩陣的對角線上的值，而估計值-;和- 的協(xié)方差為除了對角線以外的值。然而在多數(shù)情況，我們將使用估計值的標準方差，表示為2上】忙 -，for j=o,1,2,p (1.14 )顯著性檢驗下面討論在邏輯回歸模型中自變量 i 是否與反應變量顯著相關(guān)的顯著性檢驗。零假設 * = 0 (表

5、示自變量 對事件發(fā)生可能性無影響作用)。如果零假設被拒絕，說明事件發(fā)生可能性依賴于、的變化。Wald test對回歸系數(shù)進行顯著性檢驗時，通常使用爲磁: - (1(1.12 )u =1殆1%-W4*切*則袈。再令 911和a(注：前一個矩陣需轉(zhuǎn)置)，即似然方程的矩陣形式。AvWald 檢驗，其公式為(2.1 )標準文檔實用文案(&)F標準文檔實用文案其中，浪紗為 A 的標準誤差。這個單變量 Wald 統(tǒng)計量服從自由度等于 1 的分布。如果需要檢驗假設 匚：止：匚；?。? 0,計算統(tǒng)計量其中，：為去掉所在的行和列的估計值，相應地，為去掉 所在的行和列的標 準誤差。這里， Wald 統(tǒng)計量

6、服從自由度等于 p 的分布。如果將上式寫成矩陣形式，有（2.3）矩陣 Q是第一列為零的一常數(shù)矩陣。例如，如果檢驗,則然而當回歸系數(shù)的絕對值很大時，這一系數(shù)的估計標準誤就會膨脹，于是會導致Wald統(tǒng)計值變得很小，以致第二類錯誤的概率增加。也就是說，在實際上會導致應該拒絕零假設時卻未能拒絕。所以當發(fā)現(xiàn)回歸系數(shù)的絕對值很大時，就不再用 Wald 統(tǒng)計值來檢驗零假設，而應該使用似然比檢驗來代替。似然比(Likelihood ratio test )檢驗在一個模型里面，含有變量與不含變量的對數(shù)似然值乘以-2 的結(jié)果之差，服從分布。這一檢驗統(tǒng)計量稱為似然比（likelihood ratio），用式子表示為

7、計算似然值采用公式（1.8 ）。倘若需要檢驗假設=0,計算統(tǒng)計量+i Ji.! .1-4 JiF昇-呻咸1上式中， 表示 I =0 的觀測值的個數(shù)，而 表示丄 1 的觀測值的個數(shù)，那么 n 就表示 所有觀測值的個數(shù)了。實際上，上式的右端的右半部分.-1 ;1_- 表示只含有的似然值。統(tǒng)計量 G 服從自由度為 p 的；分布Score 檢驗在零假設1：- = 0 下，設參數(shù)的估計值為-工，即對應的=0。計算 Score 統(tǒng)計 量的公式為肛二刖磁（夕）F(2.2 )G = -2fa(不含石似然）含有召似然丿(2.4)(2.5 )標準文檔實用文案上式中，.山：；表示在=0 下的對數(shù)似然函數(shù)(1.9 )

8、的一價偏導數(shù)值，而：學表示在一=0 下的對數(shù)似然函數(shù)(1.9 )的二價偏導數(shù)值。Score 統(tǒng)計量服從自由度等于 1 的 / 分布。模型擬合信息模型建立后，考慮和比較模型的擬合程度。有三個度量值可作為擬合的判斷根據(jù)。0976?45895? ?-2LogLikelihood0976?45895? ?Akaike 信息準則(Akaike In formation Criterio n.AlC = -2LogL+2(K+S)(2.8)其中 K為模型中自變量的數(shù)目，S 為反應變量類別總數(shù)減 1,對于邏輯回歸有-2LogL 的值域為 0 至二，其值越小說明擬合越好。當模型中的參數(shù)數(shù)量越大時，似然值也就越

9、大，-2LogL 就變小。因此，將 2(K+S)加到 AIC 公式中以抵銷參數(shù)數(shù)量產(chǎn)生的影響。在其它條件不變的情況下，較小的AIC 值表示擬合模型較好。0976?45895? ?Schwarz 準則這一指標根據(jù)自變量數(shù)目和觀測數(shù)量對-2LogL 值進行另外一種調(diào)整。SC 指標的定義為SC 二-2 必四+2(K+S)恤(2.9)其中 ln(n)是觀測數(shù)量的自然對數(shù)。這一指標只能用于比較對同一數(shù)據(jù)所設的不同模型。在 其它條件相同時，一個模型的AIC 或 SC 值越小說明模型擬合越好。回歸系數(shù)解釋3.1 發(fā)生比Y(1)連續(xù)自變量。對于自變量，每增加一個單位，odds rati on 為(2.6 )簡

10、寫為 AIC)S=2-1=1。odds=p/(1-p)率(odds rati on).標準文檔實用文案(3.1)標準文檔實用文案根據(jù)公式(2.6 )計算待進入模型變量的Score 檢驗值，并得到相應的P 值。找出最小的 p 值，如果此 p 值小于顯著性水平,則此變量進入模型。如果此變量 是某個名義變量的單面化 (dummy)變量，則此名義變量的其它單面化變理同時也進入模型。 不然，表明沒有變量可被選入模型。選擇過程終止。?7明?盠?回到(2)繼續(xù)下一次選擇。具體選擇程序如下常數(shù)(即截距)進入模型。(2)(3)(2)二分類自變量的發(fā)生比率。變量的取值只能為0 或 1,稱為dummy variab

11、le。當 i 取值為 1，對于取值為 0 的發(fā)生比率為(3.2)亦即對應系數(shù)的幕。(3)分類自變量的發(fā)生比率。如果一個分類變量包括 m 個類別，需要建立的dummyvariable的個數(shù)為 m-1,所省略的那個類另 U 稱作參照類(reference category) 。設 dummy variable為，其系數(shù)為照類，其發(fā)生比率為 1。3.2 邏輯回歸系數(shù)的置信區(qū)間對于置信度 1-亠，參數(shù) 的 100? (1 - _：)的置信區(qū)間為上式中，：為與正態(tài)曲線下的臨界乙值(critical valueA 為系數(shù)估計代的以-席 x s 卷 A+迓x翌標準誤差，.和fft-兩值便分別是置信區(qū)間的下限

12、和上限。當樣本較大時，= 0.05 水平的系數(shù)-：的 95?置信區(qū)間為A1 河?( 3.4 )變量選擇4.1 前向選擇(forward select ion 一次一個地加入模型。):在截距模型的基礎上，將符合所定顯著水平的自變量(1)標準文檔實用文案4.2 后向選擇(backward selection ):在模型包括所有候選變量的基礎上，將不符合保留 要求顯著水平的自變量一次一個地刪除。具體選擇程序如下(1)所有變量進入模型。根據(jù)公式(2.1 )計算所有變量的 Wald 檢驗值，并得到相應的p 值。(3) 找出其中最大的 p 值，如果此 P 值大于顯著性水平、則此變量被剔除。對于某個名義變量

13、的單面化變量，其最小 p 值大于顯著性水平，則此名義變量的其它單面化變量也 被刪除。不然，表明沒有變量可被剔除，選擇過程終止。(4) 回到(2)進行下一輪剔除。4.3 逐步回歸(stepwise selection)(1)基本思想：逐個引入自變量。每次引入對 Y影響最顯著的自變量，并對方程中的老變量逐個進行檢驗，把變?yōu)椴伙@著的變量逐個從方程中剔除掉，最終得到的方程中既不漏掉對 Y影響顯著的變量，又不包含對 Y影響不顯著的變量。篩選的步驟：首先給出引入變量的顯著性水平和剔除變量的顯著性水平“，然后按下圖篩選變量。乳7=工士 、-2JY、叫用丄I引小魚I(亦爲J一亠-.-卽冷J. I(3)逐步篩選

14、法的基本步驟逐步篩選變量的過程主要包括兩個基本步驟：一是從不在方程中的變量考慮引入新變量的步驟；二是從回歸方程中考慮剔除不顯著變量的步驟。假設有 p 個需要考慮引入回歸方程的自變量.?榵?明7明1榵7?凂?致?設僅有截距項的最大似然估計值為二。對 p 個自變量每個分別計算Score 檢驗值，設有最小 p 值的變量為-，且有“1/1，對于單面化(dummy)變量，也如此。若標準文檔實用文案 血 ，則此變量進入模型，不然停止。如果此變量是名義變量單面化(dummy)的變量,則此名義變量的其它單面化變量也進入模型。其中為引入變量的顯著性水平。?榵?明7明11榵7?凂?致?為了確定當變量在模型中時其它 p-1 個變量也是否重要，將/ -分 別與進行擬合。對 p-1 個變量分別計算 Score 檢驗值，其 p 值設為 I。設有最小 p 值的 變量為,且有 二唄內(nèi)）.若他 兔 ，則進入下一步，不然停止。對于單面化變量，其方式如同上步。?榵?明7明1榵榵7?凂?致?此步開始于模型中已含有變量 與；I。注意到有可能在變量被引入后，變量 榵 不再重要。本步包括向后刪除。根據(jù)（2.1）計算變量與：I 的 Wald 檢驗值，和相應的 p 值。 設 I 為