II多元回歸63-72教學(xué)文案

1、Good is good, but better carries it.精益求精，善益求善。II多元回歸63-72-5.2多元線性回歸在多元回歸分析中，多元線性回歸為最簡單、應(yīng)用最廣的一種方法多元線性回歸模型：隨機(jī)變量與自變量滿足即：稱為多元線性回歸模型為了討論多元線性回歸方程的求法，先看：二元線性回歸方程的求法：在（）中，取，有：與滿足即有二元線性回歸模型若有樣本可通過構(gòu)造，并令由（1）得代入(2)(3)得：有正規(guī)方程組即：所以由，得回歸方程注：在實(shí)際計(jì)算中，通常使用如下的標(biāo)準(zhǔn)形式：；推導(dǎo)過程與前面的的推導(dǎo)過程類似一般地：用的標(biāo)準(zhǔn)表達(dá)式的推廣，可解決多元回歸的系數(shù)求解問題三多元線性回歸：元線

2、性回歸模型為：對于個(gè)樣本構(gòu)造令有：由例：（P.341）在平爐煉鋼中，由于礦石與爐氣的氧化作用，鐵水的總含碳量在不斷降低，一爐鋼在冶煉初期總的去碳量與所加的兩種礦石的量及熔化時(shí)間有關(guān)經(jīng)實(shí)測某號平爐的49組數(shù)據(jù)如下表所列：由經(jīng)驗(yàn)知與,之間有線性相關(guān)關(guān)系，試由給出的數(shù)據(jù)求出的最小二乘估計(jì)，并寫出回歸方程解：正規(guī)方程組為：而；將以上結(jié)果代入正規(guī)方程組，可解得：；且所以求得的回歸方程為：方程的含義很明確如：表示第一種礦石每增，鐵水的平均去碳量就增0.1604多元線性回歸效果的顯著性檢驗(yàn)：基本思想與一元線性回歸的檢驗(yàn)類似，即：在求回歸方程之前，首先應(yīng)解決與是否存在線性相關(guān)關(guān)系亦即：是否滿足檢驗(yàn)問題是：，當(dāng)

3、拒絕時(shí)，則認(rèn)為與存在線性相關(guān)關(guān)系理論過程仍然是通過分解即：由一元情況的推廣，在元線性回歸模型中，有以下結(jié)論：為真時(shí)，且相互獨(dú)立；，則定義，有：（無偏），且與相互獨(dú)立所以當(dāng)為真時(shí)，（由、）有：則對于，用，有檢驗(yàn)法：當(dāng)時(shí)，拒絕各自變量的顯著性檢驗(yàn)，剔除變量計(jì)算：為了預(yù)測和控制的需要，應(yīng)該說回歸方程中的自變量的個(gè)數(shù)越少越好這意味著只對整個(gè)方程作顯著性檢驗(yàn)（顯著拒絕，即不全為零）是不夠的最好能找出各中哪個(gè)次要、對的影響不顯著然后把該變量剔除即：對，檢驗(yàn)若接受，則剔除；若拒絕，則保留可以證明：在為真時(shí),有：其中為正規(guī)方程組的系數(shù)矩陣的逆陣的對角線上第個(gè)元素所以對，取若，則拒絕認(rèn)為對的影響顯著故將的值排為

4、，若，則無剔除的自變量；若，則把對應(yīng)的自變量剔除，再將原回歸方程的系數(shù),得新的方程，然后對新的回歸方程再重復(fù)上述過程，直至把對影響不顯著的全部剔除，最后所得回歸方程中的每一個(gè)對的影響都是顯著的多元回歸的預(yù)測與控制：預(yù)測：點(diǎn)預(yù)測：設(shè)分別取，則對應(yīng)的有取的預(yù)測值為：有，即：為的無偏估計(jì)區(qū)間預(yù)測：可以證明：其中，為的元素所以對于，可得的預(yù)測區(qū)間為：，其中但在通常情況下，習(xí)慣在很大，且下討論，這時(shí)即有：的預(yù)測區(qū)間近似地為：控制：它是預(yù)測的反問題即：為使，有：，即：所以的控制域?yàn)椋寒?dāng)較大，且控制區(qū)域的點(diǎn)在點(diǎn)附近時(shí)，則近似地有的控制域：最優(yōu)回歸方程的選擇：在預(yù)測和控制中，總是希望使用最優(yōu)的回歸方程即：使用

5、含所有對有影響的自變量；含自變量的個(gè)數(shù)盡量少（不顯著的先剔除）的回歸方程，然后還應(yīng)考慮使的估計(jì)值最小基于這種思路，下面介紹三種選擇方法的基本思想（實(shí)際應(yīng)用時(shí)，有現(xiàn)成的應(yīng)用軟件）“全部比較”法：（基于最?。┫日页鰧τ杏绊懙乃校紤]：含一個(gè)自變量的方程，共個(gè)；含二個(gè)自變量，共個(gè)；含個(gè)自變量的所有組合形式的回歸方程的個(gè)數(shù)為：個(gè)共有個(gè)不同的線性回歸方程對每個(gè)方程都算出，其中為該方程自變量的個(gè)數(shù)；為樣本容量然后選出所對應(yīng)的回歸方程作為最優(yōu)回歸方程（繁對，已經(jīng)可在計(jì)算機(jī)上實(shí)現(xiàn)）“只出不進(jìn)”法：（基于自變量個(gè)數(shù)最少）找出全部的，建立含全部的一個(gè)回歸方程；對該方程作顯著性檢驗(yàn)若顯著，再對每個(gè)自變量進(jìn)行檢驗(yàn)，進(jìn)而逐個(gè)剔除對影響不顯著的（過程是：剔除一個(gè)，作出新方程后經(jīng)過檢驗(yàn)再剔除另一個(gè)），直至得到每個(gè)對都有顯著影響的最優(yōu)回歸方程為止逐步回歸法：（基于相關(guān)系數(shù)，即：各對的影響程度）由檢驗(yàn)法知：越接近，則對的影響就越顯著所以先選定所有自變量，對每個(gè)與都求出相關(guān)系數(shù)，有：若對應(yīng)的對的影響顯著，則再考察對應(yīng)的對的顯著性這樣下去，直至到某對應(yīng)的對的影響不顯著為止，最后剔