相關(guān)與回歸分析教學(xué).PPT

第十章 相關(guān)與回歸分析,第十章 相關(guān)與回歸分析,第一節(jié) 變量間的相關(guān)關(guān)系 第二節(jié) 一元線性回歸 第三節(jié) 多元線性回歸 第四節(jié) 可化為線性回歸的曲線回歸,學(xué)習(xí)目標(biāo),1. 掌握相關(guān)系數(shù)的含義、計(jì)算方法和應(yīng)用 2. 掌握一元線性回歸的基本原理和參數(shù)的最小二乘估計(jì)方法 掌握回歸方程的顯著性檢驗(yàn) 利用回歸方程進(jìn)行預(yù)測(cè) 掌握多元線性回歸分析的基本方法 了解可化為線性回歸的曲線回歸 用 Excel 進(jìn)行回歸分析,一. 變量相關(guān)的概念 二. 相關(guān)系數(shù)及其計(jì)算,變量相關(guān)的概念,變量間的關(guān)系 （函數(shù)關(guān)系）,是一一對(duì)應(yīng)的確定關(guān)系 設(shè)有兩個(gè)變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當(dāng)變量 x 取某個(gè)數(shù)值時(shí)， y 依確定的關(guān)系取相應(yīng)的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量 各觀測(cè)點(diǎn)落在一條線上,變量間的關(guān)系 （函數(shù)關(guān)系）, 函數(shù)關(guān)系的例子 某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為 y = p x (p 為單價(jià)) 圓的面積(S)與半徑之間的關(guān)系可表示為S = R2 企業(yè)的原材料消耗額(y)與產(chǎn)量(x1) 、單位產(chǎn)量消耗(x2) 、原材料價(jià)格(x3)之間的關(guān)系可表示為y = x1 x2 x3,變量間的關(guān)系 （相關(guān)關(guān)系）,變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá) 一個(gè)變量的取值不能由另一個(gè)變量唯一確定 當(dāng)變量 x 取某個(gè)值時(shí)，變量 y 的取值可能有幾個(gè) 各觀測(cè)點(diǎn)分布在直線周圍,變量間的關(guān)系 （相關(guān)關(guān)系）, 相關(guān)關(guān)系的例子 商品的消費(fèi)量(y)與居民收入(x)之間的關(guān)系 商品銷售額(y)與廣告費(fèi)支出(x)之間的關(guān)系 糧食畝產(chǎn)量(y)與施肥量(x1) 、降雨量(x2) 、溫度(x3)之間的關(guān)系 收入水平(y)與受教育程度(x)之間的關(guān)系 父親身高(y)與子女身高(x)之間的關(guān)系,相關(guān)關(guān)系的類型,相關(guān)關(guān)系的圖示,相關(guān)系數(shù)及其計(jì)算,相關(guān)關(guān)系的測(cè)度 （相關(guān)系數(shù)）,對(duì)變量之間關(guān)系密切程度的度量 對(duì)兩個(gè)變量之間線性相關(guān)程度的度量稱為簡(jiǎn)單相關(guān)系數(shù) 若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為 若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，記為 r,相關(guān)關(guān)系的測(cè)度 （相關(guān)系數(shù)）, 樣本相關(guān)系數(shù)的計(jì)算公式,或化簡(jiǎn)為,相關(guān)關(guān)系的測(cè)度 （相關(guān)系數(shù)取值及其意義）,r 的取值范圍是 -1,1 |r|=1，為完全相關(guān) r =1，為完全正相關(guān) r =-1，為完全負(fù)正相關(guān) r = 0，不存在線性相關(guān)關(guān)系相關(guān) -1r0，為負(fù)相關(guān) 0r1，為正相關(guān) |r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切,相關(guān)關(guān)系的測(cè)度 （相關(guān)系數(shù)取值及其意義）,r,相關(guān)關(guān)系的測(cè)度 （相關(guān)系數(shù)計(jì)算例）,【例10.1】在研究我國(guó)人均消費(fèi)水平的問(wèn)題中，把全國(guó)人均消費(fèi)額記為y，把人均國(guó)民收入記為x。我們收集到19811993年的樣本數(shù)據(jù)(xi ，yi)，i =1,2,，13，數(shù)據(jù)見(jiàn)表10-1，計(jì)算相關(guān)系數(shù)。,相關(guān)關(guān)系的測(cè)度 （計(jì)算結(jié)果）,解：根據(jù)樣本相關(guān)系數(shù)的計(jì)算公式有 人均國(guó)民收入與人均消費(fèi)金額之間的相關(guān)系 數(shù)為 0.9987,相關(guān)系數(shù)的顯著性檢驗(yàn) （概念要點(diǎn)）,1. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系 等價(jià)于對(duì)回歸系數(shù) b1的檢驗(yàn) 采用 t 檢驗(yàn) 檢驗(yàn)的步驟為 提出假設(shè)：H0： ；H1： 0,計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：,確定顯著性水平，并作出決策 若tt，拒絕H0 若tt，接受H0,相關(guān)系數(shù)的顯著性檢驗(yàn) （實(shí)例）, 對(duì)前例計(jì)算的相關(guān)系數(shù)進(jìn)行顯著性檢(0.05) 提出假設(shè)：H0： ；H1： 0 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,3. 根據(jù)顯著性水平0.05，查t分布表得t(n-2)=2.201 由于t=64.9809t(13-2)=2.201，拒絕H0，人均消費(fèi)金額與人均國(guó)民收入之間的相關(guān)關(guān)系顯著,相關(guān)系數(shù)的顯著性檢驗(yàn) （相關(guān)系數(shù)檢驗(yàn)表的使用）,若IrI大于表上的=5%相應(yīng)的值，小于表上1%相應(yīng)的值，稱變量x與y之間有顯著的線性關(guān)系 若IrI大于表上=1%相應(yīng)的值，稱變量x與y之間有十分顯著的線性關(guān)系 若IrI小于表上=5%相應(yīng)的值，稱變量x與y之間沒(méi)有明顯的線性關(guān)系 根據(jù)前例的r0.9987=5%(n-2)=0.553，表明人均消費(fèi)金額與人均國(guó)民收入之間有十分顯著的線性相關(guān)關(guān)系,第二節(jié) 一元線性回歸,一. 一元線性回歸模型 參數(shù)的最小二乘估計(jì) 回歸方程的顯著性檢驗(yàn) 預(yù)測(cè)及應(yīng)用,什么是回歸分析？ （內(nèi)容）,從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式 對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著 利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來(lái)預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確程度,回歸方程一詞是怎么來(lái)的,回歸分析與相關(guān)分析的區(qū)別,相關(guān)分析中，變量 x 變量 y 處于平等的地位；回歸分析中，變量 y 稱為因變量，處在被解釋的地位，x 稱為自變量，用于預(yù)測(cè)因變量的變化 相關(guān)分析中所涉及的變量 x 和 y 都是隨機(jī)變量；回歸分析中，因變量 y 是隨機(jī)變量，自變量 x 可以是隨機(jī)變量，也可以是非隨機(jī)的確定變量 相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量 x 對(duì)變量 y 的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制,回歸模型的類型,回歸模型與回歸方程,回歸模型,回答“變量之間是什么樣的關(guān)系？” 方程中運(yùn)用 1 個(gè)數(shù)字的因變量(響應(yīng)變量) 被預(yù)測(cè)的變量 1 個(gè)或多個(gè)數(shù)字的或分類的自變量 (解釋變量) 用于預(yù)測(cè)的變量 3. 主要用于預(yù)測(cè)和估計(jì),一元線性回歸模型 （概念要點(diǎn)）,當(dāng)只涉及一個(gè)自變量時(shí)稱為一元回歸，若因變量 y 與自變量 x 之間為線性關(guān)系時(shí)稱為一元線性回歸 對(duì)于具有線性關(guān)系的兩個(gè)變量，可以用一條線性方程來(lái)表示它們之間的關(guān)系 描述因變量 y 如何依賴于自變量 x 和誤差項(xiàng) 的方程稱為回歸模型,一元線性回歸模型 （概念要點(diǎn)）, 對(duì)于只涉及一個(gè)自變量的簡(jiǎn)單線性回歸模型可表示為 y = b0 + b1 x + e 模型中，y 是 x 的線性函數(shù)(部分)加上誤差項(xiàng) 線性部分反映了由于 x 的變化而引起的 y 的變化 誤差項(xiàng) 是隨機(jī)變量 反映了除 x 和 y 之間的線性關(guān)系之外的隨機(jī)因素對(duì) y 的影響 是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性 0 和 1 稱為模型的參數(shù),一元線性回歸模型 （基本假定）,誤差項(xiàng)是一個(gè)期望值為0的隨機(jī)變量，即E()=0。對(duì)于一個(gè)給定的 x 值，y 的期望值為E ( y ) = 0+ 1 x 對(duì)于所有的 x 值，的方差2 都相同 誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即N( 0 ,2 ) 獨(dú)立性意味著對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的與其他 x 值所對(duì)應(yīng)的不相關(guān) 對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的 y 值與其他 x 所對(duì)應(yīng)的 y 值也不相關(guān),回歸方程 （概念要點(diǎn)）,描述 y 的平均值或期望值如何依賴于 x 的方程稱為回歸方程 簡(jiǎn)單線性回歸方程的形式如下 E( y ) = 0+ 1 x,方程的圖示是一條直線，因此也稱為直線回歸方程 0是回歸直線在 y 軸上的截距，是當(dāng) x=0 時(shí) y 的期望值 1是直線的斜率，稱為回歸系數(shù)，表示當(dāng) x 每變動(dòng)一個(gè)單位時(shí)，y 的平均變動(dòng)值,估計(jì)(經(jīng)驗(yàn))的回歸方程,簡(jiǎn)單線性回歸中估計(jì)的回歸方程為,其中： 是估計(jì)的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對(duì)于一個(gè)給定的 x 的值，是 y 的估計(jì)值，也表示 x 每變動(dòng)一個(gè)單位時(shí)， y 的平均變動(dòng)值,用樣本統(tǒng)計(jì)量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計(jì)的回歸方程,總體回歸參數(shù) 和 是未知的，必需利用樣本數(shù)據(jù)去估計(jì),參數(shù) 0 和 1 的最小二乘估計(jì),最小二乘法 （概念要點(diǎn)）,使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得 和 的方法。即,用最小二乘法擬合的直線來(lái)代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小,最小二乘法 （圖示）,最小二乘法 （ 和 的計(jì)算公式）, 根據(jù)最小二乘法的要求，可得求解 和 的標(biāo)準(zhǔn)方程如下,估計(jì)方程的求法 （實(shí)例）,【例】根據(jù)例10.1中的數(shù)據(jù)，配合人均消費(fèi)金額對(duì)人均國(guó)民收入的回歸方程 根據(jù) 和 的求解公式得,估計(jì)(經(jīng)驗(yàn))方程,人均消費(fèi)金額對(duì)人均國(guó)民收入的回歸方程為,y = 54.22286 + 0.52638 x,估計(jì)方程的求法 （Excel的輸出結(jié)果）,回歸方程的顯著性檢驗(yàn),離差平方和的分解,因變量 y 的取值是不同的，y 取值的這種波動(dòng)稱為變差。變差來(lái)源于兩個(gè)方面 由于自變量 x 的取值不同造成的 除 x 以外的其他因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響 對(duì)一個(gè)具體的觀測(cè)值來(lái)說(shuō)，變差的大小可以通過(guò)該實(shí)際觀測(cè)值與其均值之差 來(lái)表示,離差平方和的分解 （圖示）,離差平方和的分解 （三個(gè)平方和的關(guān)系）,2. 兩端平方后求和有,從圖上看有,SST = SSR + SSE,離差平方和的分解 （三個(gè)平方和的意義）,總平方和(SST) 反映因變量的 n 個(gè)觀察值與其均值的總離差 回歸平方和(SSR) 反映自變量 x 的變化對(duì)因變量 y 取值變化的影響，或者說(shuō)，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為可解釋的平方和 殘差平方和(SSE) 反映除 x 以外的其他因素對(duì) y 取值的影響，也稱為不可解釋的平方和或剩余平方和,樣本決定系數(shù) （判定系數(shù) r2 ）,回歸平方和占總離差平方和的比例,反映回歸直線的擬合程度 取值范圍在 0 , 1 之間 r2 1，說(shuō)明回歸方程擬合的越好；r20，說(shuō)明回歸方程擬合的越差 判定系數(shù)等于相關(guān)系數(shù)的平方，即r2(r)2,回歸方程的顯著性檢驗(yàn) （線性關(guān)系的檢驗(yàn) ）,檢驗(yàn)自變量和因變量之間的線性關(guān)系是否顯著 具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著 如果是顯著的，兩個(gè)變量之間存在線性關(guān)系 如果不顯著，兩個(gè)變量之間不存在線性關(guān)系,回歸方程的顯著性檢驗(yàn) （檢驗(yàn)的步驟）,提出假設(shè) H0：線性關(guān)系不顯著,2. 計(jì)算檢驗(yàn)統(tǒng)計(jì)量F,確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F 作出決策：若FF ,拒絕H0；若FF ,接受H0,回歸方程的顯著性檢驗(yàn) （方差分析表）,（續(xù)前例）Excel 輸出的方差分析表,平方和,均方,估計(jì)標(biāo)準(zhǔn)誤差 Sy,實(shí)際觀察值與回歸估計(jì)值離差平方和的均方根 反映實(shí)際觀察值在回歸直線周圍的分散狀況 從另一個(gè)角度說(shuō)明了回歸直線的擬合程度 計(jì)算公式為,注：上例的計(jì)算結(jié)果為14.949678,回歸系數(shù)的顯著性檢驗(yàn) （要點(diǎn)）,在一元線性回歸中，等價(jià)于回歸方程的顯著性檢驗(yàn),檢驗(yàn) x 與 y 之間是否具有線性關(guān)系，或者說(shuō)，檢驗(yàn)自變量 x 對(duì)因變量 y 的影響是否顯著,理論基礎(chǔ)是回歸系數(shù) 的抽樣分布,回歸系數(shù)的顯著性檢驗(yàn) （樣本統(tǒng)計(jì)量 的分布）,是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自己的分布 的分布具有如下性質(zhì) 分布形式：正態(tài)分布 數(shù)學(xué)期望： 標(biāo)準(zhǔn)差： 由于無(wú)未知，需用其估計(jì)量Sy來(lái)代替得到 的估計(jì)的標(biāo)準(zhǔn)差,回歸系數(shù)的顯著性檢驗(yàn) （樣本統(tǒng)計(jì)量 的分布）,回歸系數(shù)的顯著性檢驗(yàn) （步驟）,提出假設(shè) H0: b1 = 0 (沒(méi)有線性關(guān)系) H1: b1 0 (有線性關(guān)系) 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,確定顯著性水平，并進(jìn)行決策 tt，拒絕H0； tt，接受H0,回歸系數(shù)的顯著性檢驗(yàn) （實(shí)例）,提出假設(shè) H0：b1 = 0 人均收入與人均消費(fèi)之間無(wú)線性關(guān)系 H1：b1 0 人均收入與人均消費(fèi)之間有線性關(guān)系 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,t=65.0758t=2.201，拒絕H0，表明人均收入與人均消費(fèi)之間有線性關(guān)系,對(duì)前例的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(0.05),回歸系數(shù)的顯著性檢驗(yàn) (Excel輸出的結(jié)果）,預(yù)測(cè)及應(yīng)用,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),根據(jù)自變量 x 的取值估計(jì)或預(yù)測(cè)因變量 y的取值 估計(jì)或預(yù)測(cè)的類型 點(diǎn)估計(jì) y 的平均值的點(diǎn)估計(jì) y 的個(gè)別值的點(diǎn)估計(jì) 區(qū)間估計(jì) y 的平均值的置信區(qū)間估計(jì) y 的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì),利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （點(diǎn)估計(jì)）,2. 點(diǎn)估計(jì)值有 y 的平均值的點(diǎn)估計(jì) y 的個(gè)別值的點(diǎn)估計(jì) 3. 在點(diǎn)估計(jì)條件下，平均值的點(diǎn)估計(jì)和個(gè)別值的的點(diǎn)估計(jì)是一樣的，但在區(qū)間估計(jì)中則不同,對(duì)于自變量 x 的一個(gè)給定值x0 ，根據(jù)回歸方程得到因變量 y 的一個(gè)估計(jì)值,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （點(diǎn)估計(jì)）, y 的平均值的點(diǎn)估計(jì) 利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值的一個(gè)估計(jì)值E(y0) ，就是平均值的點(diǎn)估計(jì) 在前面的例子中，假如我們要估計(jì)人均國(guó)民收入為2000元時(shí)，所有年份人均消費(fèi)金額的的平均值，就是平均值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （點(diǎn)估計(jì)）, y 的個(gè)別值的點(diǎn)估計(jì),利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)值 ，就是個(gè)別值的點(diǎn)估計(jì),2. 比如，如果我們只是想知道1990年人均國(guó)民收入為1250.7元時(shí)的人均消費(fèi)金額是多少，則屬于個(gè)別值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （區(qū)間估計(jì)）,點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì) 對(duì)于自變量 x 的一個(gè)給定值 x0，根據(jù)回歸方程得到因變量 y 的一個(gè)估計(jì)區(qū)間 區(qū)間估計(jì)有兩種類型 置信區(qū)間估計(jì) 預(yù)測(cè)區(qū)間估計(jì),利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （置信區(qū)間估計(jì)）, y 的平均值的置信區(qū)間估計(jì) 利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值E(y0)的估計(jì)區(qū)間 ，這一估計(jì)區(qū)間稱為置信區(qū)間 E(y0) 在1-置信水平下的置信區(qū)間為,式中：Sy為估計(jì)標(biāo)準(zhǔn)誤差,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （置信區(qū)間估計(jì):算例）,【例】根據(jù)前例，求出人均國(guó)民收入為1250.7元時(shí)，人均消費(fèi)金額95%的置信區(qū)間 解：根據(jù)前面的計(jì)算結(jié)果 712.57，Sy=14.95，t(13-2)2.201，n=13 置信區(qū)間為,712.5710.265,人均消費(fèi)金額95%的置信區(qū)間為702.305元722.835元之間,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （預(yù)測(cè)區(qū)間估計(jì)）, y 的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì) 利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間 y0在1-置信水平下的預(yù)測(cè)區(qū)間為,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè) （置預(yù)測(cè)區(qū)間估計(jì):算例）,【例】根據(jù)前例，求出1990年人均國(guó)民收入為1250.7元時(shí)，人均消費(fèi)金額的95%的預(yù)測(cè)區(qū)間 解：根據(jù)前面的計(jì)算結(jié)果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信區(qū)間為,712.5734.469,人均消費(fèi)金額95%的預(yù)測(cè)區(qū)間為678.101元747.039元之間,影響區(qū)間寬度的因素,1. 置信水平 (1 - ) 區(qū)間寬度隨置信水平的增大而增大 2. 數(shù)據(jù)的離散程度 (s) 區(qū)間寬度隨離散程度的增大而增大 3. 樣本容量 區(qū)間寬度隨樣本容量的增大而減小 4. 用于預(yù)測(cè)的 xp與x的差異程度 區(qū)間寬度隨 xp與x 的差異程度的增大而增大,置信區(qū)間、預(yù)測(cè)區(qū)間、回歸方程,第三節(jié) 多元線性回歸,一. 多元線性回歸模型 回歸參數(shù)的估計(jì) 回歸方程的顯著性檢驗(yàn) 回歸系數(shù)的顯著性檢驗(yàn) 多元線性回歸的預(yù)測(cè),多元線性回歸模型,多元線性回歸模型 （概念要點(diǎn)）,一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量之間的回歸 描述因變量 y 如何依賴于自變量 x1 ， x2 ， xp 和誤差項(xiàng) 的方程稱為多元線性回歸模型 涉及 p 個(gè)自變量的多元線性回歸模型可表示為,b0 ，b1，b2 ，bp是參數(shù) 是被稱為誤差項(xiàng)的隨機(jī)變量 y 是x1,，x2 ， ，xp 的線性函數(shù)加上誤差項(xiàng) 說(shuō)明了包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性,多元線性回歸模型 （概念要點(diǎn)）, 對(duì)于 n 組實(shí)際觀察數(shù)據(jù)(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元線性回歸模型可表示為,多元線性回歸模型 （基本假定）,自變量 x1，x2，xp是確定性變量，不是隨機(jī)變量 隨機(jī)誤差項(xiàng)的期望值為0，且方差2 都相同 誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，即N(0,2)，且相互獨(dú)立,多元線性回歸方程 （概念要點(diǎn)）,描述 y 的平均值或期望值如何依賴于 x1， x1 ，xp的方程稱為多元線性回歸方程 多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp稱為偏回歸系數(shù) bi 表示假定其他變量不變，當(dāng) xi 每變動(dòng)一個(gè)單位時(shí)，y 的平均平均變動(dòng)值,多元線性回歸方方程的直觀解釋,多元線性回歸的估計(jì)(經(jīng)驗(yàn))方程,總體回歸參數(shù) 是未知的，利用樣本數(shù)據(jù)去估計(jì),用樣本統(tǒng)計(jì)量 代替回歸方程中的 未知參數(shù) 即得到估計(jì)的回歸方程,是 估計(jì)值 是 y 的估計(jì)值,參數(shù)的最小二乘估計(jì),參數(shù)的最小二乘法 （要點(diǎn)）,根據(jù)最小二乘法的要求，可得求解各回歸參數(shù) 的標(biāo)準(zhǔn)方程如下,使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得 。即,回歸方程的顯著性檢驗(yàn),多重樣本決定系數(shù) （多重判定系數(shù) R2 ）,回歸平方和占總離差平方和的比例,反映回歸直線的擬合程度 取值范圍在 0 , 1 之間 R2 1，說(shuō)明回歸方程擬合的越好； R20，說(shuō)明回歸方程擬合的越差 等于多重相關(guān)系數(shù)的平方，即R2=(R)2,修正的多重樣本決定系數(shù) （修正的多重判定系數(shù) R2 ）,由于增加自變量將影響到因變量中被估計(jì)的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值 用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計(jì)算公式可表示為,回歸方程的顯著性檢驗(yàn) （線性關(guān)系的檢驗(yàn) ）,檢驗(yàn)因變量與所有的自變量和之間的是否存在一個(gè)顯著的線性關(guān)系，也被稱為總體的顯著性檢驗(yàn) 檢驗(yàn)方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用 F 檢驗(yàn)來(lái)分析二者之間的差別是否顯著 如果是顯著的，因變量與自變量之間存在線性關(guān)系 如果不顯著，因變量與自變量之間不存在線性關(guān)系,回歸方程的顯著性檢驗(yàn) （步驟）,提出假設(shè) H0：12p=0 線性關(guān)系不顯著 H1：1，2，p至少有一個(gè)不等于0,2. 計(jì)算檢驗(yàn)統(tǒng)計(jì)量F,3. 確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F 4. 作出決策：若FF ，拒絕H0；若FF，接受H0,回歸系數(shù)的顯著性檢驗(yàn) （要點(diǎn)）,如果F檢驗(yàn)已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗(yàn)就是用來(lái)確定每一個(gè)單個(gè)的自變量 xi 對(duì)因變量 y 的影響是否顯著 對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn) 應(yīng)用 t 檢驗(yàn) 在多元線性回歸中，回歸方程的顯著性檢驗(yàn)不再等價(jià)于回歸系數(shù)的顯著性檢驗(yàn),回歸系數(shù)的顯著性檢驗(yàn) （步驟）,提出假設(shè) H0： bi = 0 (自變量 xi 與 因變量 y 沒(méi)有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量 t,確定顯著性水平，并進(jìn)行決策 tt，拒絕H0； tt，接受H0,一個(gè)二元線性回歸的例子,【例】一家百貨公司在10個(gè)地區(qū)設(shè)有經(jīng)銷分公司。公司認(rèn)為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預(yù)測(cè)銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對(duì)人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對(duì)線性關(guān)系和回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(=0.05)。,一個(gè)二元線性回歸的例子 (Excel 輸出的結(jié)果),一個(gè)二元線性回歸的例子 (計(jì)算機(jī)輸出結(jié)果解釋),銷售額與人口數(shù)和年人均收入的二元回歸方