回歸分析的基本思想及初步方法3

1、2021-11-19鄭平正 制作3.1回歸分析的基回歸分析的基本思想及其初步本思想及其初步應用（二）應用（二）高二數學高二數學 選修選修1-2 比數學3中“回歸”增加的內容數學數學統(tǒng)計統(tǒng)計1. 畫散點圖畫散點圖2. 了解最小二乘法了解最小二乘法的思想的思想3. 求回歸直線方程求回歸直線方程ybxa4. 用回歸直線方程用回歸直線方程解決應用問題解決應用問題選修-統(tǒng)計案例5. 引入線性回歸模型引入線性回歸模型ybxae6. 了解模型中隨機誤差項了解模型中隨機誤差項e產產生的原因生的原因7. 了解相關指數了解相關指數 R2 和模型擬和模型擬合的效果之間的關系合的效果之間的關系8. 了解殘差圖的作用了

2、解殘差圖的作用9. 利用線性回歸模型解決一類利用線性回歸模型解決一類非線性回歸問題非線性回歸問題10. 正確理解分析方法與結果正確理解分析方法與結果回歸分析的內容與步驟：回歸分析的內容與步驟：統(tǒng)計檢驗通過后，最后是統(tǒng)計檢驗通過后，最后是利用回歸模型，根據自變量去估計、利用回歸模型，根據自變量去估計、預測因變量預測因變量。 回歸分析通過一個變量或一些變量的變化解釋回歸分析通過一個變量或一些變量的變化解釋另一變量的變化。另一變量的變化。 其主要內容和步驟是：其主要內容和步驟是：首先根據理論和對問題的分析判斷，首先根據理論和對問題的分析判斷，將變量分為自變量和因變將變量分為自變量和因變量量；其次，設

3、法其次，設法找出合適的數學方程式（即回歸模型）找出合適的數學方程式（即回歸模型）描述變量間描述變量間的關系；的關系；由于涉及到的變量具有不確定性，接著還要由于涉及到的變量具有不確定性，接著還要對回歸模型進行對回歸模型進行統(tǒng)計檢驗統(tǒng)計檢驗；例例1 從某大學中隨機選取從某大學中隨機選取8名女大學生，其身高和體重數據如表名女大學生，其身高和體重數據如表1-1所示。所示。編號12345678身高/cm165165 157 170 175 165 155 170體重/kg4857505464614359求根據一名女大學生的身高預報她的體重的回歸方程，并預報一名身高為求根據一名女大學生的身高預報她的體重的

4、回歸方程，并預報一名身高為172cm的女大學生的體重。的女大學生的體重。案例案例1：女大學生的身高與體重：女大學生的身高與體重解：解：1、選取身高為自變量、選取身高為自變量x，體重為因變量，體重為因變量y，作散點圖：，作散點圖：2、由散點圖知道身高和體重有比較、由散點圖知道身高和體重有比較好的線性相關關系，因此可以用線性好的線性相關關系，因此可以用線性回歸方程刻畫它們之間的關系。回歸方程刻畫它們之間的關系。172.85849. 0 xy分析：由于問題中分析：由于問題中要求根據身高預報要求根據身高預報體重，因此選取身體重，因此選取身高為自變量，體重高為自變量，體重為因變量為因變量學學身身高高17

5、2cm女172cm女大大生生體體重重y = 0.849y = 0.849172-85.712 = 60.316(kg)172-85.712 = 60.316(kg)2.2.回歸方程：回歸方程：1. 散點圖；散點圖；探究：探究：身高為身高為172cm的女大學生的體重一定是的女大學生的體重一定是60.316kg嗎？如果不是，你能解析一下原因嗎？嗎？如果不是，你能解析一下原因嗎？例例1 從某大學中隨機選取從某大學中隨機選取8名女大學生，其身高和體重數據如表名女大學生，其身高和體重數據如表1-1所示。所示。編號12345678身高/cm165165 157 170 175 165 155 170體重/

6、kg4857505464614359求根據一名女大學生的身高預報她的體重的回歸方程，并預報一名身高為求根據一名女大學生的身高預報她的體重的回歸方程，并預報一名身高為172cm的女大學生的體重。的女大學生的體重。案例案例1：女大學生的身高與體重：女大學生的身高與體重解：解：1、選取身高為自變量、選取身高為自變量x，體重為因變量，體重為因變量y，作散點圖：，作散點圖：2、由散點圖知道身高和體重有比較、由散點圖知道身高和體重有比較好的線性相關關系，因此可以用線性好的線性相關關系，因此可以用線性回歸方程刻畫它們之間的關系?；貧w方程刻畫它們之間的關系。3、從散點圖還看到，樣本點散布在、從散點圖還看到，樣

7、本點散布在某一條直線的附近，而不是在一條某一條直線的附近，而不是在一條直線上，所以不能用一次函數直線上，所以不能用一次函數y=bx+a描述它們關系。描述它們關系。我們可以用下面的我們可以用下面的線性回歸模型線性回歸模型來表示：來表示：y=bx+a+e， (3)其中其中a和和b為模型的未知參數，為模型的未知參數，e稱為隨機誤差稱為隨機誤差。y=bx+a+e，E(e)=0,D(e)= (4) 2.在線性回歸模型在線性回歸模型(4)中，隨機誤差中，隨機誤差e的方差的方差 越小，通過越小，通過回歸直線回歸直線 (5)2ybxa預報真實值預報真實值y的精度越高。隨機誤差是引起預報值的精度越高。隨機誤差是

8、引起預報值 與真實值與真實值y之間的誤差的原因之一，其大小取決于隨機誤差的方差。之間的誤差的原因之一，其大小取決于隨機誤差的方差。y 另一方面，由于公式另一方面，由于公式(1)和和(2)中中 和和 為截距和斜率的估計值，為截距和斜率的估計值，它們與真實值它們與真實值a和和b之間也存在誤差，這種誤差是引起預報值之間也存在誤差，這種誤差是引起預報值與真實值與真實值y之間誤差的另一個原因。之間誤差的另一個原因。 y ab思考思考:產生隨機誤差項產生隨機誤差項e的原因是什么？的原因是什么？隨機誤差隨機誤差e e的來源的來源( (可以推廣到一般）：可以推廣到一般）：1、忽略了其它因素的影響：影響身高、忽

9、略了其它因素的影響：影響身高 y 的因素不只的因素不只是體重是體重 x，可能還包括遺傳基因、飲食習慣、生，可能還包括遺傳基因、飲食習慣、生長環(huán)境等因素；長環(huán)境等因素；2、用線性回歸模型近似真實模型所引起的誤差；、用線性回歸模型近似真實模型所引起的誤差；3、身高、身高 y 的觀測誤差。的觀測誤差。 以上三項誤差越小，說明我們的回歸模型的擬合以上三項誤差越小，說明我們的回歸模型的擬合效果越好。效果越好。函數模型與回歸模型之間的差別函數模型與回歸模型之間的差別函數模型：abxy回歸模型：eabxy可以提供選擇模型的準則函數模型與回歸模型之間的差別函數模型與回歸模型之間的差別函數模型：abxy回歸模型

10、：eabxy 線性回歸模型線性回歸模型y=bx+a+e增加了隨機誤差項增加了隨機誤差項e，因變量，因變量y的值由自變量的值由自變量x和和隨機誤差項隨機誤差項e共同確定，即共同確定，即自變量自變量x只能解析部分只能解析部分y的變化的變化。 在統(tǒng)計中，我們也把自變量在統(tǒng)計中，我們也把自變量x稱為解析變量，因變量稱為解析變量，因變量y稱為預報變量。稱為預報變量。所以，對于身高為所以，對于身高為172cm的女大學生，由回歸方程可以預報其體重為的女大學生，由回歸方程可以預報其體重為 0.849 7285.71260.316()ykg思考：思考：如何刻畫預報變量（體重）的變化？這個變化在多大程度上如何刻畫

11、預報變量（體重）的變化？這個變化在多大程度上與解析變量（身高）有關？在多大程度上與隨機誤差有關？與解析變量（身高）有關？在多大程度上與隨機誤差有關？ 假設身高和隨機誤差的不同不會對體重產生任何影響，那么所有人的體重將相假設身高和隨機誤差的不同不會對體重產生任何影響，那么所有人的體重將相同。同。在體重不受任何變量影響的假設下，設在體重不受任何變量影響的假設下，設8名女大學生的體重都是她們的平均值，名女大學生的體重都是她們的平均值，即即8個人的體重都為個人的體重都為54.5kg。54.554.554.554.554.554.554.554.5體重/kg17015516517517015716516

12、5身高/cm87654321編號54.5kg在散點圖中，所有的點應該落在同一條在散點圖中，所有的點應該落在同一條水平直線上，但是觀測到的數據并非如水平直線上，但是觀測到的數據并非如此。此。這就意味著這就意味著預報變量（體重）的值預報變量（體重）的值受解析變量（身高）或隨機誤差的影響受解析變量（身高）或隨機誤差的影響。對回歸模型進行統(tǒng)計檢驗對回歸模型進行統(tǒng)計檢驗5943616454505748體重/kg170155165175170157165165身高/cm87654321編號 例如，編號為例如，編號為6的女大學生的體重并沒有落在水平直線上，她的體重為的女大學生的體重并沒有落在水平直線上，她的

13、體重為61kg。解析。解析變量（身高）和隨機誤差共同把這名學生的體重從變量（身高）和隨機誤差共同把這名學生的體重從54.5kg“推推”到了到了61kg，相差，相差6.5kg，所以所以6.5kg是解析變量和隨機誤差的是解析變量和隨機誤差的組合效應組合效應。 編號為編號為3的女大學生的體重并也沒有落在水平直線上，她的體重為的女大學生的體重并也沒有落在水平直線上，她的體重為50kg。解析。解析變量（身高）和隨機誤差共同把這名學生的體重從變量（身高）和隨機誤差共同把這名學生的體重從50kg“推推”到了到了54.5kg，相差，相差-4.5kg，這時解析變量和隨機誤差的組合效應為這時解析變量和隨機誤差的組

14、合效應為-4.5kg。用這種方法可以對所有預報變量計算組合效應。用這種方法可以對所有預報變量計算組合效應。數學上，把每個效應（觀測值減去總的平均值）的平方加起來，即用數學上，把每個效應（觀測值減去總的平均值）的平方加起來，即用21()niiyy表示總的效應，稱為表示總的效應，稱為總偏差平方和總偏差平方和。在例在例1中，總偏差平方和為中，總偏差平方和為354。5943616454505748體重/kg170155165175170157165165身高/cm87654321編號 那么，在這個總的效應（總偏差平方和）中，有多少來自于解析變量（身高）？那么，在這個總的效應（總偏差平方和）中，有多少來

15、自于解析變量（身高）？有多少來自于隨機誤差？有多少來自于隨機誤差？ 假設隨機誤差對體重沒有影響，也就是說，體重僅受身高的影響，那么散點圖假設隨機誤差對體重沒有影響，也就是說，體重僅受身高的影響，那么散點圖中所有的點將完全落在回歸直線上。但是，在圖中，數據點并沒有完全落在回歸中所有的點將完全落在回歸直線上。但是，在圖中，數據點并沒有完全落在回歸直線上。直線上。這些點散布在回歸直線附近，所以一定是隨機誤差把這些點從回歸直線上這些點散布在回歸直線附近，所以一定是隨機誤差把這些點從回歸直線上“推推”開了開了。在例在例1中，殘差平方和約為中，殘差平方和約為128.361。 因此，數據點和它在回歸直線上相

16、應位置的差異因此，數據點和它在回歸直線上相應位置的差異 是隨機誤差的效應，是隨機誤差的效應，稱稱 為為殘差殘差。)iiyy(iiieyy=例如，編號為例如，編號為6的女大學生，計算隨機誤差的效應（殘差）為：的女大學生，計算隨機誤差的效應（殘差）為：61 (0.849 16585.712)6.627對每名女大學生計算這個差異，然后分別將所得的值平方后加起來，用數學符號對每名女大學生計算這個差異，然后分別將所得的值平方后加起來，用數學符號21()niiiyy稱為稱為殘差平方和殘差平方和，它代表了隨機誤差的效應。它代表了隨機誤差的效應。表示為：表示為：即，即，( , )Q a b類比樣本方差估計總體

17、方差的思想，可以用類比樣本方差估計總體方差的思想，可以用作為作為 的估計量，的估計量， 越小，預報精度越高。越小，預報精度越高。22111( , )(2)22nieQ a b nnn22 由于解析變量和隨機誤差的總效應（總偏差平方和）為由于解析變量和隨機誤差的總效應（總偏差平方和）為354，而隨機誤差的效應為，而隨機誤差的效應為128.361，所以解析變量的效應為，所以解析變量的效應為解析變量和隨機誤差的總效應（總偏差平方和）解析變量和隨機誤差的總效應（總偏差平方和） =解析變量的效應（回歸平方和）解析變量的效應（回歸平方和）+隨機誤差的效應（殘差平方和）隨機誤差的效應（殘差平方和）354-1

18、28.361=225.639 這個值稱為這個值稱為回歸平方和?；貧w平方和。我們可以用我們可以用相關指數相關指數R2來刻畫回歸的效果，其計算公式是來刻畫回歸的效果，其計算公式是22121()11()niiiniiyyRyy殘差平方和?？偲钇椒胶?221121()()()nniiiiiniiyyyyRyy總偏差平方和殘差平方和回歸平方和總偏差平方和總偏差平方和離差平方和的分解離差平方和的分解 （三個平方和的意義）1.總偏差平方和總偏差平方和(SST)q反映因變量的反映因變量的 n 個觀察值與其均值的總離差個觀察值與其均值的總離差2.回歸平方和回歸平方和(SSR)q反映自變量反映自變量 x 的變化

19、對因變量的變化對因變量 y 取值變化的影響，取值變化的影響，或者說，是由于或者說，是由于 x 與與 y 之間的線性關系引起的之間的線性關系引起的 y 的取值變化，也稱為可解釋的平方和的取值變化，也稱為可解釋的平方和3.殘差平方和殘差平方和(SSE)q反映除反映除 x 以外的其他因素對以外的其他因素對 y 取值的影響，也稱取值的影響，也稱為不可解釋的平方和或剩余平方和為不可解釋的平方和或剩余平方和樣本決定系數樣本決定系數 （判定系數 ）1.回歸平方和占總離差平方和的比例回歸平方和占總離差平方和的比例顯然，顯然，R2的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。的值越大，說明殘差平方和越

20、小，也就是說模型擬合效果越好。在線性回歸模型中，在線性回歸模型中，R2表示解析變量對預報變量變化的貢獻率。表示解析變量對預報變量變化的貢獻率。 R2越接近越接近1，表示回歸的效果越好（因為，表示回歸的效果越好（因為R2越接近越接近1，表示解析變量和預報變量的，表示解析變量和預報變量的線性相關性越強）線性相關性越強）。 如果某組數據可能采取幾種不同回歸方程進行回歸分析，則可以通過比較如果某組數據可能采取幾種不同回歸方程進行回歸分析，則可以通過比較R2的值的值來做出選擇，即選取來做出選擇，即選取R2較大的模型作為這組數據的模型。較大的模型作為這組數據的模型?？偟膩碚f：總的來說：相關指數相關指數R2

21、是度量模型擬合效果的一種指標。是度量模型擬合效果的一種指標。在線性模型中，它在線性模型中，它代表自變量刻畫預報變量的能力代表自變量刻畫預報變量的能力。我們可以用我們可以用相關指數相關指數R2來刻畫回歸的效果，其計算公式是來刻畫回歸的效果，其計算公式是22121()11()niiiniiyyRyy殘差平方和。總偏差平方和1354總計0.36128.361殘差變量0.64225.639隨機誤差比例平方和來源表表1-3 從表從表3-1中可以看出，解析變量對總效應約貢獻了中可以看出，解析變量對總效應約貢獻了64%，即，即R2 0.64，可以敘述為，可以敘述為“身高解析了身高解析了64%的體重變化的體重

22、變化”，而隨機誤差貢獻了剩余的，而隨機誤差貢獻了剩余的36%。 所以，身高對體重的效應比隨機誤差的效應大得多。所以，身高對體重的效應比隨機誤差的效應大得多。我們可以用我們可以用相關指數相關指數R2來刻畫回歸的效果，其計算公式是來刻畫回歸的效果，其計算公式是22121()11()niiiniiyyRyy殘差平方和?？偲钇椒胶捅肀?-2列出了女大學生身高和體重的原始數據以及相應的殘差數據。列出了女大學生身高和體重的原始數據以及相應的殘差數據。 在研究兩個變量間的關系時，首先要根據散點圖來粗略判斷它們是否線性相關，在研究兩個變量間的關系時，首先要根據散點圖來粗略判斷它們是否線性相關，是否可以用回歸

23、模型來擬合數據。是否可以用回歸模型來擬合數據。殘差分析與殘差圖的定義：殘差分析與殘差圖的定義： 然后，我們可以通過殘差然后，我們可以通過殘差 來判斷模型擬合的效果，判斷原始來判斷模型擬合的效果，判斷原始數據中是否存在可疑數據，數據中是否存在可疑數據，這方面的分析工作稱為殘差分析這方面的分析工作稱為殘差分析。12,ne ee 編號編號12345678身高身高/cm165165157170175165155170體重體重/kg4857505464614359殘差殘差-6.3732.6272.419-4.6181.1376.627-2.8830.382 我們可以利用圖形來分析殘差特性，作圖時縱坐標為

24、殘差，橫坐標可以選為樣本我們可以利用圖形來分析殘差特性，作圖時縱坐標為殘差，橫坐標可以選為樣本編號，或身高數據，或體重估計值等，這樣作出的圖形稱為編號，或身高數據，或體重估計值等，這樣作出的圖形稱為殘差圖殘差圖。2021-11-19鄭平正 制作殘差圖的制作及作用。殘差圖的制作及作用。坐標縱軸為殘差變量，橫軸可以有不同的選擇；坐標縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點應該分布在以若模型選擇的正確，殘差圖中的點應該分布在以橫軸為心的帶形區(qū)域橫軸為心的帶形區(qū)域；對于遠離橫軸的點，要特別注意對于遠離橫軸的點，要特別注意。身高與體重殘差圖異常點 錯誤數據 模型問題 幾點說明

25、：幾點說明： 第一個樣本點和第第一個樣本點和第6個樣本點的殘差比較大，需要確認在采集過程中是否有人為個樣本點的殘差比較大，需要確認在采集過程中是否有人為的錯誤。如果數據采集有錯誤，就予以糾正，然后再重新利用線性回歸模型擬合數的錯誤。如果數據采集有錯誤，就予以糾正，然后再重新利用線性回歸模型擬合數據；如果數據采集沒有錯誤，則需要尋找其他的原因。據；如果數據采集沒有錯誤，則需要尋找其他的原因。 另外，殘差點比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計較合適，這另外，殘差點比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預報精度越

26、高。樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預報精度越高。例例2、在一段時間內，某中商品的價格、在一段時間內，某中商品的價格x元和需求量元和需求量Y件之間件之間的一組數據為：的一組數據為：求出求出Y對的回歸直線方程，并說明擬合效果的好壞。對的回歸直線方程，并說明擬合效果的好壞。價格價格x1416182022需求量需求量Y1210753解：解：18,7.4,xy555221111660,327,620,iiiiiiixyx y7.4 1.15 1828.1.a1.1528.1.yx 回歸直線方程為：51522155iiiiix yxybxx26205 18 7.41.15.16605 18 例例2、在一段時間內，某中商品的價格、在一段時間內，某中商品的價格x元和需求量元和需求量Y件之間件之間的一組數據為：的一組數據為：求出求出Y對的回歸直線方程，并說明擬合效果的好壞。對的回歸直線方程，并說明擬合效果的好壞。價格價格x1416182022需求量需求量Y1210753列出殘差表為列出殘差表為521()iiiyy0.3,521()iiyy53.2,5221521()1()iiiiiyyRyy 0.994因而，擬合效果較好。因而，擬合效果較好。i