第十一講數(shù)據(jù)擬合與線性最小二乘擬合

數(shù)據(jù)擬合與線性最小二乘法張興元2003.041．曲線擬合的提法與求解思路1〕.提法曲線擬合問題的提法是，一維〔二維〕數(shù)據(jù)，即平面上的n個點(xi，yi)，i=1,2,…,n，xi互不相同，尋求一個函數(shù)(曲線)y=f(x)，使f(x)在某種準(zhǔn)那么下與所有數(shù)據(jù)點最為接近，即曲線擬合的最好，如以下圖所示(圖中δi為(xi，yi)與y=f(x)的距離)。2〕.求解思路線性最小二乘法是解決曲線擬合最常用的方法。根本思路是，令f(x)=a1r1(x)+a2r2(x)+…+amrm(x)(1)其中rk(x)是事先選定的一組函數(shù)，ak是待定系數(shù)(k=1,2,…,m，m<n)。擬合準(zhǔn)那么是使n個點(xi，yi)，i=1,2,…,n，與y=f(xi)的距離δi的平方和最小，稱為最小二乘準(zhǔn)那么。Oxyδi(xi，yi)2．線性最小二乘法1〕.理論———根本理論之a(chǎn)k確實定根據(jù)最小二乘準(zhǔn)那么，記J(a1，a2，…，am)=為求a1，a2，…，am是J到達(dá)最小，只需要利用極值的必要條件得到關(guān)于a1，…，am的線性方程組2．線性最小二乘法記，A=(a1，a2，…，am)T，y=(y1，…，yn)T，方程組(3)可表為RTRA=RTy(4)(4)稱為法方程組，當(dāng){r1(x)，…，rm(x)}線性無關(guān)時，R列滿秩，RTR可逆，于是方程組(4)有唯一解A=(RTR)-1RTy(5)可以看出，只要f(x)關(guān)于待定系數(shù)a1，…，am線性，在最小二乘準(zhǔn)那么〔2〕下得到的方程組(3)關(guān)于a1，a2，…，am也一定是線性的，故稱線性最小二乘法。2．線性最小二乘法2)理論______函數(shù)rk(x)的選取面對一組數(shù)據(jù)(xi，yi)，i=1,2,…,n，用線性最小二乘法作曲線擬合時，首要的、也是關(guān)鍵的一步是恰當(dāng)?shù)剡x取r1(x)，r2(x)，…，rm(x)。

如果通過機(jī)理分析，能夠知道y與x之間應(yīng)該有什么樣的函數(shù)關(guān)系，那么r1(x)，…，rm(x)容易確定。假設(shè)無法知道y與x之間的關(guān)系，通?？梢詫?shù)據(jù)(xi，yi)，i=1,2,…,n作圖，直觀地判斷應(yīng)該用什么樣的曲線去作擬合。人們常用的參數(shù)曲線有u

直線y=a1x+a2u

多項式y(tǒng)=a1xm+…+amx+am+1(一般m=2,3,不宜過高)u

雙曲線〔一支〕y=a1/x+a2u

指數(shù)曲線對于指數(shù)曲線，擬合前需作變量代換，化為對a1，a2的線性函數(shù)。一組數(shù)據(jù)，用什么樣的曲線擬合最好，可以在直觀判斷的根底上，選擇集中曲線分別作擬合，然后比較，看那條曲線的最小二乘指標(biāo)J最小。2．線性最小二乘法3〕求解方法〔1〕

描出數(shù)據(jù)的圖示；〔2〕

觀察并選擇不同的數(shù)學(xué)模型進(jìn)行擬合；〔3〕

比較多種擬合結(jié)果，選擇其中較好的一種或者某幾種作為備選結(jié)果；注意：通常需要將非線性函數(shù)rk(x)的轉(zhuǎn)化成線性的函數(shù)Rk(x)，然后再用Rk(x)進(jìn)行擬合，計算中通常需要列下表：i01…nxix0x1…xnyi=f(xi)y0y1…ynR1(x)R1(x0)R1(x1)…R1(xn)………………Rm(x)Rm(x0)Rm(x1)…Rm(xn)這樣就容易確定出法方程組RTRA=RTy。上表中后面的m行即為RT。2．線性最小二乘法3〕.算例例

給定數(shù)據(jù)(xi，f(xi))，i=0,1,2,3,4，見下表，使選擇適當(dāng)?shù)哪Ｐ?，求最小二乘擬合函數(shù)g(x)。

i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=lnf(xi)1.6291.7561.8762.0082.135解：〔1〕、先描出數(shù)據(jù)的圖示2．線性最小二乘法〔2〕選定不同的數(shù)學(xué)模型或者rk(x)進(jìn)行擬合

直線模型y=a+bx

選取線性函數(shù)模型，選取Y=a+bx，此時，r1(x)=1，r2(x)=x。要求

Y=a+bx與(xi，yi)，i=0,1,2,3,4，做最小二乘擬合，Yi=f(xi)。列表計算如下：i01234xi1.001.251.501.752.00Yi=f(xi)5.105.796.537.458.46r1(x)11111r2(x)1.001.251.501.752.002．線性最小二乘法求解法方程組得到a=1.6380，b=3.3520，于是得到該模型下的最小二乘擬合曲線為g(x)=1.6380+3.3520x。

2．線性最小二乘法

多項式模型y=a0+a1x+a2x2

選取線性函數(shù)模型，選取Y=a+bx+cx2，此時，

r1(x)=1，r2(x)=x，r3(x)=x2。要求Y=a+bx+cx2與(xi，yi)，i=0,1,2,3,4，做最小二乘擬合，Yi=f(xi)。列表計算如下：i01234xi1.001.251.501.752.00Yi=f(xi)5.105.796.537.458.46r1(x)=111111r2(x)=x1.001.251.501.752.00r3(x)=x21.001.56252.253.06254.002．線性最小二乘法求解法方程組得到a=3.6294，b=0.5406，c=0.9371，于是得到該模型下的最小二乘擬合曲線為g(x)=3.6294+0.5406x+0.9371x22．線性最小二乘法

雙曲線模型y=1/(a0+a1x)

選取雙曲函數(shù)模型，例如，選取y=1/(a0+a1x)，令Y=1/y=a0+a1x，此時，r1(x)=1，r2(x)=x。要求Y=a0+a1x與(xi，yi)，i=0,1,2,3,4，做最小二乘擬合，Yi=1/f(xi)。列表計算如下：i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=1/f(xi)0.1960780.1727120.1531390.1342280.118203r1(x)11111r2(x)1.001.251.501.752.002．線性最小二乘法求解法方程組得到

a0=0.27139，a1=-0.07768，于是得到該模型下的最小二乘擬合曲線為g(x)=1/(0.27139-0.07768x)。

2．線性最小二乘法

l

指數(shù)曲線模型y=aebx

根據(jù)給定數(shù)據(jù)選擇數(shù)據(jù)模型y=aebx，取對數(shù)lny=lna+bx，令Y=lny，A=lna，取r1(x)=1，r2(x)=x，要求Y=A+bx與(xi，Yi)，i=0,1,2,3,4，做最小二乘擬合，Yi=lnf(xi)。計算結(jié)果如下：

i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=lnf(xi)1.6292405401.7561322921.876406942.008214032.13534917r1(x)11111r2(x)1.001.251.501.752.002．線性最小二乘法

求解法方程組得到A=1.1225，b=0.5057，a=eA=3.072525924，于是得到此模型下的最小二乘擬合g(x)=3.072525924e0.5057x。2．線性最小二乘法

(3)比較上面的結(jié)果如下:i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46直線模型4.995.836.677.508.340.49e-1多項式模型5.1075.