流域年均含沙量BP模型問題分析

1、流域年均含沙量BP模型問題分析    摘要：本文在用人工神經(jīng)網(wǎng)絡(luò)BP模型對(duì)流域年均含沙量進(jìn)行多因素建模過程中，對(duì)BP算法進(jìn)行了改進(jìn)。在學(xué)習(xí)速率的選取上引進(jìn)了一維搜索法，解決了人工輸入時(shí)，若值過小，收斂速度太慢，值過大，又會(huì)使誤差函數(shù)值振蕩，導(dǎo)致算法不收斂的問題。建模實(shí)踐表明，改進(jìn)后的BP算法可能使網(wǎng)絡(luò)誤差函數(shù)達(dá)到局部極小點(diǎn)，提高了算法的擬合精度。 關(guān)鍵詞：BP算法 學(xué)習(xí)速率 年均含沙量 一維搜索法  我國(guó)河流眾多，自然資源十分豐富，但江河流域水土流失非常嚴(yán)重，給國(guó)家的可持續(xù)發(fā)展以及生態(tài)環(huán)境帶來較

2、大的危害。對(duì)于流域產(chǎn)沙的定量研究，一般采用單因子線性回歸方法。這類方法雖然也能反映出某種統(tǒng)計(jì)特性，但不能刻畫自然界復(fù)雜的非線性特性。人工神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型是復(fù)雜非線性映射的新方法。在引入這一新的定量研究方法對(duì)流域年均含沙量進(jìn)行建模預(yù)測(cè)時(shí)發(fā)現(xiàn)：算法中學(xué)習(xí)速率值的選取對(duì)算法成敗起著關(guān)鍵作用，若值過小，收斂速度太慢，而值過大，又會(huì)使誤差函數(shù)值不下降，導(dǎo)致算法不收斂。本文正是針對(duì)這一問題進(jìn)行了探討。1 BP網(wǎng)絡(luò)模型及學(xué)習(xí)率固定的弊端人工神經(jīng)網(wǎng)絡(luò)理論是80年代中后期迅速發(fā)展起來的一門前沿科學(xué)，其應(yīng)用已滲透到各個(gè)領(lǐng)域1。BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)網(wǎng)

3、絡(luò)理論的重要模型之一，應(yīng)用尤為廣泛。盡管BP網(wǎng)絡(luò)模型發(fā)展逐步成熟，但仍然存在許多問題，在理論上需要完善2。BP算法主要包括兩個(gè)過程，一是由學(xué)習(xí)樣本、網(wǎng)絡(luò)權(quán)值從輸入層隱含層輸出層逐次算出各層節(jié)點(diǎn)的輸出；二是反過來由計(jì)算輸出與實(shí)際輸出偏差構(gòu)出的誤差函數(shù)E（），用梯度下降法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，即k+1=k+()使誤差E(k+1)減小。上式中的為學(xué)習(xí)速率，即沿負(fù)梯度方向的步長(zhǎng)。對(duì)于BP算法學(xué)習(xí)速率的選取標(biāo)準(zhǔn)，一些研究者憑經(jīng)驗(yàn)認(rèn)為取01之間較合適，但這并無理論依據(jù)。實(shí)質(zhì)上，大小的選取對(duì)算法的成敗起關(guān)鍵作用，步長(zhǎng)過大，誤差函數(shù)值可能發(fā)生振蕩，甚至出現(xiàn)不收斂，而步長(zhǎng)過小，收斂速度又太慢，并且在每一次迭代中，可選步

4、長(zhǎng)也不一樣?？傊?，對(duì)于BP算法固定的學(xué)習(xí)速率不可能使網(wǎng)絡(luò)達(dá)到局部極值點(diǎn)。為此，本文引進(jìn)一維搜索法，在每一次迭代過程中讓計(jì)算機(jī)自動(dòng)去尋找一個(gè)最優(yōu)的步長(zhǎng)，這樣可使網(wǎng)絡(luò)收斂到局部極值點(diǎn)。2 BP算法及其改進(jìn)2.1 BP算法步驟1°隨機(jī)抽取初始權(quán)值；2°輸入學(xué)習(xí)樣本對(duì)（Xp,Yp），學(xué)習(xí)速率，誤差水平；3°依次計(jì)算各層結(jié)點(diǎn)輸出opi,opj,opk；4°修正權(quán)值k+1=k+pk,其中pk=,k為第k次迭代權(quán)變量；5°若誤差E<停止，否則轉(zhuǎn)3°。2.2 最優(yōu)步長(zhǎng)k的確定在上面的算法中，學(xué)習(xí)速率實(shí)質(zhì)上是一個(gè)沿負(fù)

5、梯度方向的步長(zhǎng)因子，在每一次迭代中如何確定一個(gè)最優(yōu)步長(zhǎng)k，使其誤差值下降最快，則是典型的一維搜索問題，即E(k+kpk)=(k+pk)。令()=E(k+pk)，則()=dE(k+pk)/d=E(k+pk)Tpk。若k為()的極小值點(diǎn)，則(k)=0，即E(k+pk)Tpk=-pTk+1pk=0。確定k的算法步驟如下1°給定0=0,h=0.01,0=0.00001；2°計(jì)算(0),若(0)=0,則令k=0，停止計(jì)算；3°令h=2h, 1=0+h；4°計(jì)算(1)，若(1)=0，則令k=1，停止計(jì)算；若(1)>0，則令a=0,b=1；若(1)&l

6、t;0，則令0=1，轉(zhuǎn)3°；5°計(jì)算(a)，若(a)=0，則k=a，停止計(jì)算；6°計(jì)算(b)，若(b)=0，則k=b，停止計(jì)算；7°計(jì)算(a+b/2),若(a+b/2)=0，則k=a+b/2，停止計(jì)算；若(a+b/2)<0,則令a=a+b/2;若(a+b/2)>0，則令b=a+b/28°若a-b<0，則令，k=a+b/2,停止計(jì)算，否則轉(zhuǎn)7°。2.3 改進(jìn)BP算法的特點(diǎn)分析在上述改進(jìn)的BP算法中，對(duì)學(xué)習(xí)速率的選取不再由用戶自己確定，而是在每次迭代過程中讓計(jì)算機(jī)自動(dòng)尋找最優(yōu)步長(zhǎng)k。而確定k的算法中，首先給定0

7、=0，由定義()=E(k+pk)知，()=dE(k+pk)/d=E(k+pk)Tpk，即(0)=-pTkpk0。若(0)=0，則表明此時(shí)下降方向pk為零向量，也即已達(dá)到局部極值點(diǎn)，否則必有(0)<0，而對(duì)于一維函數(shù)()的性質(zhì)可知，(0)<0則在0=0的局部范圍內(nèi)函數(shù)為減函數(shù)。故在每一次迭代過程中給0賦初值0是合理的。改進(jìn)后的BP算法與原BP算法相比有兩處變化，即步驟2°中不需給定學(xué)習(xí)速率的值；另外在每一次修正權(quán)值之前，即步驟4°前已計(jì)算出最優(yōu)步長(zhǎng)k。3 實(shí)例分析通常流域含沙量與氣象、水文要素和下墊面植被狀況等多因素關(guān)系密切4。本文選取了采伐面積(X1)

8、、采伐量(X2)、降雨量(X3)和年平均徑流量(X4)這4個(gè)主要因素對(duì)流域年均含沙量(Y1)進(jìn)行了建模預(yù)測(cè)5。由于采伐面積和采伐量對(duì)流域產(chǎn)沙的影響很難在一年后徹底消除，有可能影響到以后的幾年甚至幾十年流域產(chǎn)沙量。因此，本文認(rèn)為采伐面積(X1)、采伐量（X2）對(duì)流域年均含沙量具有一定的滯后效應(yīng)。下面對(duì)這兩個(gè)因子X1和X2各取五階延遲，即采用輸入層節(jié)點(diǎn)數(shù)n=14，輸出層節(jié)點(diǎn)數(shù)m=1，隱含層節(jié)點(diǎn)數(shù)取r=12的三層BP網(wǎng)絡(luò)建模。表1中，列舉了網(wǎng)絡(luò)學(xué)習(xí)過程中由一維搜索法得出的最優(yōu)迭代步長(zhǎng)k的系列值。由于數(shù)據(jù)量太大，因此間隔性地選取迭代過程中的部分值。從表1可看出，最后得出的k值為0，這說明網(wǎng)絡(luò)收斂到局部

9、極值點(diǎn)，這一點(diǎn)原BP算法是無法達(dá)到的。另外大部分k值不相等，大的為3.1，小的可為0，而且有許多k值大于1，而并不是人們常認(rèn)為的只能在（0，1）內(nèi)取值，同時(shí)這也說明根本不存在固定的學(xué)習(xí)速率。表1 網(wǎng)絡(luò)學(xué)習(xí)過程中最優(yōu)步長(zhǎng)kValues of k in networks studying      k      0.341.50.71.50.11.51.50.31.51.50.10.30.30.280.31.50.11.

10、50.31.51.50.30.11.50.10.30.240.10.10.30.30.10.30.11.51.51.51.51.51.50.30.31.51.50.10.71.50.30.10.30.31.50.251.50.31.50.30.70.10.30.10.30.10.10.10.30.11.50.10.30.31.50.10.31.50.31.51.50.30.11.50.10.30.31.51.50.30.30.30.31.50.30.31.50.10.30.30.30.30.30.30.30.30.71.50.31.50.30.30.30.31.51.50.10.10.10.3

11、1.51.51.50.71.50.30.10.30.31.51.53.10.31.51.51.50.10.10.31.50.11.50.30.30.30.31.51.50.30.10.30.31.51.50.31.50.30.10.30.11.50.30.11.50.30.70.30.10.71.50.30.70.10.30.10.30.10.30.10.30.30.30.10.30.30.30.31.51.50.30.31.50.30.31.50.30.30.31.50.10.30.31.50.30.30.10.30.11.50.30.10.30.10.30.30.30.30.11.51.5

12、1.50.70.10.10.30.30.30.10.10.10.30.10.11.50.31.50.10.30.10.31.50.30.10.31.51.51.50.30.30.30.31.50.30.30.31.50.70.70.30.10.70.30表2給出了改進(jìn)BP模型模擬預(yù)測(cè)的結(jié)果。其中前10組為擬合誤差，后3組為預(yù)測(cè)誤差。從中可看出，改進(jìn)的BP算法對(duì)流域年均含沙量進(jìn)行多因素建模預(yù)測(cè)時(shí)擬合精度高，預(yù)測(cè)效果也較好，預(yù)測(cè)誤差依次為0.09%、3.79%、17.78%。表2 改進(jìn)BP模型模擬預(yù)測(cè)結(jié)果Simulation and prediction r

13、esults of improved BP model樣本序號(hào)實(shí)測(cè)值計(jì)算值絕對(duì)誤差相對(duì)誤差(%)樣本序號(hào)實(shí)測(cè)值計(jì)算值絕對(duì)誤差相對(duì)誤差(%)15.035.0300.0000323.553.5500.00010332.722.7200.00001844.054.0500.00008853.223.2200.0000762.652.6500.00042871.911.9100.00066783.003.0000.00020591.311.3100.000076102.332.3300.000025113.553.5500.086938123.353.220.1273.789662132.552.100.44617.4796     4 結(jié)論本文對(duì)BP算法進(jìn)行了改進(jìn)，即引入一維搜索法解決學(xué)習(xí)速率的選取問題；改進(jìn)后的BP算法可以使網(wǎng)絡(luò)收斂到局部極值點(diǎn)，并提高算法的擬合精度。參