matlab算法第19章神經(jīng)網(wǎng)絡(luò)模型

第十九章 能的一種抽象數(shù)學(xué)模型。自1943年心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts提出形式神經(jīng)元的抽象數(shù)學(xué)模型—MP模型以來，人工神經(jīng)網(wǎng)絡(luò)理論技術(shù)經(jīng)過了50多年曲折的發(fā)展。特別是2080年代，人工神經(jīng)網(wǎng)絡(luò)的研究取得了重大進(jìn)展，有關(guān)的理論40多種神經(jīng)網(wǎng)絡(luò)模型，其中比較著名的有感知機(jī)，Hopfield網(wǎng)絡(luò)，Boltzman機(jī)，自適應(yīng)理論及反向網(wǎng)絡(luò)（BP）等。在這里我們范圍內(nèi)（一般限制在(0,1)或(1,1之間。此外還有一個(gè)閾值k（或偏置bkk。pukwkjxj

vkukk，yk(vkx1x2Lxpwk1wk2Lwkp為神經(jīng)元kuk為線性組合結(jié)果，k為閾值，()為激活函數(shù)，yk為神經(jīng)元k的輸出。pvkwkjxj，yk(uk(v)

vv y vk vkp其中vkwkjxjkMP2(v)1(12

v1vv

sigmoid函數(shù)(v) 1

2 1(v)tanhv2 1 功)

1

1個(gè)其它結(jié)點(diǎn)作為其輸入。通常前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i1層果饋要映用模函。按對能量函數(shù)的極小點(diǎn)的利用來分類有兩種：第一類是能量函數(shù)的所有極小點(diǎn)都起作類用聯(lián)二利用點(diǎn)主求優(yōu) 依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得了9Af6Apf的數(shù)據(jù)如下：Af:(1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，Apf:Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。ApfAf6Apf為解決上述問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)，

(v)1

1來決定。圖中最下面單元，即由的品的原始數(shù)據(jù)輸入網(wǎng)絡(luò)時(shí)，相應(yīng)的輸出單元狀態(tài)記為Os(ii1,2)Hsj1,2,3)Is(k1,2)。請注意，此處下標(biāo)ijk 是jj

hs

2

swjkw

Hs(hs) Is jk hswHsw(wIs i

jk Os(hs)(wHs)(w Is

jk任何一組確定的輸入，輸出是所有權(quán){wij,wjk}的函數(shù)。 段時(shí)間內(nèi)，曾經(jīng)是使研究工作者感到的一個(gè)問題，直到1985年，加州大學(xué)的Propagation是(0,1)，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是不可能的，只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見，把對應(yīng)于樣品s的理想輸出記為E(W)1(TsOs 2 2E(W) 2 ，對每一個(gè)變量wij或wij而言，這是續(xù)可微的非線性函數(shù)，為了求得其極E(W)的（局部）極小，它從一個(gè)任取的初始點(diǎn)W0出發(fā)，計(jì)算在W0點(diǎn)的負(fù)梯度方向E(W0，這是函數(shù)在該點(diǎn)下降最快的方向；只要E(W00，就可沿該方向移動(dòng)一小段距離，達(dá)到一個(gè)新的點(diǎn)W1W0E(W0，是一個(gè)參數(shù)，只要足夠小，

wij [TiOi]'(hi)HjiH s'(hs)[TsOs E[TsOs]'(hs)w'(hs)I

sw'(hs)IssI

jss'(hs)w iji pss由實(shí)際輸出與理想輸出的差及hs決定，而s則需依賴s算出，因此， p這一算法才稱為向后算法。稍加分析還可知道，利用由（11）~（13）式所給出的計(jì)算安排，較之不考慮s的向后，直接計(jì)算所有含的原表達(dá)式，極大地降低了計(jì)算工作量。這組關(guān)系式稱作廣義法則，它們不難推廣到一般的多層網(wǎng)絡(luò)上去。p利用這一迭代算法，最終生成在一定精度內(nèi)滿足要求的{wijwjk}的過程，稱為人樣本中任何一個(gè)樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個(gè)權(quán)之中。參數(shù)的大小在式（11）與（13）wijwjks有關(guān)的求和計(jì)算。}BP算法的出現(xiàn)，雖然對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展起了重大推動(dòng)作用，但是這一算法仍有很多問題．對于一個(gè)大的網(wǎng)絡(luò)系統(tǒng)，BP算法的工作量仍然是十分可觀的，這么它就無法逃脫該類問題的共同：BP算法所求得的解，只能保證是依賴于初值選net.trainParam.show=10;net.trainParam.lr=0.05;net.trainParam.goal=1e-10;net.trainParam.epochs=50000;net=train(net,p,goal);x=[1.241.80;1.281.84;1.40 在學(xué)習(xí)過程中，對每一輸入所產(chǎn)生的輸出也就無所謂對錯(cuò)，對于這樣的情況，顯然BP元到第iwij，同層單元間無橫向聯(lián)接。無妨假設(shè)所有輸入數(shù)值均已組輸入，只有一個(gè)輸出元取1。凈輸入的輸出元，即對輸入I(I1L,In)而言，hiwijIjWij

Wi*IWiI， j|Wi*I||WiI|， i即優(yōu)勝者是其標(biāo)準(zhǔn)化權(quán)向量最靠近輸入向量的輸出元。令O*1，其余的輸出Oi0。這樣的輸出規(guī)定了輸入向量的類別，但為了使這種分類方式有意義，問題化i對所有與i* (Is i* i* 所有其它輸出單元的權(quán)保持不變。注意到O1，O0(ii*

O(Is i* i*i*有更大的 ，上述算法，對于事先按照Ij1標(biāo)準(zhǔn)化了的輸入數(shù)據(jù)更為適用，還存在有多種處理死單元的方法，感的讀者可從文獻(xiàn)中找到的方法。當(dāng)考慮在中引進(jìn)隨學(xué)習(xí)時(shí)間而變化的收斂因子。例如，取(t)0ta，0a1。這一因子的適當(dāng)選取是極為重要的，下降太慢，無疑增加了不必要工作量，下降太快，則會(huì)使學(xué)習(xí)變得無效。上述有競爭學(xué)習(xí)的一個(gè)最重要應(yīng)用是數(shù)據(jù)壓縮中的向量量子化方法（VectorzationM個(gè)所謂“原型向量”來表示，我們可以利用一般的歐氏距離，對每一個(gè)輸入向類這種有監(jiān)督的問題并不適用。1989年，Kohonen對向量量子化方法加以修改，提出了一種適用于有監(jiān)督情況的學(xué)習(xí)方法，稱為學(xué)習(xí)向量量子化（LearningVectorzationLVQ中，對于任一輸入向量，仍按無監(jiān)督有競爭的方式選出優(yōu)勝者i*，但權(quán)的修正規(guī)則則依輸入向量的類別與i*所代表的是否一致而不同，確切地說，令 wi*j(Isw i*

對于上述的蠓蟲分類問題，我們編寫程序如下：net=newlvq(pr,4,[0.6,0.4])ne