外文翻譯--RBF 神經(jīng)網(wǎng)絡(luò).doc

附錄A2RBF神經(jīng)網(wǎng)絡(luò)2.1神經(jīng)網(wǎng)絡(luò)原理人腦存儲的信息是分布式地存儲在腦細胞之間的關(guān)聯(lián)上，而不是保存在腦細胞的內(nèi)部。腦細胞通過它們之間的作用關(guān)系(如激勵和抑制)來存儲。人工模擬這種映射關(guān)系的系統(tǒng)稱為(人工)神經(jīng)網(wǎng)絡(luò)(ANN)。神經(jīng)網(wǎng)絡(luò)是一個具有高度非線性的超大規(guī)模連續(xù)時間動力系統(tǒng)，是由大量的處理單元(神經(jīng)元)廣泛互連而形成的網(wǎng)絡(luò)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，反映了腦功能的基本特征。但它并不是人腦的真實描寫，而只是它的某種抽象、簡化與模擬。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來實現(xiàn)，知識與信息的存儲表現(xiàn)為網(wǎng)絡(luò)元件互連間分布式的物理聯(lián)系，網(wǎng)絡(luò)的學(xué)習(xí)和計算決定于各神經(jīng)元連接權(quán)系的動態(tài)演化過程。其中，神經(jīng)元構(gòu)成了網(wǎng)絡(luò)的基本運算單元，每個神經(jīng)元具有自己的閡值，每個神經(jīng)元的輸入信號是所有與其相連的神經(jīng)元的輸出信號和加權(quán)后的和。而輸出信號是其凈輸入信號的非線性函數(shù)。如果輸入信號的加權(quán)集合高于其閑值，該神經(jīng)元便被激活而輸出相應(yīng)的值。在人工神經(jīng)網(wǎng)絡(luò)中所存儲的是單元之間連接的加權(quán)值陣列。神經(jīng)網(wǎng)絡(luò)的工作過程主要由兩個階段組成:一個階段是工作期。此時各連接權(quán)值固定，計算單元的狀態(tài)變化，以求達到穩(wěn)定狀態(tài)。另一階段是學(xué)習(xí)期(自適應(yīng)期，或設(shè)計期)。此時各計算單元狀態(tài)不變，各連接權(quán)值可修改(通過學(xué)習(xí)樣本或其他方法)。前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)。后一階段慢的多，權(quán)及連接方式亦稱長期記(LTM)。目前神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有近百種之多，算法更無法記數(shù)。根據(jù)網(wǎng)絡(luò)特性，神經(jīng)網(wǎng)絡(luò)大致可以分為靜態(tài)和動態(tài)兩類。靜態(tài)網(wǎng)絡(luò)當前的輸出僅僅反映當前輸入數(shù)據(jù)的處理結(jié)果。動態(tài)網(wǎng)絡(luò)是有記憶能力的網(wǎng)絡(luò)，記憶能力可以是由于神經(jīng)元傳遞函數(shù)是微分或差分方程導(dǎo)致的；也可以是由于網(wǎng)絡(luò)的輸出或網(wǎng)絡(luò)內(nèi)部的狀態(tài)反饋到網(wǎng)絡(luò)的輸入端產(chǎn)生的。下面對于一些常見于控制系統(tǒng)中的網(wǎng)絡(luò)結(jié)構(gòu)和算法作簡要的介紹。2.1.1神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)類型1.神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是由大量簡單神經(jīng)元相互連接構(gòu)成的復(fù)雜網(wǎng)絡(luò)。圖2-1是一個典型的單層神經(jīng)網(wǎng)絡(luò)模型，它具有R維輸入，S個神經(jīng)元。p為RXI維的輸入矢量，網(wǎng)絡(luò)層由權(quán)值矩陣W(SxR)、閉值矢量b(Sxl)、求和單元。和傳遞函數(shù)運算單元f組成，S個神經(jīng)元的輸出組成了Sxl維的神經(jīng)網(wǎng)絡(luò)輸出矢量a。其中，輸入層網(wǎng)絡(luò)權(quán)值矩陣W和閥值矢量b的具體形式如下:在單層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上可以構(gòu)造多層神經(jīng)網(wǎng)絡(luò)。一個典型的三層神經(jīng)網(wǎng)絡(luò)模型2.神經(jīng)網(wǎng)絡(luò)的分類神經(jīng)網(wǎng)絡(luò)的類型多種多樣，它們是從不同角度對生物神經(jīng)系統(tǒng)不同層次的抽象和模擬【18】。一般來說，當神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及其功能主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法。按網(wǎng)絡(luò)拓撲結(jié)構(gòu)主要可分為前饋型和反饋型兩種19，13。（1）饋型網(wǎng)絡(luò)。各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋，結(jié)點分為兩類，即輸入單元和計算單元，每一計算單元可有多個輸入，但只有一個輸出(它可藕合到任意多個其他結(jié)點作為其輸入)。通常前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i一1層輸出相連，輸入和輸出結(jié)點與外界相連，而其他中間層則稱為隱層。（2）饋型網(wǎng)絡(luò)。所有結(jié)點都是計算單元，同時也可接受輸入，并向外界輸出，可畫成一個無向圖，如圖2-4(a)，其中每個連接弧都是雙向的，也可畫成如圖2-4(b)的形式。若總單元數(shù)為n，則每一個結(jié)點有n-1個輸入和一個輸出。神經(jīng)網(wǎng)絡(luò)的工作過程主要分為兩個階段:第一個階段是學(xué)習(xí)期，此時各計算單元狀態(tài)不變，各連接上的權(quán)值可通過學(xué)習(xí)來修改；第二階段是工作期，此時各連接權(quán)固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀從作用效果看，前饋網(wǎng)絡(luò)主要是函數(shù)映射，可用于模式識別和函數(shù)逼近。反饋網(wǎng)絡(luò)按對能量函數(shù)的極小點的利用來分類有兩種:第一類是能量函數(shù)的所有極小點都起作用，這一類主要用作各種聯(lián)想存儲器；第二類只利用全局極小點，它主要用于求解最優(yōu)化問題。2.1.2神經(jīng)網(wǎng)絡(luò)在控制中的應(yīng)用K.J.Hunt和D.Sbrabaro等總結(jié)了神經(jīng)網(wǎng)絡(luò)用于控制系統(tǒng)最吸引人的幾個特征:神經(jīng)網(wǎng)絡(luò)是本質(zhì)的非線性系統(tǒng)、具有高度并行的結(jié)構(gòu)、某些網(wǎng)絡(luò)可以硬件實現(xiàn)、具有學(xué)習(xí)和自適應(yīng)性、可以同時處理定性的和定量的數(shù)據(jù)、多變量系統(tǒng)等特點。神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中無論是作為控制器還是作為實際系統(tǒng)的辯識模型，都是以神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力為基礎(chǔ)的。有兩種基本的神經(jīng)網(wǎng)絡(luò)的應(yīng)用方式:正模型(辯識)和逆模型(控制器)正模型法通過訓(xùn)練使一個神經(jīng)網(wǎng)絡(luò)逼近一個系統(tǒng)的正向模型，以模型和實際系統(tǒng)輸出的差值作為網(wǎng)絡(luò)訓(xùn)練的誤差信號來修正網(wǎng)絡(luò)權(quán)值。假設(shè)系統(tǒng)的模型訓(xùn)練可以一直采用實際系統(tǒng)的數(shù)據(jù)y以保證訓(xùn)練的穩(wěn)定性，或者在一定的訓(xùn)練步數(shù)后采用神經(jīng)網(wǎng)絡(luò)以前的輸出作為網(wǎng)絡(luò)輸入來避免有噪聲的數(shù)據(jù)對辯識結(jié)果的影響。逆模型法通過訓(xùn)練得到系統(tǒng)動態(tài)的逆模型或控制器，串聯(lián)在原系統(tǒng)前面使系統(tǒng)簡化或滿足一定的控制要求。有兩種基本的神經(jīng)網(wǎng)絡(luò)求逆結(jié)構(gòu):直接逆結(jié)構(gòu)和間接逆結(jié)構(gòu)直接逆結(jié)構(gòu)輸入一個信號到實際系統(tǒng)，其輸出作為神經(jīng)網(wǎng)絡(luò)的輸入，把網(wǎng)絡(luò)的輸出和加入信號的差值作為誤差訓(xùn)練網(wǎng)絡(luò)。直接逆結(jié)構(gòu)有兩個嚴重的缺點:(l)由于神經(jīng)網(wǎng)絡(luò)逆模型的輸入是由實際系統(tǒng)的輸出得到的，可能不完全覆蓋逆問題的輸入空間；(2)如果系統(tǒng)不是一對一的，在不能得到全部輸入空間特征訓(xùn)練點集的情況下，可能得到錯誤的逆模型。采用神經(jīng)網(wǎng)絡(luò)間接逆結(jié)構(gòu)可以部分地克服上面兩點缺點。間接逆結(jié)構(gòu)輸入信號到神經(jīng)網(wǎng)絡(luò)，然后把網(wǎng)絡(luò)輸出送到實際系統(tǒng)，系統(tǒng)輸出與輸入到網(wǎng)絡(luò)的信號差值用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。采用該結(jié)構(gòu)，網(wǎng)絡(luò)的輸入可以人工選擇，可以使輸入的信號能夠代表逆系統(tǒng)輸入空間的特征。當網(wǎng)絡(luò)不是一對一的時候，可以學(xué)習(xí)得到具有某些特定性質(zhì)的部分逆模型。2.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法徑向基函數(shù)(RadialBasisFunction)神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken在20世紀80年代末提出的一種神經(jīng)網(wǎng)絡(luò)，它是具有單隱層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接收域(或稱感受野一RecePtiveField)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，徑向基函數(shù)(徑向基)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，即對于輸入空間的某一局部區(qū)域只存在少數(shù)的神經(jīng)元用于決定網(wǎng)絡(luò)的輸出。已證明它能以任意精度逼近任意連續(xù)函數(shù)。徑向基函數(shù)理論是一種對多輸入、多輸出非線性系統(tǒng)的辨識方法，以此而建立的徑向基網(wǎng)絡(luò)可實現(xiàn)對非線性系統(tǒng)的模式識別與分類。2.2.1徑向基函數(shù)神經(jīng)元模型一個具有R維輸入的徑向基函數(shù)神經(jīng)元模型如圖2一7所示。圖中的dist模塊表示求取輸入矢量和權(quán)值矢量的距離。此模型中采用高斯函數(shù)radbas作為徑向基函數(shù)神經(jīng)元的傳遞函數(shù)，其輸n入為輸入矢量p和權(quán)值矢量w的距離乘以閡值b。高斯函數(shù)是典型的徑向基函數(shù)，其表達式為f(x)=e-x2其函數(shù)曲線如圖2一8所示中心與寬度是徑向基函數(shù)神經(jīng)元的兩個重要參數(shù)。神經(jīng)元的權(quán)值矢量w確定了徑向基函數(shù)的中心，當輸入矢量p與w重合時，徑向基函數(shù)神經(jīng)元的輸出達到最大值，當輸入矢量p距離w越遠時，神經(jīng)元輸出就越小。神經(jīng)元的閉值b確定了徑向基函數(shù)的寬