智能控制理論教案3神經(jīng)網(wǎng)絡(luò)控制12版課件

1、 主講：范立南 沈陽(yáng)大學(xué)信息工程學(xué)院智能控制理論及其應(yīng)用第3章 神經(jīng)網(wǎng)絡(luò)控制3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用3.2 神經(jīng)網(wǎng)絡(luò)的特性3.3 生物神經(jīng)元的結(jié)構(gòu)與功能 3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)3.7 神經(jīng)網(wǎng)絡(luò)控制原理3.8 神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例第3章神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)研究熱潮的再度興起，不僅僅是因?yàn)樯窠?jīng)科學(xué)本身取得了巨大的進(jìn)展，更主要的原因在于發(fā)展新型計(jì)算機(jī)和人工智能新途徑的迫切需要神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)神經(jīng)網(wǎng)絡(luò)控制是一種基本上不依賴于模型的控制方法適用于具有不確定性或高度非線性的

2、控制對(duì)象具有較強(qiáng)的適應(yīng)和學(xué)習(xí)功能是智能控制的一個(gè)重要分支領(lǐng)域3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用神經(jīng)網(wǎng)絡(luò)的研究至今有60多年的歷史，其發(fā)展道路曲折，目前已得到較深入而廣泛的研究與應(yīng)用 1943年，心理學(xué)家McCulloch和數(shù)理學(xué)家Pitts提出形式神經(jīng)元數(shù)學(xué)模型，通常稱為MP模型1949年，D.O.Hebb提出調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)的規(guī)則（ Hebb 學(xué)習(xí)規(guī)則）1958年，F(xiàn). Rosenblatt提出感知機(jī)模型，用于模式分類3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用1969年M.Minsky和S.Papert發(fā)表專著“感知機(jī)”，指出線性感知機(jī)功能有限70年代，神經(jīng)網(wǎng)絡(luò)研究處于低潮3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用1982

3、、1984年，美國(guó)物理學(xué)家J. J. Hopfield發(fā)表2篇文章，提出一種反饋互連網(wǎng)，稱Hopfield網(wǎng)，開(kāi)拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑 3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用1986年，美國(guó)加州大學(xué)學(xué)者 D. E. Rumelhart（魯梅爾哈特 ）和J. L. McClelland（麥克萊蘭 ）提出多層前饋網(wǎng)的反向傳播算法（Back Bropagation），簡(jiǎn)稱BP網(wǎng)絡(luò)或BP算法David Rumelhart James McClelland 3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用1987年，在美國(guó)召開(kāi)第1屆國(guó)際神經(jīng)網(wǎng)絡(luò)會(huì)議1990年12月，國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行3.1 神經(jīng)網(wǎng)絡(luò)的

4、發(fā)展和應(yīng)用發(fā)展趨向及前沿問(wèn)題 對(duì)智能和機(jī)器關(guān)系問(wèn)題的認(rèn)識(shí)將進(jìn)一步增長(zhǎng) 神經(jīng)計(jì)算和進(jìn)化計(jì)算將有重大的發(fā)展 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片的作用將不斷擴(kuò)大 3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用模式識(shí)別與圖像處理印刷體和手寫(xiě)體字符識(shí)別語(yǔ)音識(shí)別簽字識(shí)別指紋識(shí)別人臉識(shí)別癌細(xì)胞檢測(cè)心電圖和腦電圖分類目標(biāo)檢測(cè)與識(shí)別3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用控制與優(yōu)化化工過(guò)程控制機(jī)械手運(yùn)動(dòng)控制電弧爐電極控制石油精練和食品工業(yè)中優(yōu)化控制3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用預(yù)測(cè)與管理股票市場(chǎng)預(yù)測(cè)有價(jià)證券管理借貸風(fēng)險(xiǎn)分析信用卡管理機(jī)票管理3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用通信自適應(yīng)均衡路由選擇其它導(dǎo)航電機(jī)故障檢測(cè)多媒體技術(shù)等3.2 神經(jīng)網(wǎng)絡(luò)的特性神經(jīng)網(wǎng)絡(luò)是

5、受人和動(dòng)物神經(jīng)系統(tǒng)啟發(fā)，利用大量簡(jiǎn)單處理單元互聯(lián)而構(gòu)成的復(fù)雜系統(tǒng)，以解決復(fù)雜模式識(shí)別與行為控制問(wèn)題 人工神經(jīng)網(wǎng)絡(luò)是一種非線性的映射方式，它將輸入的特征值映射到網(wǎng)絡(luò)的輸出分類結(jié)果，并可依照其分類的誤差大小或某些能量函數(shù)來(lái)調(diào)整網(wǎng)絡(luò)中的加權(quán)值使其達(dá)到收斂這些方法模仿人的生理學(xué)習(xí)功能，并能夠?qū)⑤斎胄畔⒔Y(jié)合到分類規(guī)則中去 3.2 神經(jīng)網(wǎng)絡(luò)的特性神經(jīng)網(wǎng)絡(luò)對(duì)于解決模式識(shí)別問(wèn)題來(lái)說(shuō)比其他方法具有3點(diǎn)突出的優(yōu)勢(shì) 對(duì)問(wèn)題的了解要求較少 可以實(shí)現(xiàn)特征空間較復(fù)雜的劃分 適合于用高速并行處理系統(tǒng)來(lái)實(shí)現(xiàn) 3.2 神經(jīng)網(wǎng)絡(luò)的特性并行分布處理 神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，因而能夠有較好的耐故障能力和較快的總體處

6、理能力特別適于實(shí)時(shí)控制和動(dòng)態(tài)控制 3.2 神經(jīng)網(wǎng)絡(luò)的特性非線性映射 神經(jīng)網(wǎng)絡(luò)具有固有的非線性特性，這源于其近似任意非線性映射（變換）能力這一特性給非線性控制問(wèn)題帶來(lái)新的希望 3.2 神經(jīng)網(wǎng)絡(luò)的特性通過(guò)訓(xùn)練進(jìn)行學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)是通過(guò)所研究系統(tǒng)過(guò)去的數(shù)據(jù)記錄進(jìn)行訓(xùn)練的一個(gè)經(jīng)過(guò)適當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)具有歸納全部數(shù)據(jù)的能力因此，神經(jīng)網(wǎng)絡(luò)能夠解決那些由數(shù)學(xué)模型或描述規(guī)則難以處理的控制過(guò)程問(wèn)題 3.2 神經(jīng)網(wǎng)絡(luò)的特性適應(yīng)與集成 神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)在線運(yùn)行，并能同時(shí)進(jìn)行定量和定性操作神經(jīng)網(wǎng)絡(luò)的強(qiáng)適應(yīng)和信息融合能力使得網(wǎng)絡(luò)過(guò)程可以同時(shí)輸入大量不同的控制信號(hào)，解決輸入信息間的互補(bǔ)和冗余問(wèn)題，并實(shí)現(xiàn)信息集成和融合處理這些

7、特性特別適于復(fù)雜、大規(guī)模和多變量系統(tǒng)的控制 3.2 神經(jīng)網(wǎng)絡(luò)的特性硬件實(shí)現(xiàn) 神經(jīng)網(wǎng)絡(luò)不僅能夠通過(guò)軟件而且可借助硬件實(shí)現(xiàn)并行處理由超大規(guī)模集成電路實(shí)現(xiàn)的硬件已經(jīng)面世這使得神經(jīng)網(wǎng)絡(luò)具有快速和大規(guī)模處理能力的網(wǎng)絡(luò)3.2 神經(jīng)網(wǎng)絡(luò)的特性總之，神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)自適應(yīng)自組織大規(guī)模并行處理 等特點(diǎn)在自動(dòng)控制領(lǐng)域展現(xiàn)了廣闊的應(yīng)用前景3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu) 人腦是由大量的神經(jīng)元(神經(jīng)細(xì)胞)組合而成神經(jīng)元之間互相連接神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元是處理人體內(nèi)各部分之間相互信息傳遞的基本單元據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的大腦一般有10101012個(gè)神經(jīng)元 3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物

8、神經(jīng)元的結(jié)構(gòu)大多數(shù)神經(jīng)元由一個(gè)細(xì)胞體和突兩部分組成3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu)3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成突分兩類，即軸突和樹(shù)突3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu)軸突是個(gè)突出部分，細(xì)胞體向外伸出的最長(zhǎng)的一條分支，即神經(jīng)纖維，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元遠(yuǎn)離細(xì)胞體一側(cè)的軸突端有許多分支，稱軸突末梢軸突通過(guò)軸突末梢向其他神經(jīng)元傳出神經(jīng)沖動(dòng)3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu)樹(shù)突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連樹(shù)突相當(dāng)于細(xì)胞輸入端，樹(shù)突用于接收周圍其它神經(jīng)元的神經(jīng)沖動(dòng)（

9、生物信號(hào)）神經(jīng)沖動(dòng)只能由前一級(jí)神經(jīng)元的軸突末梢傳向下一級(jí)神經(jīng)元的樹(shù)突或細(xì)胞體，不能作反向的傳遞軸突和樹(shù)突共同作用，實(shí)現(xiàn)了神經(jīng)元間的信息傳遞 3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生物神經(jīng)元的結(jié)構(gòu)神經(jīng)元具有兩種常規(guī)工作狀態(tài)：興奮與抑制，即滿足“01”率當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高超過(guò)閾值（約為40mv）時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出當(dāng)傳入的神經(jīng)沖動(dòng)使膜電位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒(méi)有神經(jīng)沖動(dòng)輸出3.3 生物神經(jīng)元的結(jié)構(gòu)與功能生理神經(jīng)元的功能 腦神經(jīng)生理學(xué)研究結(jié)果表明，每個(gè)人腦大約含有10101012個(gè)神經(jīng)元，每一神經(jīng)元又約有103104個(gè)突觸神經(jīng)元通過(guò)突觸形成的網(wǎng)絡(luò)，傳遞神

10、經(jīng)元間的興奮與抑制大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實(shí)現(xiàn)記憶與思維 3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks: ANN)是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型一個(gè)人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元結(jié)點(diǎn)互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進(jìn)行知識(shí)的表示與存儲(chǔ)以及利用知識(shí)進(jìn)行推理的行為人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單計(jì)算處理單元(神經(jīng)元) 通過(guò)極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)一個(gè)基于人工神經(jīng)網(wǎng)絡(luò)的智能系統(tǒng)是通過(guò)學(xué)習(xí)獲取知識(shí)后建立的從本質(zhì)上講，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一種歸納學(xué)習(xí)方式，它通過(guò)對(duì)大量實(shí)

11、例的反復(fù)學(xué)習(xí)，由內(nèi)部自適應(yīng)過(guò)程不斷修改各神經(jīng)元之間互連的權(quán)值，最終使神經(jīng)網(wǎng)絡(luò)的權(quán)值分布收斂于一個(gè)穩(wěn)定的范圍神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及各連接權(quán)值穩(wěn)定分布就表示了經(jīng)過(guò)學(xué)習(xí)獲得的知識(shí)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)元的組成人工神經(jīng)元模型3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)元的組成神經(jīng)網(wǎng)絡(luò)在兩個(gè)方面與人腦相似：（1）神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來(lái)的（2）互連神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí) 用于完成學(xué)習(xí)過(guò)程的程序稱為學(xué)習(xí)算法，其功能是以有序的方式改變網(wǎng)絡(luò)的突觸權(quán)值以獲得想要的設(shè)計(jì)目標(biāo) 3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)元的組成可把ANN看成是以處理單元為結(jié)點(diǎn)

12、，用加權(quán)有向弧(鏈)相互連接而成的有向圖其中，處理單元是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突-突觸（軸突末梢）-樹(shù)突對(duì)的模擬有向弧的權(quán)值表示兩處理單元間相互作用的強(qiáng)弱在簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)模型中，用權(quán)和乘法器模擬突觸特性，用加法器模擬樹(shù)突的互聯(lián)作用，而且與閾值比較來(lái)模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開(kāi)關(guān)特性3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)決定神經(jīng)網(wǎng)絡(luò)整體性能的三大要素 （1）神經(jīng)元（信息處理單元）的特性 （2）神經(jīng)元之間相互連接的形式拓?fù)浣Y(jié)構(gòu) （3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則 3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)元的組成該神經(jīng)元模型的輸入輸出關(guān)系為 其中 稱為閾值 稱為連接權(quán)系數(shù) 稱為輸出

13、變換函數(shù)，或激勵(lì)函數(shù)，或激活函數(shù)，或傳遞函數(shù)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)變換函數(shù)實(shí)際上是神經(jīng)元模型的輸出函數(shù)一般為非線性函數(shù)用以模擬神經(jīng)細(xì)胞的興奮、抑制及閾值等非線性特性經(jīng)過(guò)加權(quán)加法器和線性動(dòng)態(tài)系統(tǒng)進(jìn)行時(shí)空整合的信號(hào)s，再經(jīng)變換函數(shù)f(s)后即為神經(jīng)元的輸出y y=f(s)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)比例函數(shù)可微，不常用3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)符號(hào)函數(shù)（雙向閾值函數(shù)）不可微，類階躍，零均值3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)飽和函數(shù)可微，零均值3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)雙曲函數(shù)可微，類階躍，零均值

14、3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)階躍函數(shù)（閾值函數(shù)）不可微，類階躍，正值3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)S形（ Sigmoid ）函數(shù)可微，類階躍，正值3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)常用的變換函數(shù)高斯函數(shù)可微，類脈沖3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)上述非線性變換函數(shù)的顯著特征突變性飽和性正是為了模擬神經(jīng)細(xì)胞興奮過(guò)程中所產(chǎn)生的神經(jīng)沖動(dòng)以及疲勞等特性3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將大量功能簡(jiǎn)單的基本神經(jīng)元通過(guò)一定的拓?fù)浣Y(jié)構(gòu)組織起來(lái)，構(gòu)成群體并行分布式處理的計(jì)算結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成每個(gè)神經(jīng)元有一個(gè)單一的輸出輸出可

15、以連接到很多其他的神經(jīng)元其輸入有多個(gè)連接通路每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量結(jié)點(diǎn)i到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù)對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù) 最常見(jiàn)的情形為3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)不同，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分為兩大類層狀結(jié)構(gòu)網(wǎng)狀結(jié)構(gòu)層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向連接，一般同層內(nèi)的神經(jīng)元不能連接網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，任何兩個(gè)神經(jīng)元之間都可能雙向連接3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)

16、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)反饋網(wǎng)絡(luò)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相互結(jié)合型網(wǎng)絡(luò)3.4 人工神經(jīng)網(wǎng)絡(luò)模型與變換函數(shù)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)混合型網(wǎng)絡(luò)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器）基本感知機(jī)是一個(gè)兩層網(wǎng)絡(luò)分為輸入層和輸出層每層由多個(gè)處理單元（神經(jīng)元）構(gòu)成3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器）感知機(jī)的學(xué)習(xí)是典型的有教師學(xué)習(xí)（訓(xùn)練）訓(xùn)練要素：訓(xùn)練樣本、訓(xùn)練規(guī)則當(dāng)給定某一訓(xùn)練模式時(shí)，輸出單元會(huì)產(chǎn)生一個(gè)實(shí)際的輸出向量，用期望輸出與實(shí)際輸

17、出之差修正網(wǎng)絡(luò)權(quán)值3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器）權(quán)值修正采用學(xué)習(xí)規(guī)則，感知機(jī)的學(xué)習(xí)算法為 對(duì)于： 式中： 表示t時(shí)刻輸出 表示輸入向量的一個(gè)分量 表示t時(shí)刻第i個(gè)輸入的加權(quán)值 表示閾值 表示變換函數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器） 式中： 表示學(xué)習(xí)因子，在（0，1區(qū)間取值 表示期望輸出（教師信號(hào)） 表示實(shí)際輸出3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器）令輸入狀態(tài)為： 或0 因輸入可能是前一級(jí)的輸出，因此感知器輸入與輸出取值一般都為1或0 3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)感知機(jī)（感知器）權(quán)值變化量與3個(gè)量有關(guān)：輸入狀態(tài)、輸出誤差、學(xué)習(xí)因子當(dāng)且僅當(dāng)輸出單元有

18、輸出誤差且相連輸入狀態(tài)為1時(shí)，修正權(quán)值，或增加一個(gè)量或減少一個(gè)量學(xué)習(xí)因子 控制每次的誤差修正量 的取值一般不能太大，也不能太小，太大會(huì)影響學(xué)習(xí)的收斂性，太小會(huì)使權(quán)值收斂速度太慢，訓(xùn)練時(shí)間太長(zhǎng)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型BP模型，即誤差反向傳播神經(jīng)網(wǎng)絡(luò)BP在神經(jīng)網(wǎng)絡(luò)中使用最廣泛BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò)分為輸入層、隱含層、輸出層層與層之間多采用全互連方式同一層單元之間不存在相互連接3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的基本處理單元（輸入層單元除外）為非線性輸入輸出關(guān)系，對(duì)于連續(xù)系統(tǒng)，一般選用S型變換函數(shù)，即 且處理單元的輸入、輸出值可連續(xù)變化3.5 典型前饋神經(jīng)網(wǎng)絡(luò)

19、BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)模型實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想當(dāng)給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，它由輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處理后再送到輸出層單元，由輸出層單元處理后產(chǎn)生一個(gè)輸出模式，故稱為前向傳播如果輸出響應(yīng)與期望輸出模式有誤差，且不滿足要求，則轉(zhuǎn)入誤差反向傳播，即將誤差值沿連接通路逐層向后傳送，并修正各層連接權(quán)值3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型圖給出了多層前向網(wǎng)絡(luò)中的一部分，有兩種信號(hào)在流通前向工作信號(hào)和反向誤差信號(hào)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型工作信號(hào)（用實(shí)線表示）：是施加輸入信號(hào)后向前傳播直到輸出層產(chǎn)生實(shí)際輸出的信號(hào)，是輸入和權(quán)值的函數(shù)誤差信號(hào)（用虛線表示）

20、：網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值即為誤差，由輸出層開(kāi)始逐層反向傳播BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法權(quán)值和節(jié)點(diǎn)偏移（閾值）的初始化給定輸入矢量和所希望的輸出矢量計(jì)算實(shí)際輸出矢量梯度計(jì)算 對(duì)輸出層平方誤差 其中 希望響應(yīng), 實(shí)際響應(yīng), 是輸出層中的節(jié)點(diǎn)數(shù)為使誤差函數(shù)最小化,與誤差相對(duì)于權(quán)值的偏導(dǎo)數(shù)成比例地調(diào)整權(quán)值梯度下降法 其中 是步長(zhǎng)，或稱學(xué)習(xí)算子或?qū)W習(xí)率而 3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法得到 其中 而 則同理對(duì)隱層 3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法權(quán)值學(xué)習(xí) 即 改進(jìn)算法 其中 變步長(zhǎng)， 阻尼系數(shù)

21、(動(dòng)量因子、慣性因子) 回到直到求出最優(yōu)解 3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法從上述推導(dǎo)可見(jiàn)，求k層的誤差信號(hào)需要后一層的，因此誤差函數(shù)的求取是一個(gè)始于輸出層的反向傳播的遞歸過(guò)程，所以稱為反向傳播學(xué)習(xí)算法通過(guò)多個(gè)樣本的學(xué)習(xí)，修正權(quán)值，不斷減少誤差，最后達(dá)到滿意的結(jié)果，對(duì)全部學(xué)習(xí)樣本都有誤差為0，即權(quán)值W不再被修改，說(shuō)明W已經(jīng)收斂于穩(wěn)定的權(quán)值分布，則學(xué)習(xí)過(guò)程中止3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法學(xué)習(xí)算法的中止條件：實(shí)際上，中止條件可以設(shè)定寬松一些，例如，可設(shè)定為滿足以下兩個(gè)條件之一即可中止：對(duì)全部學(xué)習(xí)樣本滿足輸出偏差 ，其中 是初始

22、設(shè)定的允許偏差迭代次數(shù)（訓(xùn)練次數(shù)）達(dá)到初始設(shè)定的最大迭代次數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法BP算法程序框圖3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)BP算法的基本思想是把一組樣本的輸入輸出問(wèn)題變?yōu)橐粋€(gè)非線性優(yōu)化問(wèn)題，用優(yōu)化中普遍使用的梯度下降算法來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的方差最小，完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練任務(wù)。 BP網(wǎng)絡(luò)實(shí)質(zhì)上是對(duì)任意非線性映射關(guān)系的一種逼近，由于采用的是全局逼近的方法，因而B(niǎo)P網(wǎng)絡(luò)具有良好的泛化能力3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)主要優(yōu)點(diǎn)：非線性映射能力能學(xué)習(xí)和存儲(chǔ)大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只

23、要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。只要有足夠多的隱含層和隱結(jié)點(diǎn)，BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而具有較好的泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)適用于神經(jīng)網(wǎng)絡(luò)主要基于所測(cè)量的數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行建模、估計(jì)和逼近，故可應(yīng)用于如分類、預(yù)測(cè)及模

24、式識(shí)別等方面對(duì)于那些幾乎沒(méi)有規(guī)則，數(shù)據(jù)不完全或者多約束優(yōu)化問(wèn)題，適合于用神經(jīng)網(wǎng)絡(luò)由于BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，因而可用于信息處理、圖像識(shí)別、模型辨識(shí)、系統(tǒng)控制等3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)主要缺點(diǎn)：收斂速度慢局部極值難以確定隱含層和隱結(jié)點(diǎn)的個(gè)數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)當(dāng)所給數(shù)據(jù)不充分或不存在可學(xué)習(xí)的映射關(guān)系時(shí)，神經(jīng)網(wǎng)絡(luò)可能找不到滿意的解有時(shí)很難估價(jià)神經(jīng)網(wǎng)絡(luò)給出的結(jié)果神經(jīng)網(wǎng)絡(luò)中的連接權(quán)系數(shù)是千萬(wàn)次數(shù)據(jù)訓(xùn)練后的結(jié)果，對(duì)它的意義很難給出明顯的解釋，對(duì)輸出結(jié)果的影響也是非常復(fù)雜的3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)BP學(xué)習(xí)算法評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是很

25、慢的，有時(shí)需要付出很高的代價(jià)付出代價(jià)指一方面由于需要收集、分析和處理大量的訓(xùn)練數(shù)據(jù)，同時(shí)還需相當(dāng)?shù)慕?jīng)驗(yàn)來(lái)選擇合適的參數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集數(shù)據(jù)分析變量選擇數(shù)據(jù)的預(yù)處理3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題產(chǎn)生數(shù)據(jù)樣本集在大量的原始測(cè)量數(shù)據(jù)中確定最主要的輸入模式，減少輸入數(shù)據(jù)之間的相關(guān)性，找出最主要的量作為輸入確定輸入量后，往往要進(jìn)行尺度變換，變換到-1,1或0,1的范圍進(jìn)行數(shù)據(jù)預(yù)處理目的是使神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練數(shù)據(jù)預(yù)處理主要用到信號(hào)處理或特征提取技術(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)

26、網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測(cè)試數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)加以校驗(yàn)，測(cè)試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合例如：將收集到的可用數(shù)據(jù)隨機(jī)分成兩部分，其中2/3用于網(wǎng)絡(luò)的訓(xùn)練，另外1/3用于將來(lái)的測(cè)試，隨機(jī)選取的目的是為了盡量減少這兩部分?jǐn)?shù)據(jù)的相關(guān)性3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)根據(jù)問(wèn)題的性質(zhì)和任務(wù)的要求選擇合適的網(wǎng)絡(luò)類型在網(wǎng)絡(luò)的類型確定后，剩下的問(wèn)題是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)每層的結(jié)點(diǎn)數(shù)初始權(quán)值閾值學(xué)習(xí)算法數(shù)值修改頻度結(jié)點(diǎn)變換函

27、數(shù)及參數(shù)學(xué)習(xí)率動(dòng)量項(xiàng)因子等參數(shù)3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊對(duì)于具體問(wèn)題若輸入和輸出變量確定后，網(wǎng)絡(luò)輸入層和輸出層的結(jié)點(diǎn)個(gè)數(shù)也隨之確定3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)對(duì)于隱含層的層數(shù)可先考慮只選擇一個(gè)隱含層隱含層結(jié)點(diǎn)數(shù)的選擇原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，盡量選取較少的隱含層結(jié)點(diǎn)數(shù)，而使網(wǎng)絡(luò)盡量簡(jiǎn)單若采用某種方法選擇得到的隱含層結(jié)點(diǎn)數(shù)太多，可考慮采用兩個(gè)隱含層為了達(dá)到相同的映射關(guān)系，采用兩個(gè)隱含層的結(jié)點(diǎn)數(shù)常比只用一個(gè)隱含層時(shí)少3.

28、5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試網(wǎng)絡(luò)中的權(quán)值體現(xiàn)著把輸入模式映射到網(wǎng)絡(luò)所需的知識(shí)最初，被給定問(wèn)題域的權(quán)值是未知的，直到找到有用權(quán)值之前，神經(jīng)網(wǎng)絡(luò)不能解決這個(gè)問(wèn)題尋找有用權(quán)值集合的過(guò)程，稱為訓(xùn)練訓(xùn)練首先提供訓(xùn)練樣本（集合），由輸入樣本和與之相對(duì)應(yīng)的代表正確分類的輸出組成3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試在訓(xùn)練過(guò)程中對(duì)訓(xùn)練樣本數(shù)據(jù)需要反復(fù)地使用對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反傳修改連接權(quán)一次稱為一次訓(xùn)練（或一次學(xué)習(xí)），這樣的訓(xùn)練需要反復(fù)地進(jìn)行下去直至獲得合適的映射結(jié)果訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的

29、本質(zhì)關(guān)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即具備泛化功能3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試網(wǎng)絡(luò)訓(xùn)練過(guò)程包括從訓(xùn)練集合到權(quán)值集合的映射至少在給定誤差內(nèi)，該組權(quán)值對(duì)訓(xùn)練集矢量給出正確的輸出結(jié)果網(wǎng)絡(luò)所學(xué)正是訓(xùn)練集合所致如果合理選擇訓(xùn)練集合，并且訓(xùn)練算法有效，那么，網(wǎng)絡(luò)應(yīng)能正確地預(yù)測(cè)出不屬于訓(xùn)練集合的輸入量對(duì)應(yīng)的輸出具有泛化能力3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試網(wǎng)絡(luò)的性能主要用泛化能力來(lái)衡量，它并不是用對(duì)訓(xùn)練數(shù)據(jù)的擬合程度來(lái)衡量，而是要用一組獨(dú)立的數(shù)據(jù)來(lái)加以測(cè)試和檢驗(yàn)在用測(cè)試數(shù)據(jù)檢驗(yàn)時(shí)，保持連接權(quán)系數(shù)不改變，只用

30、該數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，正向運(yùn)行該網(wǎng)絡(luò)，檢驗(yàn)輸出的均方誤差3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試把神經(jīng)網(wǎng)絡(luò)應(yīng)用于模式識(shí)別問(wèn)題包括兩個(gè)截然不同的階段在網(wǎng)絡(luò)訓(xùn)練階段，調(diào)整網(wǎng)絡(luò)權(quán)值以表現(xiàn)問(wèn)題域第二階段或稱工作階段，權(quán)值固定不變，并且當(dāng)把實(shí)驗(yàn)數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)能夠在誤差范圍內(nèi)正確地預(yù)測(cè)計(jì)算出結(jié)果3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練階段3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題工作階段（測(cè)試階段）3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試實(shí)際操作時(shí)，可以訓(xùn)練和測(cè)試交替進(jìn)行

31、，即每訓(xùn)練一次，同時(shí)用測(cè)試數(shù)據(jù)測(cè)試一遍，畫(huà)出均方誤差隨訓(xùn)練次數(shù)的變化曲線從誤差曲線可見(jiàn)，在使用測(cè)試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開(kāi)始逐漸減少，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測(cè)試檢驗(yàn)誤差反而增加誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過(guò)度訓(xùn)練”3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題均方誤差曲線3.5 典型前饋神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體步驟和幾個(gè)問(wèn)題訓(xùn)練和測(cè)試對(duì)于網(wǎng)絡(luò)隱含層結(jié)點(diǎn)數(shù)的選擇若采用試驗(yàn)法，也需訓(xùn)練與測(cè)試相結(jié)合，最終用測(cè)試誤差來(lái)衡量網(wǎng)絡(luò)的性能均方誤差與隱含層結(jié)點(diǎn)數(shù)也有與圖類似的關(guān)系，因此也不是結(jié)點(diǎn)數(shù)越多越好選擇結(jié)點(diǎn)數(shù)的原則是：選擇盡量少的結(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的

32、泛化能力模式識(shí)別框圖 圖像識(shí)別系統(tǒng)主要部分 圖像信息的獲取 信息的加工和處理，提取特征 判斷或分類 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究神經(jīng)網(wǎng)絡(luò)訓(xùn)練與學(xué)習(xí)的預(yù)處理不變矩矢量標(biāo)準(zhǔn)化 實(shí)質(zhì)是對(duì)輸入矢量實(shí)行線性映射 特征轉(zhuǎn)換為0,1之間 設(shè)圖像不變矩輸入矢量X的最大值為 ， 最小值為 ，則不變矩矢量標(biāo)準(zhǔn)化過(guò)程可描述為 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究以BP網(wǎng)絡(luò)做模糊分類 使用模糊化的方法先對(duì)輸入特征數(shù)據(jù)做預(yù)處理將得到的歸屬值代替目標(biāo)輸出，介于01之間的值每一個(gè)圖像模式歸屬于某一類是以其0到1的數(shù)字代表其歸屬程度，其中1與0分別代表最高與最低的歸屬度 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)

33、絡(luò)的圖像模糊分類研究實(shí)現(xiàn)過(guò)程 選擇BP網(wǎng)絡(luò)的實(shí)際輸出中具有最大值的輸出節(jié)點(diǎn)所在的位置標(biāo)號(hào) 則該位置標(biāo)號(hào)對(duì)應(yīng)一個(gè)具體的輸出類別 如果BP網(wǎng)絡(luò)的實(shí)際輸出節(jié)點(diǎn)同時(shí)存在多個(gè)最大值，則做出拒絕判斷 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究競(jìng)爭(zhēng)選擇BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與識(shí)別 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)對(duì)象選用不同臟器的10幅醫(yī)學(xué)圖像 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究基于面矩的BP神經(jīng)網(wǎng)絡(luò)模式識(shí)別實(shí)驗(yàn)將每幅圖像做多比例縮放和多角度旋轉(zhuǎn)變化 訓(xùn)練集由原始尺寸、縮小一半、放大一倍并各自旋轉(zhuǎn)0、90、180、270得到120幅圖像組成 測(cè)試集由原始尺寸、縮小

34、一半、放大一倍并各自旋轉(zhuǎn)45、135、225、315得到120幅圖像組成 訓(xùn)練集和測(cè)試集中的圖像互不重疊訓(xùn)練集的樣本結(jié)構(gòu)為第1類別樣本的12幅圖像；第2類別樣本的12幅圖像；第10類別樣本的12幅圖像測(cè)試集的樣本結(jié)構(gòu)與訓(xùn)練集的相同 BP應(yīng)用舉例基于BP神經(jīng)網(wǎng)絡(luò)的圖像模糊分類研究 實(shí)驗(yàn)結(jié)果與分析采用三層BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 輸入層節(jié)點(diǎn)數(shù)7 隱含層節(jié)點(diǎn)數(shù)9 輸出層節(jié)點(diǎn)數(shù)取10 實(shí)驗(yàn)結(jié)果與分析 標(biāo)準(zhǔn)化后的特征矢量(部分1) 實(shí)驗(yàn)結(jié)果與分析 標(biāo)準(zhǔn)化后的特征矢量(部分2) 實(shí)驗(yàn)結(jié)果與分析 訓(xùn)練集中經(jīng)模糊化預(yù)處理后期望目標(biāo)歸屬值輸出(部分) 實(shí)驗(yàn)結(jié)果與分析 測(cè)試集的實(shí)際目標(biāo)輸出值(部分) 實(shí)驗(yàn)結(jié)果與分析 識(shí)別

35、結(jié)果同一類別不同圖像間的不變矩是相同或相近的不同類別的圖像其不變矩特征有著比較明顯的差異選擇不變矩作為圖像的識(shí)別特征是合理的 實(shí)驗(yàn)結(jié)果與分析 均方根誤差曲線，趨于平穩(wěn)時(shí)的均方根誤差值為0.0692 實(shí)驗(yàn)結(jié)果與分析 3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)（Feedback Neural Network）是一種動(dòng)態(tài)網(wǎng)絡(luò)，需要工作一段時(shí)間才能達(dá)到穩(wěn)定該網(wǎng)絡(luò)主要用于聯(lián)想記憶和優(yōu)化計(jì)算反饋神經(jīng)網(wǎng)絡(luò)首先由Hopfield提出，通常稱為Hopfield網(wǎng)，引入“能量函數(shù)”概念，給出了神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的判斷依據(jù)根據(jù)網(wǎng)絡(luò)的輸出是離散量或是連續(xù)量， Hopfield網(wǎng)絡(luò)也分為離散（1982年）和

36、連續(xù)（1984年）兩種3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)在反饋神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，輸入數(shù)據(jù)決定反饋網(wǎng)絡(luò)系統(tǒng)的初始狀態(tài)經(jīng)過(guò)一系列狀態(tài)轉(zhuǎn)移后，如果系統(tǒng)能逐漸收斂于穩(wěn)定狀態(tài)，那么這個(gè)穩(wěn)定狀態(tài)就是反饋神經(jīng)網(wǎng)絡(luò)經(jīng)計(jì)算后的輸出結(jié)果一個(gè)反饋神經(jīng)網(wǎng)絡(luò)是否收斂于穩(wěn)定狀態(tài)，網(wǎng)絡(luò)穩(wěn)定性問(wèn)題是反饋神經(jīng)網(wǎng)絡(luò)的最重要問(wèn)題屬于無(wú)教師學(xué)習(xí)：當(dāng)輸入的實(shí)例模式進(jìn)入神經(jīng)網(wǎng)絡(luò)后，網(wǎng)絡(luò)按預(yù)先設(shè)定的規(guī)則（Hebb）自動(dòng)調(diào)整權(quán)值3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)離散Hopfield神經(jīng)網(wǎng)絡(luò)（DHNN）是離散時(shí)間系統(tǒng)是一個(gè)單層網(wǎng)絡(luò)共有n個(gè)神經(jīng)元結(jié)點(diǎn)網(wǎng)絡(luò)是全互連的每個(gè)結(jié)點(diǎn)輸出均連接到其他神經(jīng)元的輸入

37、所有其他神經(jīng)元的輸出均連到該神經(jīng)元的輸入3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)對(duì)每一個(gè)神經(jīng)元結(jié)點(diǎn)，工作方式同前，即 其中 為閾值， 為輸出變換函數(shù)若 則相應(yīng)的DHNN稱為無(wú)自反饋的DHNN，否則，稱為有自反饋的DHNN。后面討論均為前者3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)對(duì)于離散Hopfield網(wǎng)絡(luò)， 通常取為二值函數(shù) 即 或3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)若反饋神經(jīng)網(wǎng)絡(luò)在k=0時(shí)有任意輸入

38、數(shù)據(jù) ，從初態(tài) 開(kāi)始，存在某一個(gè)有限時(shí)刻k，從k時(shí)刻之后的神經(jīng)網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化，即有 則稱神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的k時(shí)刻的網(wǎng)絡(luò)狀態(tài)稱為神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，也就是神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果只有當(dāng)反饋神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的，才能得出穩(wěn)定的計(jì)算輸出結(jié)果3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)DHNN的穩(wěn)定性與DHNN工作方式有關(guān)DHNN兩種工作方式異步方式（串行方式）每次只有一個(gè)神經(jīng)元結(jié)點(diǎn)進(jìn)行狀態(tài)的調(diào)整計(jì)算，其他結(jié)點(diǎn)的狀態(tài)均保持不變，即 其調(diào)整次序可隨機(jī)選定，也可按規(guī)定的次序進(jìn)行3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)DHNN兩種工作方式同步方式 所有的神經(jīng)

39、元結(jié)點(diǎn)同時(shí)調(diào)整狀態(tài)，即其矩陣形式為其中： 是向量W是由 所組成的 矩陣 是向量函數(shù)，它表示3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)該網(wǎng)絡(luò)是動(dòng)態(tài)反饋網(wǎng)絡(luò)其輸入是網(wǎng)絡(luò)的狀態(tài)初值輸出是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)穩(wěn)定性和吸引子若將穩(wěn)定與某種優(yōu)化計(jì)算的目標(biāo)函數(shù)相對(duì)應(yīng)，并作為目標(biāo)函數(shù)的極小點(diǎn)則初態(tài)朝穩(wěn)態(tài)的收斂過(guò)程便是優(yōu)化計(jì)算過(guò)程該優(yōu)化計(jì)算是在網(wǎng)絡(luò)演變過(guò)程中自動(dòng)完成的定義：若網(wǎng)絡(luò)的狀態(tài) 滿足 ，則稱 為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或吸引子3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)關(guān)于DHNN的串行（異步）穩(wěn)定

40、性定理定理（ Hopfield 定理）：設(shè)N是一個(gè)n階神經(jīng)網(wǎng)絡(luò)，則N由（W,）唯一定義。對(duì)于離散Hopfield 網(wǎng)絡(luò)，若按異步方式調(diào)整狀態(tài)，且W為一對(duì)稱矩陣，（且W的對(duì)角線元素非負(fù)，即 ，注：對(duì)于無(wú)自反饋DHNN， ），則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)吸引子（穩(wěn)定狀態(tài)）。3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)關(guān)于DHNN的并行（同步）穩(wěn)定性定理定理（ Hopfield 定理）：對(duì)于離散Hopfield 網(wǎng)絡(luò)，若按同步方式調(diào)整狀態(tài)，且連接權(quán)矩陣W為非負(fù)定對(duì)稱陣，（且W的對(duì)角線元素非負(fù)，即 ，注：對(duì)于無(wú)自反饋DHNN， ），則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)

41、吸引子（穩(wěn)定狀態(tài)）。3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)關(guān)于DHNN的并行（同步）穩(wěn)定性定理定理（Goles定理）：對(duì)于離散Hopfield 網(wǎng)絡(luò)，若按同步方式調(diào)整狀態(tài)，且連接權(quán)矩陣W為對(duì)稱陣，（且W的對(duì)角線元素非負(fù)，即 ，注：對(duì)于無(wú)自反饋DHNN， ），則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)吸引子（穩(wěn)定狀態(tài)）或狀態(tài)空間中長(zhǎng)度小于等于2的極限環(huán)。長(zhǎng)度為2的極限環(huán)上的狀態(tài)滿足3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)若變換函數(shù)取符號(hào)函數(shù)，則穩(wěn)定點(diǎn)（穩(wěn)定狀態(tài)、吸引子）應(yīng)滿足 或?qū)τ诜?hào)函數(shù)，一般可以取閾值 03.6 典型反饋神經(jīng)網(wǎng)絡(luò) Ho

42、pfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)例：網(wǎng)絡(luò)只有兩個(gè)節(jié)點(diǎn)，變換函數(shù)取符號(hào)函數(shù)，閾值 0。串行方式，W對(duì)稱可見(jiàn)，W對(duì)稱，則有穩(wěn)定點(diǎn)。網(wǎng)絡(luò)有2個(gè)節(jié)點(diǎn)，共有4個(gè)狀態(tài)，即（1，1）（1，1）（1，1）（1，1），按穩(wěn)定點(diǎn)的判斷方法， （1，1） （1，1）是穩(wěn)定點(diǎn)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)例：網(wǎng)絡(luò)有三個(gè)節(jié)點(diǎn)，權(quán)矩陣為3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)W滿足對(duì)稱且對(duì)角線非負(fù)，所以有穩(wěn)定點(diǎn)網(wǎng)絡(luò)有3個(gè)結(jié)點(diǎn)，所以共有8個(gè)狀態(tài)（閾值取為0）其中只有2個(gè)狀態(tài)即（1，1，1）和（1，1，1）是穩(wěn)定狀態(tài)，因?yàn)槠錆M足穩(wěn)定點(diǎn)判斷公式，其余

43、狀態(tài)都會(huì)收斂到與之鄰近的穩(wěn)定狀態(tài)上（如下圖）3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)狀態(tài)演變圖3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)這種網(wǎng)絡(luò)有一定的糾錯(cuò)能力，由上圖可見(jiàn)如測(cè)試向量是（1，1，1），（1，1，1）和（1，1，1），它們都會(huì)收斂到穩(wěn)態(tài)（1，1，1）上如測(cè)試向量是（1，1，1），（1，1，1）和（1，1，1），它們都會(huì)收斂到穩(wěn)態(tài)（1，1，1）上3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)為討論網(wǎng)絡(luò)的穩(wěn)定性，定義神經(jīng)網(wǎng)絡(luò)系統(tǒng)的能量函數(shù)（Lyapunov函數(shù)）如下：異步方式同步方式3.6 典型反饋神經(jīng)

44、網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)由于神經(jīng)元結(jié)點(diǎn)的狀態(tài)只能取1和1（或1和0）兩種狀態(tài)，因此上述定義的能量函數(shù) 是有界的令可推導(dǎo)出，在異步方式下如W為對(duì)稱陣；在同步方式下如W為非負(fù)定對(duì)稱陣，則不論出現(xiàn)什么情況，均有 ，即 隨狀態(tài)變化而單調(diào)遞減，由于 有下界，所以 將收斂到能量極小點(diǎn)，不再變化，為一個(gè)常數(shù)，則網(wǎng)絡(luò)將最終收斂到一個(gè)吸引子3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)作為一個(gè)迭代網(wǎng)絡(luò)，神經(jīng)元輸出狀態(tài)被容許一次一次地進(jìn)行更新直到收斂當(dāng)能量函數(shù)達(dá)到最小值并且再計(jì)算時(shí)沒(méi)有神經(jīng)元狀態(tài)改變，就認(rèn)為網(wǎng)絡(luò)已經(jīng)收斂當(dāng)按規(guī)定方式進(jìn)行更新時(shí)， Hopfield網(wǎng)絡(luò)

45、總是收斂到能量最小狀態(tài)，并且一旦進(jìn)入這種狀態(tài)，任一神經(jīng)元的狀態(tài)都不會(huì)改變3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)對(duì)于同步方式，對(duì)連接權(quán)矩陣W的要求更高，若不滿足W為非負(fù)定對(duì)稱矩陣的要求，則神經(jīng)網(wǎng)絡(luò)可能出現(xiàn)自持振蕩即極限環(huán)由于異步工作方式比同步方式有更好的穩(wěn)定性能，實(shí)用時(shí)較多采用異步工作方式異步方式的主要缺點(diǎn)是失去了神經(jīng)網(wǎng)絡(luò)并行處理的優(yōu)點(diǎn)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)吸引子的性質(zhì)（不加證明）若 是網(wǎng)絡(luò)的一個(gè)吸引子，且 則 也一定是該神經(jīng)網(wǎng)絡(luò)的吸引子若 是網(wǎng)絡(luò)的吸引子，則與 的海明距離 的 一定不是吸引子，海明距離定義為兩個(gè)向量

46、中不相同的元素個(gè)數(shù)若 是網(wǎng)絡(luò)的吸引子，且 則 的 一定不是神經(jīng)網(wǎng)絡(luò)的吸引子3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)吸引域?yàn)槟軐?shí)現(xiàn)正確的聯(lián)想記憶，對(duì)于每個(gè)吸引子應(yīng)該有一定的吸引范圍，這個(gè)吸引范圍稱為吸引域定義：若 是吸引子，對(duì)于異步方式，若存在一個(gè)調(diào)整次序可以從 演變到 ，則稱 弱吸引到 ；若對(duì)于任意調(diào)整次序都可以從 演變到 （而不是其它吸引子），則稱 強(qiáng)吸引到3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)吸引域定義：對(duì)所有屬于 范圍內(nèi)的 ，均有 弱（強(qiáng)）吸引到 ，則稱 為 的弱（強(qiáng)）吸引域注：對(duì)于同步方式，由于無(wú)調(diào)整次序問(wèn)題，所以相應(yīng)的吸引

47、域也無(wú)強(qiáng)弱之分注：對(duì)于異步方式，對(duì)同一個(gè)狀態(tài)，若采用不同的調(diào)整次序，有可能弱吸引到不同的吸引子3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則為保證異步方式時(shí)穩(wěn)定收斂，W應(yīng)是對(duì)稱陣為保證同步方式時(shí)穩(wěn)定收斂，W應(yīng)是非負(fù)定對(duì)稱陣，要求較高設(shè)計(jì)W一般只保證異步方式收斂對(duì)于給定的樣本必須是網(wǎng)絡(luò)的吸引子，而且要有一定的吸引域，這樣才能實(shí)現(xiàn)聯(lián)想記憶功能3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則常見(jiàn)的無(wú)教師學(xué)習(xí)方法是Hebb學(xué)習(xí)規(guī)則，是一種調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)的規(guī)則，是基于對(duì)生物神經(jīng)元的下述學(xué)習(xí)假設(shè)：當(dāng)兩

48、個(gè)神經(jīng)元同時(shí)興奮或同時(shí)抑制時(shí)，則它們之間的連接強(qiáng)度應(yīng)當(dāng)加強(qiáng)該學(xué)習(xí)規(guī)則的意義是：連接權(quán)的調(diào)整正比于兩個(gè)神經(jīng)元活動(dòng)狀態(tài)的乘積，連接權(quán)是對(duì)稱的，神經(jīng)元到自身的連接權(quán)為03.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則設(shè)給定m個(gè)樣本 （全部狀態(tài)的一部分），并設(shè) （即結(jié)點(diǎn)狀態(tài)為1和1），則按Hebb規(guī)則設(shè)計(jì)連接權(quán)為 或3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則寫(xiě)成矩陣形式為 其中I為單位矩陣3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則設(shè)給定m個(gè)樣

49、本 ，當(dāng)網(wǎng)絡(luò)結(jié)點(diǎn)狀態(tài)為1和0即 時(shí)，則按Hebb規(guī)則設(shè)計(jì)連接權(quán)為 或3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)連接權(quán)的設(shè)計(jì)Hebb學(xué)習(xí)規(guī)則寫(xiě)成矩陣形式為 其中3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例設(shè)離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖 其中 兩個(gè)樣本為3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例首先根據(jù)Hebb規(guī)則求得連接權(quán)矩陣為這里3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfiel

50、d網(wǎng)絡(luò)舉例驗(yàn)證 和 是否為網(wǎng)絡(luò)的吸引子3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例可見(jiàn)，兩個(gè)樣本 和 均為網(wǎng)絡(luò)的吸引子事實(shí)上，由于 ，只要其中一個(gè)是吸引子，根據(jù)前面的性質(zhì)，另一個(gè)也必為吸引子下面再考察這兩個(gè)吸引子是否具有一定的吸引能力，即是否具備聯(lián)想記憶的功能3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例（1）設(shè) ，比較靠近用異步方式按結(jié)點(diǎn)1（最佳路徑），2，3，4的調(diào)整次序演變網(wǎng)絡(luò)即可見(jiàn)，只需異步方式調(diào)整一步即收斂到3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例（2）設(shè) ，比較靠近用異步方式按結(jié)點(diǎn)1，2，3

51、，4的調(diào)整次序演變網(wǎng)絡(luò)即可見(jiàn)，只需異步方式調(diào)整一步即收斂到3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例（3）設(shè) ，這時(shí)它與 和 的海明距離均為2若用異步方式按結(jié)點(diǎn)1，2，3，4的調(diào)整次序調(diào)整網(wǎng)絡(luò) 即3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例 即 可見(jiàn)此時(shí) 調(diào)整二步收斂到了3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例若用異步方式按結(jié)點(diǎn)3，4，1，2的次序調(diào)整網(wǎng)絡(luò) 即3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例 即 可見(jiàn)此時(shí) 調(diào)整二步收斂到了對(duì)于不同的調(diào)整次序， 既可弱收斂到

52、也可弱收斂到3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例對(duì)該例用同步方式進(jìn)行計(jì)算，仍取 為 和 三種情況（1） 可見(jiàn)此時(shí) 收斂到了3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例（2） 可見(jiàn)此時(shí) 收斂到了3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)舉例（3） 可見(jiàn)，它將在兩個(gè)狀態(tài)之間跳躍，產(chǎn)生極限環(huán)為2的自持振蕩。原因在于連接權(quán)矩陣W不是非負(fù)定陣，所以出現(xiàn)了振蕩3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)練習(xí)神經(jīng)網(wǎng)絡(luò)有兩個(gè)結(jié)點(diǎn)，變換函數(shù)為符號(hào)函數(shù)，閾值0，并行方式，W反對(duì)稱，即 討論神經(jīng)

53、網(wǎng)絡(luò)的穩(wěn)定性情況（調(diào)整多少步能達(dá)到穩(wěn)定狀態(tài)），設(shè)初始狀態(tài)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)練習(xí)解答：3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)練習(xí) 可見(jiàn) 構(gòu)成一個(gè)長(zhǎng)度為4的振蕩環(huán)結(jié)論：并行方式，W反對(duì)稱且對(duì)角線元素為0，在一定條件下神經(jīng)網(wǎng)絡(luò)將收斂于一個(gè)長(zhǎng)度為4的環(huán)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)作業(yè)假設(shè)希望在圖示的Hopfield網(wǎng)絡(luò)中存儲(chǔ)兩個(gè)模式。要存儲(chǔ)的模式如下：3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)作業(yè)串行方式，變換函數(shù)為階躍函數(shù)，閾值0，網(wǎng)絡(luò)的初始狀態(tài)為

54、要求：1. 采用Hebb學(xué)習(xí)規(guī)則設(shè)計(jì)連接權(quán)矩陣W2. 判斷所給樣本是否為吸引子3. 按結(jié)點(diǎn)2，4，1，3次序調(diào)整網(wǎng)絡(luò)，求4. 若按結(jié)點(diǎn)1，2，3，4次序調(diào)整網(wǎng)絡(luò)，求5. 問(wèn)從初態(tài)開(kāi)始調(diào)整幾步能達(dá)到穩(wěn)定狀態(tài) 6. 討論若為同步方式，其穩(wěn)定情況3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)作業(yè)提示與解答權(quán)值學(xué)習(xí)規(guī)則3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)作業(yè)提示與解答異步方式： （從結(jié)點(diǎn)2調(diào)整則一步到位）同步方式： （可以收斂）3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式連續(xù)Hopfield網(wǎng)絡(luò)也是

55、單層反饋網(wǎng)絡(luò)結(jié)構(gòu)同前對(duì)于每一個(gè)神經(jīng)元結(jié)點(diǎn)，其工作方式為3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)圖3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)這里，同樣假定對(duì)稱與離散Hopfield網(wǎng)絡(luò)相比，多了中間一個(gè)式子，該式是一階微分方程，相當(dāng)于一階慣性環(huán)節(jié)Si是慣性環(huán)節(jié)的輸入， 是該環(huán)節(jié)的輸出對(duì)于離散Hopfield網(wǎng)絡(luò)，中間的式子相當(dāng)于改為與離散Hopfield網(wǎng)絡(luò)相比另一個(gè)不同是第三個(gè)式子一般不再是二值函數(shù)，而一般取S形函數(shù)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)對(duì)S形函數(shù) 當(dāng) 時(shí)取

56、當(dāng) 時(shí)取 均為連續(xù)的單調(diào)上升函數(shù)3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)1984年， Hopfield利用電子線路設(shè)計(jì)了一個(gè)連續(xù)Hopfield網(wǎng)絡(luò)的電路模型下圖表示其中由運(yùn)算放大器電路實(shí)現(xiàn)的一個(gè)結(jié)點(diǎn)的模型3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)每一個(gè)神經(jīng)元由電阻 和電容 以及具有飽和非線性特性的運(yùn)算放大器模擬輸出 同時(shí)還反饋到其它神經(jīng)元，但不反饋?zhàn)陨?3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò) 表示神經(jīng)元 i 的膜電位狀態(tài) 表示其輸出 表示細(xì)胞膜的輸入電容 表示細(xì)胞膜的傳遞電阻電阻 和電容 并聯(lián)模擬了生物

57、神經(jīng)元輸出的時(shí)間常數(shù)輸出 對(duì) 的影響模擬了神經(jīng)元之間互連的突觸特性運(yùn)算放大器模擬神經(jīng)元的非線性特性3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)根據(jù)圖由基爾霍夫電流定律，列出電路方程3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)經(jīng)整理得 其中3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)若令 則上式化為3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)可見(jiàn)，連續(xù)Hopfield網(wǎng)絡(luò)實(shí)質(zhì)上是一個(gè)連續(xù)的非線性動(dòng)力學(xué)系統(tǒng)，可用一組非線性微分方程描述當(dāng)給定初始狀態(tài) ，通過(guò)求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)的運(yùn)

58、動(dòng)軌跡若系統(tǒng)是穩(wěn)定的，則它最終可收斂到一個(gè)穩(wěn)定狀態(tài)若用圖所示的硬件來(lái)實(shí)現(xiàn)，則這個(gè)求解非線性微分方程的過(guò)程將由該電路自動(dòng)完成，其求解速度是非?？斓?.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)電子線路3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)穩(wěn)定性定義連續(xù)Hopfield網(wǎng)絡(luò)的能量函數(shù)為3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)由于 或 ，因此按前述定義的能量函數(shù)E是有界的只需證得 即可說(shuō)明系統(tǒng)是穩(wěn)定的實(shí)際上，若連接權(quán)矩陣W為對(duì)稱矩陣 ， 為單調(diào)遞增連續(xù)函數(shù)， 可證明上式成立3.6 典型反

59、饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)根據(jù)E的表達(dá)式可以求得3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)代入上式得 前面已假設(shè) 是單調(diào)上升函數(shù)，則其反函數(shù) 也為單調(diào)上升函數(shù)，即有 同時(shí) 因而有 （僅當(dāng)所有 均為常數(shù)時(shí)上式才取等號(hào) ） 3.6 典型反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)根據(jù)Lyapunov穩(wěn)定性理論，該神經(jīng)網(wǎng)絡(luò)系統(tǒng)一定是漸近穩(wěn)定的上式表明，能量函數(shù)E具有負(fù)的時(shí)間梯度隨著時(shí)間的推移，網(wǎng)絡(luò)狀態(tài)總是朝E減小的方向運(yùn)動(dòng)，一直到E取得極小值，即網(wǎng)絡(luò)的平衡點(diǎn)，此時(shí)所有的 變?yōu)槌?shù)，也即網(wǎng)絡(luò)收斂到穩(wěn)定狀態(tài)3.7 神經(jīng)網(wǎng)絡(luò)控制原理神

60、經(jīng)網(wǎng)絡(luò)控制的基本思想傳統(tǒng)的基于模型的控制方式是根據(jù)被控對(duì)象的數(shù)學(xué)模型及對(duì)控制系統(tǒng)要求的性能指標(biāo)來(lái)設(shè)計(jì)控制器，并對(duì)控制規(guī)律加以數(shù)學(xué)解析描述模糊控制是基于專家經(jīng)驗(yàn)和領(lǐng)域知識(shí)總結(jié)出若干條模糊控制規(guī)則，構(gòu)成描述具有不確定性復(fù)雜對(duì)象的模糊關(guān)系，通過(guò)被控系統(tǒng)輸出誤差、誤差變化率和模糊關(guān)系的推理合成獲得控制量，從而對(duì)系統(tǒng)實(shí)施控制以上兩種控制方式均具有顯式表達(dá)知識(shí)的特點(diǎn)3.7 神經(jīng)網(wǎng)絡(luò)控制原理神經(jīng)網(wǎng)絡(luò)控制的基本思想神經(jīng)網(wǎng)絡(luò)不善于顯式表達(dá)知識(shí)，但其具有很強(qiáng)的逼近非線性函數(shù)的能力，即非線性映射能力把神經(jīng)網(wǎng)絡(luò)用于控制正是利用其上述獨(dú)特特點(diǎn)現(xiàn)分析用神經(jīng)網(wǎng)絡(luò)替代反饋控制系統(tǒng)的控制器，來(lái)完成同一控制任務(wù)，神經(jīng)網(wǎng)絡(luò)是如何工