matlab神經(jīng)網(wǎng)絡(luò)工具箱簡介和函數(shù)及示例學(xué)習(xí)教案

1、會計學(xué)1matlab神經(jīng)網(wǎng)絡(luò)工具箱簡介和函數(shù)神經(jīng)網(wǎng)絡(luò)工具箱簡介和函數(shù)(hnsh)及示例及示例第一頁，共25頁。第十一章第十一章 神經(jīng)網(wǎng)絡(luò)工具神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)箱函數(shù)(hnsh)(hnsh)第1頁/共24頁第二頁，共25頁。MATLABMATLAB的神經(jīng)網(wǎng)絡(luò)工具箱簡介的神經(jīng)網(wǎng)絡(luò)工具箱簡介(jin ji)(jin ji)l 構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，使設(shè)計者對所選網(wǎng)絡(luò)輸出的構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，使設(shè)計者對所選網(wǎng)絡(luò)輸出的計算變成對激活函數(shù)的調(diào)用。計算變成對激活函數(shù)的調(diào)用。l 根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值的規(guī)則，再加上網(wǎng)絡(luò)的訓(xùn)練過根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值的規(guī)則，再加上網(wǎng)絡(luò)的訓(xùn)練過程，利用程，利

2、用matlab編寫各種網(wǎng)絡(luò)設(shè)計和訓(xùn)練的子程序。編寫各種網(wǎng)絡(luò)設(shè)計和訓(xùn)練的子程序。l 設(shè)計人員可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)的設(shè)計和設(shè)計人員可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)的設(shè)計和訓(xùn)練程序，將自己從繁瑣的編程中解脫出來訓(xùn)練程序，將自己從繁瑣的編程中解脫出來(ch li)，提高工作，提高工作效率。效率。第2頁/共24頁第三頁，共25頁。神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)(hnsh)(hnsh)l 神經(jīng)網(wǎng)絡(luò)函數(shù)神經(jīng)網(wǎng)絡(luò)函數(shù)l 權(quán)值函數(shù)權(quán)值函數(shù)l 網(wǎng)絡(luò)的輸入網(wǎng)絡(luò)的輸入(shr)函數(shù)函數(shù)l 傳遞函數(shù)傳遞函數(shù)l 初始化函數(shù)初始化函數(shù)l 性能函數(shù)性能函數(shù)l 學(xué)習(xí)函數(shù)學(xué)習(xí)函數(shù)l 自適應(yīng)函數(shù)自適應(yīng)函數(shù)

3、l 訓(xùn)練函數(shù)訓(xùn)練函數(shù)第3頁/共24頁第四頁，共25頁。神經(jīng)網(wǎng)絡(luò)函數(shù)神經(jīng)網(wǎng)絡(luò)函數(shù)(hnsh)newff(hnsh)newff功能功能(gngnng)： Create a feed-forward backpropagation network格式格式(g shi)： net = newff(PR,S1 S2.SNl,TF1.TFNl,BTF,BLF,PF)第4頁/共24頁第五頁，共25頁。例子例子(l zi)1:(l zi)1: help newff help newff 第5頁/共24頁第六頁，共25頁。 以一個以一個(y )單隱層的單隱層的BP網(wǎng)絡(luò)設(shè)計為例，介紹利用神經(jīng)網(wǎng)絡(luò)設(shè)計為例，介紹利用

4、神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行網(wǎng)絡(luò)工具箱進(jìn)行BP網(wǎng)絡(luò)設(shè)計及分析的過程網(wǎng)絡(luò)設(shè)計及分析的過程1. 問題問題(wnt)描述描述P=-1:0.1:1;T=-0.9602 -0.577 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201; 通過對函數(shù)通過對函數(shù)(hnsh)進(jìn)行采樣得到了網(wǎng)絡(luò)的輸進(jìn)行采樣得到了網(wǎng)絡(luò)的輸入變量入變量P和目標(biāo)變量和目標(biāo)變量T：例子例子2:2:設(shè)計一個隱含層神經(jīng)元

5、數(shù)目神經(jīng)元個數(shù)設(shè)計一個隱含層神經(jīng)元數(shù)目神經(jīng)元個數(shù)第6頁/共24頁第七頁，共25頁。2. 網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)的設(shè)的設(shè)計計 網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個數(shù)均為網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個數(shù)均為1，網(wǎng)絡(luò)，網(wǎng)絡(luò)的隱含的隱含(yn hn)神經(jīng)元個數(shù)應(yīng)該在神經(jīng)元個數(shù)應(yīng)該在38之間。之間。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)設(shè)計及運行的代碼：設(shè)計及運行的代碼：s=3:8;res=1:6;for i=1:6; net=newff(minmax(P),s(i) 1,tansig logsig,traingdx); net.trainParam.epochs=2000; net.trainParam.goal=0.00

6、1; net=train(net,P,T) y=sim(net,P) error=y-T; res(i)=norm(error);end第7頁/共24頁第八頁，共25頁。代碼運行結(jié)果代碼運行結(jié)果(ji gu)：網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)訓(xùn)練誤差訓(xùn)練誤差結(jié)論結(jié)論(jiln)：隱含層節(jié)點設(shè)為：隱含層節(jié)點設(shè)為8 第8頁/共24頁第九頁，共25頁。BPBP網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練(xnlin)(xnlin)步驟步驟步驟步驟1: 初始化初始化步驟步驟2:計算網(wǎng)絡(luò)各層輸出矢量計算網(wǎng)絡(luò)各層輸出矢量(shling)步驟步驟3:計算網(wǎng)絡(luò)各層反向傳播的誤差變化計算網(wǎng)絡(luò)各層反向傳播的誤差變化,并計算各并計算各 層層權(quán)值的修正值

7、及修正值權(quán)值的修正值及修正值步驟步驟4:再次計算權(quán)值修正后的誤差再次計算權(quán)值修正后的誤差 平方和平方和步驟步驟5:檢查誤差檢查誤差 平方和是否小于平方和是否小于 誤差期望值誤差期望值,若是若是,停止停止訓(xùn)練訓(xùn)練,否則繼續(xù)否則繼續(xù).第9頁/共24頁第十頁，共25頁。 目前，神經(jīng)網(wǎng)絡(luò)工具箱中提供目前，神經(jīng)網(wǎng)絡(luò)工具箱中提供(tgng)的神經(jīng)網(wǎng)絡(luò)模型的神經(jīng)網(wǎng)絡(luò)模型主要應(yīng)用于：主要應(yīng)用于：l 函數(shù)逼近和模型擬合函數(shù)逼近和模型擬合(n h)l 信息處理和預(yù)測信息處理和預(yù)測l 神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制l 故障診斷故障診斷第10頁/共24頁第十一頁，共25頁。神經(jīng)網(wǎng)絡(luò)實現(xiàn)神經(jīng)網(wǎng)絡(luò)實現(xiàn)(shxin)(shxin

8、)的具體操作過的具體操作過程：程：確定信息表達(dá)方式；確定信息表達(dá)方式；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)模型的模型的確定；確定；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)參數(shù)的參數(shù)的選擇；選擇；訓(xùn)練模式的確定；訓(xùn)練模式的確定；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)測試測試第11頁/共24頁第十二頁，共25頁。確定確定(qudng)信息表達(dá)方式：信息表達(dá)方式： 將領(lǐng)域問題將領(lǐng)域問題(wnt)抽象為適合于網(wǎng)絡(luò)求解所能接抽象為適合于網(wǎng)絡(luò)求解所能接受的某種數(shù)據(jù)形式。受的某種數(shù)據(jù)形式。 問題問題(wnt)形式的種類：形式的種類：l 數(shù)據(jù)樣本已知；數(shù)據(jù)樣本已知；l 數(shù)據(jù)樣本之間相互關(guān)系不明確；數(shù)據(jù)樣本之間相互關(guān)系不明確；l 輸入輸入/輸出模式為連續(xù)的或

9、者離散的；輸出模式為連續(xù)的或者離散的；l 輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會具有平輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會具有平移、旋轉(zhuǎn)或者伸縮移、旋轉(zhuǎn)或者伸縮(shn su)等變化形式；等變化形式；l 數(shù)據(jù)樣本的預(yù)處理；數(shù)據(jù)樣本的預(yù)處理；l 將數(shù)據(jù)樣本分為訓(xùn)練樣本和測試樣本將數(shù)據(jù)樣本分為訓(xùn)練樣本和測試樣本第12頁/共24頁第十三頁，共25頁。網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型(mxng)的確的確定定 主要是根據(jù)問題的實際情況，選擇模型的類型主要是根據(jù)問題的實際情況，選擇模型的類型、結(jié)構(gòu)等。另外，還可以在典型網(wǎng)絡(luò)模型的基礎(chǔ)上，、結(jié)構(gòu)等。另外，還可以在典型網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合問題的具體情況，對原網(wǎng)絡(luò)進(jìn)行變形、擴充

10、結(jié)合問題的具體情況，對原網(wǎng)絡(luò)進(jìn)行變形、擴充(kuchng)等，同時還可以采用多種網(wǎng)絡(luò)模型的組等，同時還可以采用多種網(wǎng)絡(luò)模型的組合形式。合形式。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)參數(shù)的參數(shù)的選擇選擇 確定網(wǎng)絡(luò)的輸入輸出神經(jīng)元的數(shù)目，如果是多層網(wǎng)確定網(wǎng)絡(luò)的輸入輸出神經(jīng)元的數(shù)目，如果是多層網(wǎng)絡(luò)，還需要進(jìn)一步確定隱含層神經(jīng)元的個數(shù)。絡(luò)，還需要進(jìn)一步確定隱含層神經(jīng)元的個數(shù)。第13頁/共24頁第十四頁，共25頁。訓(xùn)練訓(xùn)練(xnlin)模式的確定模式的確定 包括選擇包括選擇(xunz)合理的測試樣本，對網(wǎng)絡(luò)進(jìn)行合理的測試樣本，對網(wǎng)絡(luò)進(jìn)行測試、或者將網(wǎng)絡(luò)應(yīng)用于實際問題，檢驗網(wǎng)絡(luò)性能。測試、或者將網(wǎng)絡(luò)應(yīng)用于實際問題，檢驗網(wǎng)

11、絡(luò)性能。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)測試測試 選擇合理的測試樣本，對網(wǎng)絡(luò)進(jìn)行測試，或者將選擇合理的測試樣本，對網(wǎng)絡(luò)進(jìn)行測試，或者將網(wǎng)絡(luò)應(yīng)用于實際問題，檢驗網(wǎng)絡(luò)性能。網(wǎng)絡(luò)應(yīng)用于實際問題，檢驗網(wǎng)絡(luò)性能。第14頁/共24頁第十五頁，共25頁。MATLABMATLAB的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)(hnsh)(hnsh)函數(shù)類型函數(shù)名稱函數(shù)用途仿真函數(shù)仿真函數(shù)SIM針對給定的輸入，得到網(wǎng)絡(luò)輸出訓(xùn)練函數(shù)訓(xùn)練函數(shù)train調(diào)用其它訓(xùn)練函數(shù)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練trainh對權(quán)值和閾值進(jìn)行訓(xùn)練adapt自適應(yīng)函數(shù)學(xué)習(xí)函數(shù)learn網(wǎng)絡(luò)權(quán)值和閾值的學(xué)習(xí)初始化函數(shù)int對網(wǎng)絡(luò)進(jìn)行初始化intlay對多層網(wǎng)絡(luò)初始化

12、通用通用(tngyng)函數(shù)函數(shù)第15頁/共24頁第十六頁，共25頁。函數(shù)類型函數(shù)名稱函數(shù)用途輸入函數(shù)輸入函數(shù)netsum輸入求和函數(shù)netprcd輸入求積函數(shù) concur使權(quán)值向量和閾值向量的結(jié)構(gòu)一致其它dotprod權(quán)值求積函數(shù)第16頁/共24頁第十七頁，共25頁。BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)(wnglu)的神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)(wnglu)(wnglu)工具箱函數(shù)工具箱函數(shù)函數(shù)類型函數(shù)名稱函數(shù)用途前向網(wǎng)絡(luò)創(chuàng)建函數(shù) 傳遞函數(shù)學(xué)習(xí)函數(shù)第17頁/共24頁第十八頁，共25頁。函數(shù)類型函數(shù)名稱函數(shù)用途性能函數(shù)性能函數(shù)顯示函數(shù)第18頁/共24頁第十九頁，共25頁。一、一、BP網(wǎng)絡(luò)創(chuàng)建網(wǎng)絡(luò)創(chuàng)建(ch

13、ungjin)函數(shù)函數(shù) 1）newcf 用于創(chuàng)建用于創(chuàng)建(chungjin)級聯(lián)前向級聯(lián)前向BP網(wǎng)絡(luò)網(wǎng)絡(luò)調(diào)用調(diào)用(dioyng)格式：格式：net=newcf net=newcf（PR,S1 S2.SN,TF1 TF2.TFN,BTF,BLF,PF）PR:由每組輸入（共有由每組輸入（共有R組輸入）元素的最大值和最小值組成的組輸入）元素的最大值和最小值組成的R*2維的矩陣維的矩陣Si：第第i層的長度，共計層的長度，共計N層；層； TFi：第第i層的傳遞函數(shù)，默認(rèn)為層的傳遞函數(shù)，默認(rèn)為“tansig”BTF：BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為“trainlm”BLF：權(quán)值和閾值的權(quán)值

14、和閾值的BP學(xué)習(xí)算法，默認(rèn)為學(xué)習(xí)算法，默認(rèn)為learngdm PF：網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為“mse”第19頁/共24頁第二十頁，共25頁。l 參數(shù)參數(shù)TFi可以采用任意的可微傳遞函數(shù)，比如可以采用任意的可微傳遞函數(shù)，比如transig，logsig和和purelin等；等；l 訓(xùn)練訓(xùn)練(xnlin)函數(shù)可以是任意的函數(shù)可以是任意的BP訓(xùn)練訓(xùn)練(xnlin)函數(shù)，如函數(shù)，如trainm，trainbfg，trainrp和和traingd等。等。BTF默認(rèn)采用默認(rèn)采用trainlm是因為函數(shù)的速度很快，但該函數(shù)的一個重要缺陷是運行過程會消耗大量的內(nèi)存資源。如果計算機內(nèi)存不夠大

15、，不建議用是因為函數(shù)的速度很快，但該函數(shù)的一個重要缺陷是運行過程會消耗大量的內(nèi)存資源。如果計算機內(nèi)存不夠大，不建議用trainlm，而建議采用訓(xùn)練，而建議采用訓(xùn)練(xnlin)函數(shù)函數(shù)trainbfg或或trainrp。雖然這兩個函數(shù)的運行速度比較慢，但它們的共同特點是內(nèi)存占用量小，不至于出現(xiàn)訓(xùn)練。雖然這兩個函數(shù)的運行速度比較慢，但它們的共同特點是內(nèi)存占用量小，不至于出現(xiàn)訓(xùn)練(xnlin)過程死機的情況。過程死機的情況。說明說明(shumng)：第20頁/共24頁第二十一頁，共25頁。二、神經(jīng)元上的傳遞函數(shù)二、神經(jīng)元上的傳遞函數(shù) 傳遞函數(shù)是傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分，必須是連續(xù)網(wǎng)絡(luò)的重要

16、組成部分，必須是連續(xù)(linx)可微的，可微的，BP網(wǎng)絡(luò)常采用網(wǎng)絡(luò)常采用S型的對數(shù)或正切函數(shù)和型的對數(shù)或正切函數(shù)和線性函數(shù)。線性函數(shù)。Logsig 傳遞函數(shù)為傳遞函數(shù)為S型的對數(shù)函數(shù)。型的對數(shù)函數(shù)。調(diào)用格式為：調(diào)用格式為：A=logsig（N） N：Q個個S維的輸入列向量維的輸入列向量(xingling)；A：函數(shù)返回值，位于區(qū)間：函數(shù)返回值，位于區(qū)間(0,1) 中中第21頁/共24頁第二十二頁，共25頁。 info=logsig（code）依據(jù)依據(jù)code值的不同返回不同的信息，包括值的不同返回不同的信息，包括(boku)：deriv返回微分函數(shù)的名稱；返回微分函數(shù)的名稱；name返回函數(shù)全

17、程；返回函數(shù)全程；output返回輸出值域；返回輸出值域；active返回有效的輸入?yún)^(qū)間返回有效的輸入?yún)^(qū)間例如：例如：n=-10：0.1: 10;a=logsig(n);plot(n,a)matlab按照來計算對數(shù)傳遞函數(shù)的值：按照來計算對數(shù)傳遞函數(shù)的值：n=2/(1+exp(-2n)函數(shù)函數(shù)logsig可將神經(jīng)元的輸入（范圍為整個實數(shù)集）映射可將神經(jīng)元的輸入（范圍為整個實數(shù)集）映射(yngsh)到區(qū)間（到區(qū)間（0，1）中。）中。第22頁/共24頁第二十三頁，共25頁。learngd 該函數(shù)為梯度下降權(quán)值該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)閾值學(xué)習(xí)(xux)函數(shù)，通過神函數(shù)，通過神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)(xux)速速率，來計算權(quán)值或閾值的變化率。率，來計算權(quán)值或閾值的變化率。三、三、BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)函數(shù)函數(shù) dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D