第7章人工神經(jīng)網(wǎng)絡(luò)

1、第第7 7章章 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)bp網(wǎng)絡(luò)及學(xué)習(xí)過(guò)程網(wǎng)絡(luò)及學(xué)習(xí)過(guò)程bp網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)分類識(shí)別舉例分類識(shí)別舉例bpbp網(wǎng)絡(luò)及學(xué)習(xí)過(guò)程網(wǎng)絡(luò)及學(xué)習(xí)過(guò)程 一一. 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 1. 生物神經(jīng)元與人工神經(jīng)元生物神經(jīng)元與人工神經(jīng)元人腦的結(jié)構(gòu)：人腦的結(jié)構(gòu)：腦主要由大腦腦主要由大腦半球、腦干和半球、腦干和小腦組成。小腦組成。大腦半球由大大腦半球由大腦皮質(zhì)構(gòu)成。腦皮質(zhì)構(gòu)成。 腦的功能：人類大腦皮質(zhì)的不同部分行使不同的腦的功能：人類大腦皮質(zhì)的不同部分行使不同的功能。大腦皮質(zhì)有功能。大腦皮質(zhì)有6層結(jié)構(gòu)，大小及形狀各異的層結(jié)構(gòu)，大小及形狀各異的神經(jīng)細(xì)胞構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)。神經(jīng)細(xì)胞構(gòu)成了復(fù)雜

2、的神經(jīng)網(wǎng)。大腦與腦的高級(jí)大腦與腦的高級(jí)功能如記憶和學(xué)功能如記憶和學(xué)習(xí)密切相關(guān)。習(xí)密切相關(guān)。小腦主要與運(yùn)動(dòng)小腦主要與運(yùn)動(dòng)控制及生物功能控制及生物功能有關(guān)，相當(dāng)于有關(guān)，相當(dāng)于3萬(wàn)萬(wàn)臺(tái)普通計(jì)算機(jī)的處臺(tái)普通計(jì)算機(jī)的處理能力。理能力。 生物神經(jīng)元（神經(jīng)細(xì)胞）：生物神經(jīng)元（神經(jīng)細(xì)胞）： 人的大腦由近人的大腦由近140億個(gè)不同種類的神經(jīng)元組成，其主要功能億個(gè)不同種類的神經(jīng)元組成，其主要功能是傳輸信息。一個(gè)神經(jīng)元的結(jié)構(gòu)如圖示。是傳輸信息。一個(gè)神經(jīng)元的結(jié)構(gòu)如圖示。細(xì)胞體：接受和處理信息的單元。細(xì)胞體：接受和處理信息的單元。軸突：向外傳送從細(xì)胞體發(fā)出的信息。軸突：向外傳送從細(xì)胞體發(fā)出的信息。樹突：從周圍收集其他神

3、經(jīng)元發(fā)出的信息。樹突：從周圍收集其他神經(jīng)元發(fā)出的信息。突觸：是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的部位。突觸：是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的部位。 人工神經(jīng)元模型人工神經(jīng)元模型1x2xnxnetyf1w2wnw()yf net1niiinetw x常用的輸出函數(shù)：常用的輸出函數(shù)：1. 閾值函數(shù)閾值函數(shù)神經(jīng)元輸出為神經(jīng)元輸出為netysgnniiiyw x設(shè)閾值設(shè)閾值該神經(jīng)元的作用相當(dāng)于一個(gè)該神經(jīng)元的作用相當(dāng)于一個(gè)n-1維超平面對(duì)維超平面對(duì)n維空間的分割。維空間的分割。如果兩類樣本可以被一個(gè)超平面分開，則能夠用一個(gè)神經(jīng)元如果兩類樣本可以被一個(gè)超平面分開，則能夠用一個(gè)神經(jīng)元實(shí)現(xiàn)分類。實(shí)現(xiàn)分類。上述

4、神經(jīng)元又被成為單層感知器。上述神經(jīng)元又被成為單層感知器。 0w 012(,)tnww w ww12(1,)tnxx xx10sgn()00tttw xyw xw x2. sigmoid 函數(shù)函數(shù) 對(duì)于一些重要的學(xué)習(xí)算法，要求輸出函數(shù)可微，對(duì)于一些重要的學(xué)習(xí)算法，要求輸出函數(shù)可微，此時(shí)通常選用此時(shí)通常選用sigmoid函數(shù)。函數(shù)。1( )1xf xe二二. bp神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 三層前饋網(wǎng)絡(luò)三層前饋網(wǎng)絡(luò) 三層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法的主要困難是中間的隱三層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法的主要困難是中間的隱層不直接與外界連接，無(wú)法直接計(jì)算其連接權(quán)值。層不直接與外界連接，無(wú)法直接計(jì)算其連接權(quán)值。 bp網(wǎng)絡(luò)是一種多層前

5、饋網(wǎng)絡(luò)，因使用誤差反向傳網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，因使用誤差反向傳播算法（播算法（back-propogation）進(jìn)行學(xué)習(xí)而得名，）進(jìn)行學(xué)習(xí)而得名，簡(jiǎn)稱簡(jiǎn)稱bp算法。該網(wǎng)絡(luò)神經(jīng)元的作用函數(shù)采用算法。該網(wǎng)絡(luò)神經(jīng)元的作用函數(shù)采用sigmoind函數(shù)。函數(shù)。 bp算法的基本思想：算法的基本思想： 根據(jù)樣本數(shù)據(jù)構(gòu)造一個(gè)誤差函數(shù)，通過(guò)梯度下降根據(jù)樣本數(shù)據(jù)構(gòu)造一個(gè)誤差函數(shù)，通過(guò)梯度下降法利用迭代運(yùn)算求解權(quán)值。法利用迭代運(yùn)算求解權(quán)值。 算法分為兩個(gè)階段：算法分為兩個(gè)階段： （1）（正向過(guò)程）（正向過(guò)程） 輸入信息從輸入層經(jīng)隱層逐輸入信息從輸入層經(jīng)隱層逐層計(jì)算個(gè)單元的輸出值；層計(jì)算個(gè)單元的輸出值； （2）（誤

6、差反向傳播過(guò)程）誤差由輸出層逐層向）（誤差反向傳播過(guò)程）誤差由輸出層逐層向輸入層方向傳播計(jì)算出每個(gè)單元的誤差，并用此輸入層方向傳播計(jì)算出每個(gè)單元的誤差，并用此誤差修正輸入層權(quán)值。誤差修正輸入層權(quán)值。三三. bp算法原理算法原理信號(hào)前向傳播信號(hào)前向傳播誤差反向傳播誤差反向傳播將輸入信號(hào)將輸入信號(hào) 輸入網(wǎng)絡(luò)，輸入網(wǎng)絡(luò)，經(jīng)過(guò)中間層（隱層）傳向輸出層，得到輸出信息經(jīng)過(guò)中間層（隱層）傳向輸出層，得到輸出信息輸出層神經(jīng)元的輸出和教師信號(hào)的平方誤差定義為輸出層神經(jīng)元的輸出和教師信號(hào)的平方誤差定義為 12(,)tlxx xx12( ,)tkoo oo211()2kkkkedo()kkof net1jkkjjj

7、netw y先求輸出層與中間層間的權(quán)值更新量：先求輸出層與中間層間的權(quán)值更新量：式中，式中， 為正的常數(shù)，為正的常數(shù)， 為輸出層神經(jīng)元為輸出層神經(jīng)元 的的 值值 kjkjeww kkkkkjoneteonetw ()()kkkjdofnety okjyokk()()kkkjdofnety 求中間層與輸入層間的權(quán)值更新量：求中間層與輸入層間的權(quán)值更新量： jijievv jjkkkkjjjiynetoneteonetynetv 211() ()2kkkkkjikkkjonetdofnetxonety yjix1ijjiiinetv x()jjyf net1()()()kkkkkjjikdofne

8、tw fnetx1()kokkjjikw fnetx可以看出，可以看出，pb算法的計(jì)算思想是算法的計(jì)算思想是要計(jì)算網(wǎng)絡(luò)連接權(quán)值的修正量，需要首先計(jì)算網(wǎng)絡(luò)要計(jì)算網(wǎng)絡(luò)連接權(quán)值的修正量，需要首先計(jì)算網(wǎng)絡(luò)每一層神經(jīng)元的輸出，然后反向計(jì)算各神經(jīng)元的誤每一層神經(jīng)元的輸出，然后反向計(jì)算各神經(jīng)元的誤差傳播值差傳播值 。權(quán)值更新量權(quán)值更新量=(學(xué)習(xí)系數(shù)學(xué)習(xí)系數(shù)) x x (輸出函數(shù)微分值輸出函數(shù)微分值) x (神經(jīng)元神經(jīng)元 輸出輸出)輸出函數(shù)為輸出函數(shù)為sigmoid函數(shù)時(shí)函數(shù)時(shí) 有有 則輸出層神經(jīng)元的則輸出層神經(jīng)元的 值為值為1( )1xf xe(1) ()kkkkoodo( )( )1( )fxf xf x

9、()()okkkkdofnet誤差誤差s函數(shù)函數(shù)f(x)的微分值的微分值中間層神經(jīng)元的中間層神經(jīng)元的 值值1()kyjokkjjkw fnet1(1)kjjokkjkyywbp算法步驟：算法步驟：1. 網(wǎng)絡(luò)初始化網(wǎng)絡(luò)初始化 權(quán)值的初始值用小的隨機(jī)數(shù)設(shè)定，選定權(quán)值的初始值用小的隨機(jī)數(shù)設(shè)定，選定 的的終止值終止值 ，步長(zhǎng)控制量，步長(zhǎng)控制量2. 輸入向量的輸入輸入向量的輸入(向前向前) 首先，將輸入向量輸入給輸入層。輸入向量向輸出層傳首先，將輸入向量輸入給輸入層。輸入向量向輸出層傳播；對(duì)各神經(jīng)元，求來(lái)自前層神經(jīng)元的附加權(quán)值和，由播；對(duì)各神經(jīng)元，求來(lái)自前層神經(jīng)元的附加權(quán)值和，由sigmoid函數(shù)決定輸

10、出值；函數(shù)決定輸出值； (輸出值輸出值) = f (輸入和輸入和) (1) 3. 向輸出層輸入教師信號(hào)向輸出層輸入教師信號(hào) 將與輸入向量對(duì)應(yīng)的教師向量提供給輸出層，計(jì)算誤差將與輸入向量對(duì)應(yīng)的教師向量提供給輸出層，計(jì)算誤差值值 ，若，若 ，則算法結(jié)束；否則，轉(zhuǎn)，則算法結(jié)束；否則，轉(zhuǎn)4，eee4. 誤差逆?zhèn)鞑サ臋?quán)值學(xué)習(xí)（反向）誤差逆?zhèn)鞑サ臋?quán)值學(xué)習(xí)（反向） 根據(jù)根據(jù) (新權(quán)值新權(quán)值) = (舊權(quán)值舊權(quán)值) + (常數(shù)常數(shù))x x(神經(jīng)元輸出神經(jīng)元輸出) (2) 進(jìn)行權(quán)值更新，式中的進(jìn)行權(quán)值更新，式中的(神經(jīng)元輸出神經(jīng)元輸出)是指權(quán)值連接的二個(gè)神經(jīng)元中，是指權(quán)值連接的二個(gè)神經(jīng)元中，來(lái)自前面的神經(jīng)元輸出

11、，來(lái)自前面的神經(jīng)元輸出， 按以下求出：按以下求出： 連接輸出層的權(quán)值學(xué)習(xí)時(shí)：連接輸出層的權(quán)值學(xué)習(xí)時(shí)： = (輸出輸出)1(輸出輸出)x (教師信號(hào)教師信號(hào))(神經(jīng)元輸出神經(jīng)元輸出) (3) s函數(shù)的微分值函數(shù)的微分值 誤差誤差 除此以外的權(quán)值學(xué)習(xí)時(shí)：除此以外的權(quán)值學(xué)習(xí)時(shí)： = (輸出輸出)1(輸出輸出)x (來(lái)自緊接其后層的來(lái)自緊接其后層的 的附加權(quán)值和的附加權(quán)值和) (4) s函數(shù)的微分值函數(shù)的微分值 誤差誤差5. 返回到返回到2 重復(fù)進(jìn)行重復(fù)進(jìn)行24，進(jìn)行權(quán)值的學(xué)習(xí)。，進(jìn)行權(quán)值的學(xué)習(xí)。人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法的特點(diǎn)：人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法的特點(diǎn)：優(yōu)勢(shì)：優(yōu)勢(shì)：1. 具有較強(qiáng)的容錯(cuò)性，能夠識(shí)

12、別帶有噪聲的輸入模具有較強(qiáng)的容錯(cuò)性，能夠識(shí)別帶有噪聲的輸入模式式2. 具有很強(qiáng)的自適應(yīng)學(xué)習(xí)能力具有很強(qiáng)的自適應(yīng)學(xué)習(xí)能力3. 可以實(shí)現(xiàn)特征空間較復(fù)雜的劃分可以實(shí)現(xiàn)特征空間較復(fù)雜的劃分4. 能夠適用于高速并行處理系統(tǒng)實(shí)現(xiàn)能夠適用于高速并行處理系統(tǒng)實(shí)現(xiàn)弱點(diǎn)：弱點(diǎn)：1. 需要較多的訓(xùn)練樣本需要較多的訓(xùn)練樣本2. 學(xué)習(xí)速度較慢學(xué)習(xí)速度較慢 bp網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)所謂網(wǎng)絡(luò)結(jié)構(gòu)，是指輸入層的神經(jīng)元個(gè)數(shù)，中間層所謂網(wǎng)絡(luò)結(jié)構(gòu)，是指輸入層的神經(jīng)元個(gè)數(shù)，中間層（隱層）的層數(shù)及其神經(jīng)元個(gè)數(shù)，輸出層神經(jīng)元個(gè)（隱層）的層數(shù)及其神經(jīng)元個(gè)數(shù)，輸出層神經(jīng)元個(gè)數(shù)，各層神經(jīng)元之間的鏈接權(quán)值大小。數(shù)，各層神經(jīng)元之間的鏈接權(quán)

13、值大小。1.輸入層和輸出層的神經(jīng)元個(gè)數(shù)輸入層和輸出層的神經(jīng)元個(gè)數(shù) 輸入層的神經(jīng)元個(gè)數(shù)由模式的維數(shù)決定，輸出層的輸入層的神經(jīng)元個(gè)數(shù)由模式的維數(shù)決定，輸出層的神經(jīng)元個(gè)數(shù)由識(shí)別問(wèn)題決定。神經(jīng)元個(gè)數(shù)由識(shí)別問(wèn)題決定。2. 隱層的層數(shù)與神經(jīng)元個(gè)數(shù)隱層的層數(shù)與神經(jīng)元個(gè)數(shù) 理論證明，三層理論證明，三層bp網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的非線性映網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的非線性映射，因此，常用三層網(wǎng)絡(luò)，即只有一個(gè)隱層。射，因此，常用三層網(wǎng)絡(luò)，即只有一個(gè)隱層。 隱層神經(jīng)元個(gè)數(shù)的確定是隱層神經(jīng)元個(gè)數(shù)的確定是bp網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的主要網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的主要任務(wù)之一。任務(wù)之一。隱層神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)學(xué)習(xí)性能的影響隱層神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)學(xué)習(xí)性能的影響（1

14、）太少（網(wǎng)絡(luò)規(guī)模太?。┨伲ňW(wǎng)絡(luò)規(guī)模太小） 網(wǎng)絡(luò)實(shí)際輸出和期望輸出之間的擬合度不高，其網(wǎng)絡(luò)實(shí)際輸出和期望輸出之間的擬合度不高，其處理復(fù)雜問(wèn)題的能力不足，即網(wǎng)絡(luò)的學(xué)習(xí)能力不處理復(fù)雜問(wèn)題的能力不足，即網(wǎng)絡(luò)的學(xué)習(xí)能力不足，易產(chǎn)生學(xué)習(xí)不收斂的問(wèn)題。足，易產(chǎn)生學(xué)習(xí)不收斂的問(wèn)題。（2）太多（網(wǎng)絡(luò)規(guī)模太大）太多（網(wǎng)絡(luò)規(guī)模太大） 網(wǎng)絡(luò)具有較好的學(xué)習(xí)精度，但易導(dǎo)致其泛化能力網(wǎng)絡(luò)具有較好的學(xué)習(xí)精度，但易導(dǎo)致其泛化能力較差，產(chǎn)生較差，產(chǎn)生過(guò)學(xué)習(xí)（過(guò)擬合）過(guò)學(xué)習(xí)（過(guò)擬合）現(xiàn)象，即隨著連續(xù)現(xiàn)象，即隨著連續(xù)學(xué)習(xí)，平方誤差會(huì)變小，但對(duì)于評(píng)價(jià)用的識(shí)別樣學(xué)習(xí)，平方誤差會(huì)變小，但對(duì)于評(píng)價(jià)用的識(shí)別樣本，反而出現(xiàn)識(shí)別效果變差的現(xiàn)象。

15、本，反而出現(xiàn)識(shí)別效果變差的現(xiàn)象。 可以看出，隱層神經(jīng)元個(gè)數(shù)的確定是重要的，也可以看出，隱層神經(jīng)元個(gè)數(shù)的確定是重要的，也是比較困難的。是比較困難的。 解決的方法：解決的方法： （1）經(jīng)驗(yàn)公式）經(jīng)驗(yàn)公式 式中，式中，l為輸入層節(jié)點(diǎn)個(gè)數(shù)，為輸入層節(jié)點(diǎn)個(gè)數(shù)，m為輸出層節(jié)點(diǎn)個(gè)數(shù)，為輸出層節(jié)點(diǎn)個(gè)數(shù)， 為（為（110）的整數(shù)）的整數(shù)。 numlmmin(int)()1numlmmax(int)()10numlm （2）優(yōu)化的方法）優(yōu)化的方法 將網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值看做被優(yōu)化對(duì)象，以輸出將網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值看做被優(yōu)化對(duì)象，以輸出神經(jīng)元的誤差函數(shù)為目標(biāo)函數(shù)，采用優(yōu)化方法進(jìn)神經(jīng)元的誤差函數(shù)為目標(biāo)函數(shù)，采用優(yōu)化方法進(jìn)

16、行優(yōu)化。行優(yōu)化。 由于神經(jīng)元數(shù)量和連接權(quán)值的數(shù)量所構(gòu)成的數(shù)據(jù)由于神經(jīng)元數(shù)量和連接權(quán)值的數(shù)量所構(gòu)成的數(shù)據(jù)規(guī)模比較龐大，用傳統(tǒng)的數(shù)學(xué)方法難以解決該優(yōu)規(guī)模比較龐大，用傳統(tǒng)的數(shù)學(xué)方法難以解決該優(yōu)化問(wèn)題，因此，現(xiàn)代的一些人工智能優(yōu)化方法受化問(wèn)題，因此，現(xiàn)代的一些人工智能優(yōu)化方法受到關(guān)注，如遺傳算法，粒子群優(yōu)化算法等，并取到關(guān)注，如遺傳算法，粒子群優(yōu)化算法等，并取得了很好的效果。得了很好的效果。分類識(shí)別舉例分類識(shí)別舉例1. 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)標(biāo)準(zhǔn)測(cè)試數(shù)據(jù) uci( university of california irvine)標(biāo)準(zhǔn)數(shù)據(jù)集是測(cè)試標(biāo)準(zhǔn)數(shù)據(jù)集是測(cè)試模式識(shí)別領(lǐng)域分類器設(shè)計(jì)性能的一個(gè)公開的通用的標(biāo)準(zhǔn)數(shù)據(jù)

17、模式識(shí)別領(lǐng)域分類器設(shè)計(jì)性能的一個(gè)公開的通用的標(biāo)準(zhǔn)數(shù)據(jù)集。其中：集。其中： iris數(shù)據(jù)集共有數(shù)據(jù)集共有150個(gè)樣本，總共分為三類，每類有個(gè)樣本，總共分為三類，每類有50組數(shù)據(jù)，組數(shù)據(jù)，模式特征數(shù)為模式特征數(shù)為4。 ionosphere數(shù)據(jù)集共有數(shù)據(jù)集共有351個(gè)樣本，總共分為兩類，其中個(gè)樣本，總共分為兩類，其中a類有類有127組數(shù)據(jù)，組數(shù)據(jù)，b類共類共224組數(shù)據(jù)，模式特征數(shù)為組數(shù)據(jù)，模式特征數(shù)為34。 breast cancer數(shù)據(jù)集共有數(shù)據(jù)集共有569個(gè)樣本，總共分為兩類，個(gè)樣本，總共分為兩類，a類類有有212組數(shù)據(jù)，組數(shù)據(jù)，b類有類有357組數(shù)據(jù)組數(shù)據(jù)，模式特征數(shù)為，模式特征數(shù)為30. 2. 學(xué)習(xí)樣本和測(cè)試樣本學(xué)習(xí)樣本和測(cè)試樣本 將測(cè)試數(shù)據(jù)集中的數(shù)據(jù)分為兩部分，一部分樣本作為學(xué)將測(cè)試數(shù)據(jù)集中的數(shù)據(jù)分為兩部分，一部分樣本作為學(xué)習(xí)樣本，其他的作為識(shí)別樣本。一般地，學(xué)習(xí)樣本取習(xí)樣本，其他的作為識(shí)別樣本。一般地，學(xué)習(xí)樣本取7080%對(duì)于對(duì)于iris數(shù)據(jù)集：從三類數(shù)據(jù)中各隨機(jī)選數(shù)據(jù)集：從三類數(shù)據(jù)中各隨機(jī)選40組作為