第六章競爭神經(jīng)網(wǎng)絡(luò)

1、第六章競爭神經(jīng)網(wǎng)絡(luò)2概述概述競爭神經(jīng)網(wǎng)絡(luò)在無教師信息的情況下能夠自組競爭神經(jīng)網(wǎng)絡(luò)在無教師信息的情況下能夠自組織地挖掘輸入信息的特征，以便對輸入進行聚織地挖掘輸入信息的特征，以便對輸入進行聚類處理。類處理。此類神經(jīng)網(wǎng)絡(luò)經(jīng)常被用來作為前處理單元此類神經(jīng)網(wǎng)絡(luò)經(jīng)常被用來作為前處理單元 (preprocessing unit)(preprocessing unit)，以便抽取出輸入信息，以便抽取出輸入信息的特征，或?qū)⑤斎胄畔⑹噶苛炕奶卣?，或?qū)⑤斎胄畔⑹噶苛炕?(vector (vector quantization) quantization) 之后再進行監(jiān)督式學(xué)習(xí)。之后再進行監(jiān)督式學(xué)習(xí)。 3概述概述

2、神經(jīng)網(wǎng)絡(luò)有兩種實現(xiàn)非監(jiān)督式學(xué)習(xí)的方式：神經(jīng)網(wǎng)絡(luò)有兩種實現(xiàn)非監(jiān)督式學(xué)習(xí)的方式： HebbianHebbian規(guī)則規(guī)則 通常不是被用來分析輸入信息間的聚通常不是被用來分析輸入信息間的聚類關(guān)系或分類關(guān)系，類關(guān)系或分類關(guān)系，而是而是測量輸入信息間的相似性或測量輸入信息間的相似性或分析輸入信息中的主要成分向量分析輸入信息中的主要成分向量 (principle (principle components)components)”。 競爭學(xué)習(xí)規(guī)則競爭學(xué)習(xí)規(guī)則 使用競爭學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，只有其使用競爭學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，只有其中的一個神經(jīng)元會被激活。該神經(jīng)元就稱為勝者中的一個神經(jīng)元會被激活。該神經(jīng)元就稱為勝者 (w

3、inner)(winner)”。這種神經(jīng)網(wǎng)絡(luò)通常用來做聚類分析。即在。這種神經(jīng)網(wǎng)絡(luò)通常用來做聚類分析。即在無先驗知識的情況下，發(fā)現(xiàn)或挖掘輸入信息本身的結(jié)無先驗知識的情況下，發(fā)現(xiàn)或挖掘輸入信息本身的結(jié)構(gòu)及聚類關(guān)系。構(gòu)及聚類關(guān)系。 4概述概述基于競爭學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)常被用作樣本特征檢測基于競爭學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)常被用作樣本特征檢測器，在樣本排序、樣本聚類、樣本分類、樣本檢器，在樣本排序、樣本聚類、樣本分類、樣本檢測和樣本分布特征可視化等方面有廣泛地應(yīng)用測和樣本分布特征可視化等方面有廣泛地應(yīng)用典型的競爭神經(jīng)網(wǎng)絡(luò)有：典型的競爭神經(jīng)網(wǎng)絡(luò)有： ART (Adaptive Resonance Theory) SO

4、FM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network)5Competitive Learningn競爭學(xué)習(xí)的概念競爭學(xué)習(xí)的概念設(shè)訓(xùn)練模式集合為x1, x2, xp，所有這些模式分別屬于按某種標準設(shè)定的m類模式之一（無先驗知識）通過競爭學(xué)習(xí)，網(wǎng)絡(luò)實現(xiàn)自組織模式分類。每個輸出結(jié)點代表某一類模式，具體哪一個結(jié)點對應(yīng)于哪具體哪一個結(jié)點對應(yīng)于哪一類模式不是事先指定的，需要競爭而出。一類模式不是事先指定的，需要競爭而出。每個節(jié)點就像一個pattern

5、 detector或feature detector，對輸入的解釋是通過有無相應(yīng)節(jié)點表示對輸入的解釋是通過有無相應(yīng)節(jié)點表示，而不是相應(yīng)幅度或輸入輸出變換（象前饋網(wǎng)絡(luò)或，而不是相應(yīng)幅度或輸入輸出變換（象前饋網(wǎng)絡(luò)或反饋網(wǎng)絡(luò)）反饋網(wǎng)絡(luò)）與該結(jié)點相連的權(quán)向量包含了該類模式的基本信息與該結(jié)點相連的權(quán)向量包含了該類模式的基本信息競爭學(xué)習(xí)及其特點競爭學(xué)習(xí)及其特點6n競爭學(xué)習(xí)目的競爭學(xué)習(xí)目的 競爭學(xué)習(xí)過程是對輸入矢量的聚類過程，是使得獲勝節(jié)點獲得最大響應(yīng)的過程，是使獲勝節(jié)點與輸入節(jié)點之間的權(quán)矢獲勝節(jié)點與輸入節(jié)點之間的權(quán)矢量逐漸逼近輸入矢量。量逐漸逼近輸入矢量。 當訓(xùn)練結(jié)束后，對于某類輸入模式P，一定有一個網(wǎng)絡(luò)

6、輸出節(jié)點有最大響應(yīng)（輸出值為1），其余輸出節(jié)點無響應(yīng)（輸出值為0）。該最大響應(yīng)輸出節(jié)點與輸入節(jié)點之間的權(quán)矢量該最大響應(yīng)輸出節(jié)點與輸入節(jié)點之間的權(quán)矢量等于或代表此輸入矢量。等于或代表此輸入矢量。Competitive Learning7Competitive Learning x1 x2 x3 - xn y1 y2 y3 - ym競爭層競爭層輸入層輸入層-每個輸入節(jié)點與每個輸出節(jié)點全連接-競爭層的每一個節(jié)點接受一個輸入加權(quán)和 競爭網(wǎng)絡(luò)結(jié)構(gòu)競爭網(wǎng)絡(luò)結(jié)構(gòu)8Competitive Learningn 競爭學(xué)習(xí)過程競爭學(xué)習(xí)過程 “winner takes all”l確定確定winner winner (

7、competitive phase) (competitive phase) ：按一定的準則計：按一定的準則計 算每個輸出節(jié)點與輸入節(jié)點之間的權(quán)矢量與輸入矢量之算每個輸出節(jié)點與輸入節(jié)點之間的權(quán)矢量與輸入矢量之間的逼近度間的逼近度, ,最逼近的為最逼近的為winner.winner.l調(diào)整權(quán)矢量調(diào)整權(quán)矢量(reward phase)(reward phase) ：按一定的準則調(diào)整：按一定的準則調(diào)整 winnerwinner的權(quán)矢量的權(quán)矢量In simple competitive learning ，only the winner is allowed to learn (change its

8、weight). In self-organizing maps， winner and other neurons in the neighborhood of the winner may learn.9 competitive learning1p2y1y2ymx1x2xn.xwxwyTin1jjiji XWmaxXWif,yTkm,1kTii 為勝者XWminXWifykm,1kii 為勝者，當權(quán)重歸一化時，兩個判斷式是等效的確定確定Winneror10competitive learning權(quán)重調(diào)整： ncompetitio theloses neuron if ncompetiti

9、o the winsneuron if ii, 0),wx(wijjij11Competitive LearningSimple Competitive Learning1212. 052. 0X81. 027. 01W 70. 042. 02W 21. 043. 03W Competitive Learning13nWe find the winning (best-matching) neuron jX using the minimum-distance Euclidean criterion:221221111)()(wxwxd73. 0)81. 012. 0 ()27. 052. 0

10、 (22222221212)()(wxwxd59. 0)70. 012. 0 ()42. 052. 0 (22223221313)()(wxwxd13. 0)21. 012. 0 ()43. 052. 0 (22nNeuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule. 0.01 )43. 052. 0 ( 1 . 0)( 13113wxw0.01 )21. 012. 0 ( 1 . 0)( 23223wxw Competitive Learnin

11、g14nThe updated weight vector W3 at iteration (p + 1) is determined as:nThe weight vector W3 of the wining neuron 3 becomes closer to the input vector X with each iteration.20. 044. 001. 00.01 21. 043. 0)()() 1(333pppWWW Competitive Learning15Competitive Learning Compress (encode)輸入矢量 x 映射到一個輸出節(jié)點（co

12、de-word ） Decompress (decode)輸出節(jié)點（code-word ） 映射到對應(yīng)的權(quán)矢量（ code-book vector） 有損壓縮有損壓縮Data Compression16 競爭學(xué)習(xí)網(wǎng)絡(luò)的局限性：競爭學(xué)習(xí)網(wǎng)絡(luò)的局限性： 一般競爭網(wǎng)絡(luò)適用于具有典型聚類特性的大量數(shù)據(jù)的辨識，但當遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡(luò)就無能為力了，這時可以采用SOFM網(wǎng)絡(luò)來解決。 SOFM網(wǎng)絡(luò)也采用競爭學(xué)習(xí)方法，但強調(diào)鄰域的作用。因此，相應(yīng)的競爭策略略有不同，即不但獲勝者而且其鄰域的神經(jīng)元也調(diào)整權(quán)重。 SOFM模型模型17SOFM模型模型自組織特征映射網(wǎng)絡(luò)（自組織特征映射網(wǎng)絡(luò)（S

13、OFM) 借鑒了上述生理機制，將輸入矢量的特征以有意義的拓撲借鑒了上述生理機制，將輸入矢量的特征以有意義的拓撲結(jié)構(gòu)映射在輸出層上。即在輸入特征空間相鄰的矢量映射結(jié)構(gòu)映射在輸出層上。即在輸入特征空間相鄰的矢量映射后，其輸出層響應(yīng)節(jié)點形成在拓撲幾何意義上的后，其輸出層響應(yīng)節(jié)點形成在拓撲幾何意義上的 相鄰。相鄰。 當隨機樣本輸入到當隨機樣本輸入到SOFMSOFM網(wǎng)絡(luò)時，如果樣本足夠多，那么在網(wǎng)絡(luò)時，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機樣本的概率密度分布，在輸權(quán)值分布上可近似于輸入隨機樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出神經(jīng)元上也反映了這種分布，即概

14、率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域。出空間的某一個區(qū)域或各個不同的區(qū)域。 一般而言，一般而言，SOFMSOFM網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性18SOFM模型模型 輸入層和輸出層（競爭層）輸入層和輸出層（競爭層） 輸入為輸入為 ，輸出可，輸出可 以是任意維，以是任意維， 但一般取二維但一般取二維 其其 中分布中分布m m個神經(jīng)元。個神經(jīng)元。 輸入節(jié)點輸入節(jié)點i i通過權(quán)值通過權(quán)值 與輸出層與輸出層 的的m m個節(jié)點連接，每個輸出節(jié)點個節(jié)點連接，每個輸出節(jié)點j j 對應(yīng)一

15、組權(quán)向量對應(yīng)一組權(quán)向量： Tn21x,x,xtX ijw TjjjjwwwtWn21,iijijxwfon1 節(jié)點節(jié)點j j輸出：輸出： 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)19SOFM模型模型激活函數(shù)激活函數(shù) 腦神經(jīng)元化分成不同的功能區(qū)域。這種體現(xiàn)了拓撲幾何意義相關(guān)的區(qū)域的形成與神經(jīng)元之間的側(cè)向聯(lián)結(jié)（laterallateral connections ）相關(guān)。側(cè)向聯(lián)結(jié)可用一種Mexican hat function 來描述。20SOFM模型模型 For a given node, 近鄰神經(jīng)元互相激勵近鄰神經(jīng)元互相激勵 (mutually excitatory , w 0)(mutually excitator

16、y , w 0) 遠離神經(jīng)元互相抑制遠離神經(jīng)元互相抑制 (mutually inhibitory,w 0)(mutually inhibitory,w 0) 很遠距離的神經(jīng)元（很遠距離的神經(jīng)元（irrelevant irrelevant ，w = 0)w = 0) 可以用“鄰域”(neighborhood)作用來實現(xiàn)復(fù)雜的側(cè)向反饋21SOFM模型模型 學(xué)習(xí)：學(xué)習(xí)： n SOFM是競爭網(wǎng)絡(luò)中的一種。它也是通過自組織方法，用樣本數(shù)據(jù)來調(diào)整網(wǎng)絡(luò)的權(quán)值，使得權(quán)重成為能反映使得權(quán)重成為能反映輸入分布特征的矢量。輸入分布特征的矢量。n 考慮到鄰域的作用，權(quán)重調(diào)整策略要有所變化，僅靠 “winner tak

17、es allwinner takes all” 的競爭學(xué)習(xí)方法無法發(fā)展出拓撲映射圖22SOFM模型模型為了能使二維輸出平面上相鄰的輸出結(jié)點對相近的輸入模式類作出特別反應(yīng)，在訓(xùn)練過程中需定義獲勝結(jié)點的鄰域結(jié)點。假設(shè)本次獲勝結(jié)點為Nj，它在t時刻的鄰域結(jié)點用NEj(t)表示，NEj(t)包含以結(jié)點Nj為中心而距離不超過某一半徑的所有結(jié)點。隨著訓(xùn)練的進行， NEj(t)的半徑逐漸縮小，最后只包含獲勝結(jié)點Nj自身，即在訓(xùn)練初始階段，不但對獲勝的結(jié)點做權(quán)值調(diào)整，也對其較大范圍內(nèi)的幾何鄰接結(jié)點做相應(yīng)的調(diào)整，而隨著訓(xùn)練過程的繼續(xù)，與輸出結(jié)點相連的權(quán)向量也越來越接近其代表的模式類。在訓(xùn)練結(jié)束后，幾何上相近的輸

18、出結(jié)點所連接的權(quán)向量既有聯(lián)系（類似性）又互相區(qū)別，從而保證對于某一類輸入模式，獲勝結(jié)點能做出最大響應(yīng)，而相鄰結(jié)點做出較大響應(yīng)。23SOFM模型模型在競爭學(xué)習(xí)過程中，通過鄰域的作用逐漸地在競爭學(xué)習(xí)過程中，通過鄰域的作用逐漸地擴大排他性，最終僅一個神經(jīng)元競爭獲勝擴大排他性，最終僅一個神經(jīng)元競爭獲勝24競爭學(xué)習(xí)算法競爭學(xué)習(xí)算法初始化：對各節(jié)點的權(quán)賦以小的隨機數(shù)作為初始值 歸一化權(quán)值和輸入樣本 定初始領(lǐng)域 ，學(xué)習(xí)速率 ，迭代總數(shù)T，t=0 隨機選取某樣本輸入 競爭：在輸出節(jié)點中計算尋找最佳匹配節(jié)點C ,即其權(quán)向量與 的 歐氏距離最?。?;, 1,0piwjimj, 1 0cN 0 txtxtxtXp2

19、1,tX tWtXtWtXjcmin tWj為為p p維向量維向量 21pijiijtwtxtWtX其中 注：當輸入向量和權(quán)向量均為歸一化向量時，神經(jīng)元輸出的內(nèi)注：當輸入向量和權(quán)向量均為歸一化向量時，神經(jīng)元輸出的內(nèi)積最大等價與輸入向量和權(quán)向量的歐氏距離最小積最大等價與輸入向量和權(quán)向量的歐氏距離最小25競爭學(xué)習(xí)算法競爭學(xué)習(xí)算法 更新：對獲勝神經(jīng)元c及拓撲領(lǐng)域 中的所有節(jié)點的權(quán)值： tNc tWtXttWtWjjj1 twtxttwtwjiijiji1或 tNjc tWtWjj1 tNjc Ttt10 更新學(xué)習(xí)速率： TtNINTtNcc10更新拓撲鄰域： 判斷迭代次數(shù)t是否大于或等于T，若是則結(jié)

20、束，否則轉(zhuǎn)向26競爭學(xué)習(xí)算法競爭學(xué)習(xí)算法算法的幾點說明：算法的幾點說明： t tNcl學(xué)習(xí)常數(shù) 和領(lǐng)域 大小要在學(xué)習(xí)的過程中調(diào)整 t對 而言，在迭代的前期，取值約為1，然后逐漸減少，建議用 Nttt11其中，t為迭代數(shù)，N為迭代總數(shù)。接近收斂階段，應(yīng)取0.01小數(shù)（細調(diào)）。 tNc tNc對 而言，領(lǐng)域可取方形或六角形。開始時， 較大，可包含全部節(jié)點。然后逐漸減少，建議用： NttNtNcc1int1最后收斂到只含中心本身。l 歸一化處理：對輸入向量和權(quán)向量歸一化，以確保通過歐氏距離最小條件選取的獲勝神經(jīng)元具有最大輸出。 tXtXtX tWtWtWjjj27SOFM模型模型競爭層神經(jīng)元（100

21、個）排列成1010的二維矩陣。二維輸入矢量 以均勻概率均勻概率分布在正方形平面。特征映射圖： 隨機初始權(quán)向量經(jīng)過50次迭代后的權(quán)向量分布28經(jīng)過100次迭代后的權(quán)向量分布經(jīng)過10000次迭代后的權(quán)向量分布SOFM模型模型29SOFM模型模型如果輸入均勻分布在三角形區(qū)域，網(wǎng)絡(luò)經(jīng)充分訓(xùn)練后，可得到如右的拓撲映射圖。 如果把1010的二維矩陣改變成1001的一維結(jié)構(gòu)，則得到右圖的拓撲映射圖。 30SOFM的優(yōu)缺點的優(yōu)缺點優(yōu)點優(yōu)點:- excellent for classification problems- can greatly reduce computational complexity-

22、high sensitivity to frequent inputs- new ways of associating related data- no need of supervised learning rulesSOFM模型模型31缺點缺點:- system is a black box- error rate may be unacceptable no guarantee of network convergence for higher dimension networks- many problems cant be effectively represented by a

23、SOFM- a large training set may be required- for large classification problems, training can be lengthySOFM模型模型32學(xué)習(xí)矢量量化學(xué)習(xí)矢量量化LVQ(Learning Vector Quantization)33概述概述 矢量量化是標量量化概念的擴展，適用于高維數(shù)矢量量化是標量量化概念的擴展，適用于高維數(shù)據(jù)。把高維數(shù)據(jù)離散化，鄰近區(qū)域看作同一量化據(jù)。把高維數(shù)據(jù)離散化，鄰近區(qū)域看作同一量化等級，用其中心值代表。其算法可視為一種逐次等級，用其中心值代表。其算法可視為一種逐次聚類的算法，聚類中心是該類的代表（稱為碼聚類的算法，聚類中心是該類的代表（稱為