人工神經(jīng)網(wǎng)絡(luò)綜述.doc

人工神經(jīng)網(wǎng)絡(luò)綜述摘要本文使用通谷易懂的語(yǔ)言從物理概念上深入淺出地介紹了人工神經(jīng)網(wǎng)絡(luò)的工作原理、特點(diǎn)及幾種典型神經(jīng)網(wǎng)絡(luò)，避免出現(xiàn)繁瑣的公式及數(shù)學(xué)推導(dǎo)。希望能通過(guò)本文引起廣大科研工作者對(duì)人工神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)和重視。1 神經(jīng)元模型的提出“人工神經(jīng)網(wǎng)絡(luò)”(ARTIFICIAL NEURAL NETWORK，簡(jiǎn)稱A.N.N.)是在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)智的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。早在本世紀(jì)40年代初期，心理學(xué)家McCulloch、數(shù)學(xué)家Pitts就提出了人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型，從此開(kāi)創(chuàng)了神經(jīng)科學(xué)理論的研究時(shí)代。其后，F(xiàn).Rosenblatt、Widrow和Hopf、J.J.Hopfield等學(xué)者又先后提出了感知模型，使得人工神經(jīng)網(wǎng)絡(luò)技術(shù)得以蓬勃發(fā)展。神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的一個(gè)大腦一般有10101011個(gè)神經(jīng)元。如圖1所示，每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹(shù)突組成。軸突的功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元。其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。樹(shù)突的功能是接受來(lái)自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接受到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理(如：加權(quán)求和，即對(duì)所有的輸入信號(hào)都加以考慮且對(duì)每個(gè)信號(hào)的重視程度體現(xiàn)在權(quán)值上有所不同)后由軸突輸出。神經(jīng)元的樹(shù)突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱為突觸。圖1 神經(jīng)元結(jié)構(gòu)圖圖2 神經(jīng)元模型對(duì)應(yīng)于圖1，可以很容易的建立起神經(jīng)元的模型，如圖2所示。大腦之所以能夠處理極其復(fù)雜的分析、推理工作，一方面是因?yàn)槠渖窠?jīng)元個(gè)數(shù)的龐大，另一方面還在于神經(jīng)元能夠?qū)斎胄盘?hào)進(jìn)行非線性處理。因此，對(duì)圖2可進(jìn)一步建立起更接近于工程的數(shù)學(xué)模型，如圖3所示，它是一個(gè)多輸入單輸出的非線性器件。其中的權(quán)值W即代表神經(jīng)元之間的連接強(qiáng)度，f(x)為非線性函數(shù)。圖3 神經(jīng)元的數(shù)學(xué)模型2 人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫(xiě)“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。如果輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后，經(jīng)過(guò)網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái)，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛互連而成的系統(tǒng)，它的這一結(jié)構(gòu)特點(diǎn)決定著人工神經(jīng)網(wǎng)絡(luò)具有高速信息處理的能力。人腦的每個(gè)神經(jīng)元大約有103104個(gè)樹(shù)突及相應(yīng)的突觸，一個(gè)人的大腦總計(jì)約形成10141015個(gè)突觸。用神經(jīng)網(wǎng)絡(luò)的術(shù)語(yǔ)來(lái)說(shuō)，即是人腦具有10141015個(gè)互相連接的存儲(chǔ)潛力。雖然每個(gè)神經(jīng)元的運(yùn)算功能十分簡(jiǎn)單，且信號(hào)傳輸速率也較低(大約100次/秒)，但由于各神經(jīng)元之間的極度并行互連功能，最終使得一個(gè)普通人的大腦在約1秒內(nèi)就能完成現(xiàn)行計(jì)算機(jī)至少需要數(shù)10億次處理步驟才能完成的任務(wù)。人工神經(jīng)網(wǎng)絡(luò)的知識(shí)存儲(chǔ)容量很大。在神經(jīng)網(wǎng)絡(luò)中，知識(shí)與信息的存儲(chǔ)表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系。它分散地表示和存儲(chǔ)于整個(gè)網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上。每個(gè)神經(jīng)元及其連線只表示一部分信息，而不是一個(gè)完整具體概念。只有通過(guò)各神經(jīng)元的分布式綜合效果才能表達(dá)出特定的概念和知識(shí)。由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)眾多以及整個(gè)網(wǎng)絡(luò)存儲(chǔ)信息容量的巨大，使得它具有很強(qiáng)的不確定性信息處理能力。即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能夠聯(lián)想思維存在于記憶中的事物的完整圖象。只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出正確的推理結(jié)論。正是因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)和其信息存儲(chǔ)的分布式特點(diǎn)，使得它相對(duì)于其它的判斷識(shí)別系統(tǒng)，如：專家系統(tǒng)等，具有另一個(gè)顯著的優(yōu)點(diǎn)：健壯性。生物神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)閭€(gè)別神經(jīng)元的損失而失去對(duì)原有模式的記憶。最有力的證明是，當(dāng)一個(gè)人的大腦因意外事故受輕微損傷之后，并不會(huì)失去原有事物的全部記憶。人工神經(jīng)網(wǎng)絡(luò)也有類似的情況。因某些原因，無(wú)論是網(wǎng)絡(luò)的硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)中的某個(gè)或某些神經(jīng)元失效，整個(gè)網(wǎng)絡(luò)仍然能繼續(xù)工作。人工神經(jīng)網(wǎng)絡(luò)同現(xiàn)行的計(jì)算機(jī)不同，是一種非線性的處理單元。只有當(dāng)神經(jīng)元對(duì)所有的輸入信號(hào)的綜合處理結(jié)果超過(guò)某一門(mén)限值后才輸出一個(gè)信號(hào)。因此神經(jīng)網(wǎng)絡(luò)是一種具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力學(xué)系統(tǒng)。它突破了傳統(tǒng)的以線性處理為基礎(chǔ)的數(shù)字電子計(jì)算機(jī)的局限，標(biāo)志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。4 幾種典型神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介(1)多層感知網(wǎng)絡(luò)(誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò))：在1986年以Rumelhart和McCelland為首的科學(xué)家出版的Parallel Distributed Processing一書(shū)中，完整地提出了誤差逆?zhèn)鞑W(xué)習(xí)算法，并被廣泛接受。多層感知網(wǎng)絡(luò)是一種具有三層或三層以上的階層型神經(jīng)網(wǎng)絡(luò)。典型的多層感知網(wǎng)絡(luò)是三層、前饋的階層網(wǎng)絡(luò)，即：輸入層I、隱含層(也稱中間層)J、輸出層K，如圖4。相鄰層之間的各神經(jīng)元實(shí)現(xiàn)全連接，即下一層的每一個(gè)神經(jīng)元與上一層的每個(gè)神經(jīng)元都實(shí)現(xiàn)全連接，而且每層各神經(jīng)元之間無(wú)連接。圖4 多層感知網(wǎng)絡(luò)結(jié)構(gòu)圖學(xué)習(xí)規(guī)則及過(guò)程：它以一種有教師示教的方式進(jìn)行學(xué)習(xí)。首先由教師對(duì)每一種輸入模式設(shè)定一個(gè)期望輸出值。然后對(duì)網(wǎng)絡(luò)輸入實(shí)際的學(xué)習(xí)記憶模式，并由輸入層經(jīng)中間層向輸出層傳播(稱為“模式順傳播”)。實(shí)際輸出與期望輸出的差即是誤差。按照誤差平方最小這一規(guī)則，由輸出層往中間層逐層修正連接權(quán)值，此過(guò)程稱為“誤差逆?zhèn)鞑ァ?。所以誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)也簡(jiǎn)稱BP(Back Propagation)網(wǎng)。隨著“模式順傳播”和“誤差逆?zhèn)鞑ァ边^(guò)程的交替反復(fù)進(jìn)行。網(wǎng)絡(luò)的實(shí)際輸出逐漸向各自所對(duì)應(yīng)的期望輸出逼近，網(wǎng)絡(luò)對(duì)輸入模式的響應(yīng)的正確率也不斷上升。通過(guò)此學(xué)習(xí)過(guò)程，確定下來(lái)各層間的連接權(quán)值之后就可以工作了。由于BP網(wǎng)及誤差逆?zhèn)鞑ニ惴ň哂兄虚g隱含層并有相應(yīng)的學(xué)習(xí)規(guī)則可尋，使得它具有對(duì)非線性模式的識(shí)別能力。特別是其數(shù)學(xué)意義明確、步驟分明的學(xué)習(xí)算法，更使其具有廣泛的應(yīng)用前景。目前，在手寫(xiě)字體的識(shí)別、語(yǔ)音識(shí)別、文本語(yǔ)言轉(zhuǎn)換、圖象識(shí)別以及生物醫(yī)學(xué)信號(hào)處理方面已有實(shí)際的應(yīng)用。但BP網(wǎng)并不是十分的完善，它存在以下一些主要缺陷：學(xué)習(xí)收斂速度太慢、網(wǎng)絡(luò)的學(xué)習(xí)記憶具有不穩(wěn)定性，即：當(dāng)給一個(gè)訓(xùn)練好的網(wǎng)提供新的學(xué)習(xí)記憶模式時(shí)，將使已有的連接權(quán)值被打亂，導(dǎo)致已記憶的學(xué)習(xí)模式的信息的消失。(2)競(jìng)爭(zhēng)型(KOHONEN)神經(jīng)網(wǎng)絡(luò)：它是基于人的視網(wǎng)膜及大腦皮層對(duì)剌激的反應(yīng)而引出的。神經(jīng)生物學(xué)的研究結(jié)果表明：生物視網(wǎng)膜中，有許多特定的細(xì)胞，對(duì)特定的圖形(輸入模式)比較敏感，并使得大腦皮層中的特定細(xì)胞產(chǎn)生大的興奮，而其相鄰的神經(jīng)細(xì)胞的興奮程度被抑制。對(duì)于某一個(gè)輸入模式，通過(guò)競(jìng)爭(zhēng)在輸出層中只激活一個(gè)相應(yīng)的輸出神經(jīng)元。許多輸入模式，在輸出層中將激活許多個(gè)神經(jīng)元，從而形成一個(gè)反映輸入數(shù)據(jù)的“特征圖形”。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種以無(wú)教師方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)。它通過(guò)自身訓(xùn)練，自動(dòng)對(duì)輸入模式進(jìn)行分類。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)規(guī)則與其它類型的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)規(guī)則相比，有其自己的鮮明特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它既不象階層型神經(jīng)網(wǎng)絡(luò)那樣各層神經(jīng)元之間只有單向連接，也不象全連接型網(wǎng)絡(luò)那樣在網(wǎng)絡(luò)結(jié)構(gòu)上沒(méi)有明顯的層次界限。它一般是由輸入層(模擬視網(wǎng)膜神經(jīng)元)和競(jìng)爭(zhēng)層(模擬大腦皮層神經(jīng)元，也叫輸出層)構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全連接，而且網(wǎng)絡(luò)中沒(méi)有隱含層，如圖5。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的基本思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者，并且只將與獲勝神經(jīng)元有關(guān)的各連接權(quán)值進(jìn)行修正，使之朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整。神經(jīng)網(wǎng)絡(luò)工作時(shí)，對(duì)于某一輸入模式，網(wǎng)絡(luò)中與該模式最相近的學(xué)習(xí)輸入模式相對(duì)應(yīng)的競(jìng)爭(zhēng)層神經(jīng)元將有最大的輸出值，即以競(jìng)爭(zhēng)層獲勝神經(jīng)元來(lái)表示分類結(jié)果。這是通過(guò)競(jìng)爭(zhēng)得以實(shí)現(xiàn)的，實(shí)際上也就是網(wǎng)絡(luò)回憶聯(lián)想的過(guò)程。圖5 KOHONEN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖除了競(jìng)爭(zhēng)的方法外，還有通過(guò)抑制手段獲取勝利的方法，即網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元抑制所有其它神經(jīng)元對(duì)輸入模式的響應(yīng)機(jī)會(huì)，從而使自己“脫穎而出”，成為獲勝神經(jīng)元。除此之外還有一種稱為側(cè)抑制的方法，即每個(gè)神經(jīng)元只抑制與自己鄰近的神經(jīng)元，而對(duì)遠(yuǎn)離自己的神經(jīng)元不抑制。這種方法常常用于圖象邊緣處理，解決圖象邊緣的缺陷問(wèn)題。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)和不足：因?yàn)樗鼉H以輸出層中的單個(gè)神經(jīng)元代表某一類模式。所以一旦輸出層中的某個(gè)輸出神經(jīng)元損壞，則導(dǎo)致該神經(jīng)元所代表的該模式信息全部丟失。(3)Hopfield神經(jīng)網(wǎng)絡(luò)：1986年美國(guó)物理學(xué)家J.J.Hopfield陸續(xù)發(fā)表幾篇論文，提出了Hopfield神經(jīng)網(wǎng)絡(luò)。他利用非線性動(dòng)力學(xué)系統(tǒng)理論中的能量函數(shù)方法研究反饋人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，并利用此方法建立求解優(yōu)化計(jì)算問(wèn)題的系統(tǒng)方程式?；镜腍opfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)，如圖6。圖6 含有四個(gè)神經(jīng)元的Hopfield網(wǎng)絡(luò)結(jié)構(gòu)圖圖7 Hopfield網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)圖網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過(guò)連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過(guò)來(lái)的信息。即：網(wǎng)絡(luò)中的神經(jīng)元t時(shí)刻的輸出狀態(tài)實(shí)際上間接地與自己的t-1時(shí)刻的輸出狀態(tài)有關(guān)。所以Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型的網(wǎng)絡(luò)。其狀態(tài)變化可以用差分方程來(lái)表征。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。這里的能量函數(shù)不是物理意義上的能量函數(shù)，而是在表達(dá)形式上與物理意義上的能量概念一致，表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。如果把一個(gè)最優(yōu)化問(wèn)題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問(wèn)題。Hopfield工作時(shí)其各個(gè)神經(jīng)元的連接權(quán)值是固定的，更新的只是神經(jīng)元的輸出狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)的運(yùn)行規(guī)則為：首先從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元ui，按照公式(1)進(jìn)行加權(quán)求和，再按公式(2)計(jì)算ui的第t+1時(shí)刻的輸出值。除ui以外的所有神經(jīng)元的輸出值保持不變，返回至第一步，直至網(wǎng)絡(luò)進(jìn)入穩(wěn)定狀態(tài)。對(duì)于同樣結(jié)構(gòu)的網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)參數(shù)(指連接權(quán)值和閥值)有所變化時(shí)，網(wǎng)絡(luò)能量函數(shù)的極小點(diǎn)(稱為網(wǎng)絡(luò)的穩(wěn)定平衡點(diǎn))的個(gè)數(shù)和極小值的大小也將變化。因此，可以把所需記憶的模式設(shè)計(jì)成某個(gè)確定網(wǎng)絡(luò)狀態(tài)的一個(gè)穩(wěn)定平衡點(diǎn)。若網(wǎng)絡(luò)有M個(gè)平衡點(diǎn)，則可以記憶M個(gè)記憶模式。當(dāng)網(wǎng)絡(luò)從與記憶模式較靠近的某個(gè)初始狀態(tài)(相當(dāng)于發(fā)生了某些變形或含有某些噪聲的記憶模式，也即：只提供了某個(gè)模式的部分信息)出發(fā)后，網(wǎng)絡(luò)按Hopfield工作運(yùn)行規(guī)則進(jìn)行狀態(tài)更新，最后網(wǎng)絡(luò)的狀態(tài)將穩(wěn)定在能量函數(shù)的極小點(diǎn)。這樣就完成了由部分信息的聯(lián)想過(guò)程。Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)是朝著梯度減小的方向變化，但它仍然存在一個(gè)問(wèn)題，那就是一旦能量函數(shù)陷入到局部極小值，它將不能自動(dòng)跳出局部極小點(diǎn)，到達(dá)全局最小點(diǎn)，因而無(wú)法求得網(wǎng)