計算機(jī)前沿研究之人工神經(jīng)網(wǎng)絡(luò)

計算機(jī)前沿研究之人工神經(jīng)網(wǎng)絡(luò)

摘要：現(xiàn)代計算機(jī)有很強(qiáng)的計算和信息處理能力，但是它對于模式識別、感知和在

復(fù)雜環(huán)境中作決策等問題的處理能力卻遠(yuǎn)遠(yuǎn)不如人，特別是它只能按人事先編好的

程序機(jī)械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力.人們也知道人腦的工作方式

與現(xiàn)在的計算機(jī)是不同的，人腦是由極大量神經(jīng)元組成，神經(jīng)元之間經(jīng)過復(fù)雜的相

連組成一個復(fù)雜的、非線性的、并行處理的信息處理系統(tǒng).巨大的神經(jīng)元使人腦處

理較快，從而使人們思考時候利用計算機(jī)較強(qiáng)的處理能力模擬神經(jīng)網(wǎng)絡(luò).

關(guān)鍵字：論文；計算機(jī)；發(fā)展前沿；神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)就是指為了模擬生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng).人工

神經(jīng)網(wǎng)絡(luò)以對大腦的生理研究成果為基礎(chǔ)，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某

方面的功能.本文主要從以下四方面介紹人工神經(jīng)網(wǎng)絡(luò).

1引言

本世紀(jì)初，科學(xué)家們就一直探究大腦構(gòu)筑函數(shù)和思維運(yùn)行機(jī)理.特別是近二十年來.對

大腦有關(guān)的感覺器官的仿生做了不少工作，人腦含有數(shù)億個神經(jīng)元，并以特殊的復(fù)雜形式組

成在一起，它能夠在計算某些問題（如難以用數(shù)學(xué)描述或非確定性問題等）時，比目前最快

的計算機(jī)還要快許多倍.大腦的信號傳導(dǎo)速度要比電子元件的信號傳導(dǎo)要慢百萬倍，然而大

腦的信息處理速度比電子元件的處理速度快許多倍，因此科學(xué)家推測大腦的信息處理方式和

思維方式是非常復(fù)雜的，是一個復(fù)雜并行信息處理系統(tǒng).1943年McCulloch和Pitts結(jié)合了

神經(jīng)生理學(xué)和數(shù)理邏輯的研究描述了一個神經(jīng)網(wǎng)絡(luò)的邏輯演算.他們的神經(jīng)元模型假定遵循

一種所謂“有或無"（all-or-none）規(guī)則,如果如此簡單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置突觸

連接并且同步操作,McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計算任何可計算的函

數(shù)，這標(biāo)志著神經(jīng)網(wǎng)絡(luò)學(xué)科的誕生.

2什么是神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks,簡寫為ANN或ANNs）是指為了模擬生物大

腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng).人工神經(jīng)網(wǎng)絡(luò)是一個并行的、分布處理結(jié)構(gòu),

是由處理單元（人工神經(jīng)元）及連接的無向訊號通道互連組成的網(wǎng)絡(luò).它是從微觀結(jié)構(gòu)和功

能上對人腦的抽象、簡化，是模擬人類智能的一?條重要途徑，反映了人腦功能的若干基本特

征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等.神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識、模式識別、

智能控制、預(yù)測等領(lǐng)域有著廣泛而誘人的前景.簡單地講，他是一種數(shù)學(xué)模型，可以用電子

線路來實(shí)現(xiàn)，也可以用計算機(jī)程序來模擬，是人工智能研究的一種方法.傳統(tǒng)的人工智能技

術(shù)是基于物理符號系統(tǒng)的，而人工神經(jīng)網(wǎng)絡(luò)技術(shù)是基于聯(lián)接主義觀點(diǎn)的.

人工神經(jīng)網(wǎng)絡(luò)是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特征的抽象和模擬.人工神經(jīng)網(wǎng)絡(luò)是對

大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某方面的功

能.國際著名神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人Hecht-Nielsen

給人工神經(jīng)網(wǎng)絡(luò)下的定義:“人工神經(jīng)網(wǎng)絡(luò)是由人工創(chuàng)立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng),

他通過對連續(xù)的或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理.”

知道了上面的介紹后我們需要理解下面的主要概念：

?神經(jīng)網(wǎng)絡(luò)是一個高度非線性動力學(xué)系統(tǒng).雖然每個神經(jīng)元的結(jié)構(gòu)和功能并不復(fù)雜,

但是神經(jīng)網(wǎng)絡(luò)的動態(tài)行為則是十分復(fù)雜的.因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實(shí)際物理世

界的各種現(xiàn)象；

?神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型.在人們對生物神經(jīng)系統(tǒng)進(jìn)

行研究，以探討人工智能的機(jī)制時，把神經(jīng)元數(shù)學(xué)化，就產(chǎn)生了神經(jīng)元數(shù)學(xué)模型；

?人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)源于人腦神經(jīng)系統(tǒng).了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對

人工神經(jīng)網(wǎng)絡(luò)的理解.大量的形式相同的神經(jīng)元連結(jié)在一起就組成了神經(jīng)網(wǎng)絡(luò)；

?人工神經(jīng)網(wǎng)絡(luò)的模型現(xiàn)在有數(shù)十種之多，應(yīng)用較多的神經(jīng)網(wǎng)絡(luò)模型有BP網(wǎng)絡(luò)、

Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò).

自從上世紀(jì)40年代初，美國McCulloch和Pitts從信息處理的角度，研究神經(jīng)細(xì)胞行為

的數(shù)學(xué)模型表達(dá)，提出了二值神經(jīng)元模型以來，人們對神經(jīng)網(wǎng)絡(luò)進(jìn)行了大量的研究.其中經(jīng)

歷了40年代末心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，50年代Rosenblatt提出的感知機(jī)

模型.60年代神經(jīng)網(wǎng)絡(luò)的研究低潮，80年代提出新的神經(jīng)網(wǎng)絡(luò)HNN和Boltzmann機(jī)等一系

列過程.目前，神經(jīng)網(wǎng)絡(luò)發(fā)展非常迅速，在許多方面已經(jīng)取得了很多成就.并應(yīng)用在許多重

要領(lǐng)域中.

3神經(jīng)元及其行為機(jī)理

神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元.神經(jīng)元是腦組織的基本單元，人腦是由大約io億個神經(jīng)

元組成的巨系統(tǒng).在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非完全相同.但是，無論結(jié)構(gòu)形式如何,

神經(jīng)元都是由一些基本的成分組成的.

3.1神經(jīng)元的解剖與主要介紹

神經(jīng)元的生物學(xué)解剖如圖2.1所示:

圖2.1

由圖中可以看出：神經(jīng)元是有細(xì)胞體、樹突和軸突三部分組成.

（1）細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成，是神經(jīng)元活動的能量供應(yīng)地，在

這里進(jìn)行新陳代謝等各種生化過程.

（2）軸突：由細(xì)胞體外伸出的最長的分支組成，是把神經(jīng)元興奮的信息傳出到其

他神經(jīng)元的出口，有興奮型和抑制型兩種.

（3）樹突：由細(xì)胞體外伸出的較短的分支組成，是接受其他神經(jīng)元傳入信息的入

口.

3.2神經(jīng)元的生物行為

根據(jù)生理學(xué)的研究發(fā)現(xiàn)，神經(jīng)元有4種生物行為:

?能出于抑制或興奮狀態(tài)；

?能產(chǎn)生爆發(fā)和平臺兩種情況；

?能產(chǎn)生抑制后的反沖；

?具有適應(yīng)性；

3.3突觸

突觸是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)，其結(jié)構(gòu)如圖2.3

所示：

圖2.3

由圖可知，突觸由突觸前成分、突觸間隙和突觸后成分組成.

突觸有以下四種生物行為：

?能進(jìn)行信息綜合；

?能產(chǎn)生漸次變化的傳送；

?有電接觸和化學(xué)接觸等多種連接方式；

?會產(chǎn)生延時激發(fā)

突觸有電接觸和化學(xué)接觸等多種連接方式.人工神經(jīng)網(wǎng)絡(luò)的研究主要是對神經(jīng)元的第一

種行為和突觸的第一種行為進(jìn)行模擬.所以，神經(jīng)網(wǎng)絡(luò)的研究只是處于初級階段，后面還有

大量的工作等待著人們?nèi)ヌ接懞脱芯?

4神經(jīng)元的數(shù)學(xué)模型

與神經(jīng)生理學(xué)類比，連接機(jī)制結(jié)構(gòu)的基本處理單元稱為神經(jīng)元.網(wǎng)絡(luò)的每一個神經(jīng)元模

型模擬一個生物神經(jīng)元，如圖3所示：

n

Z=1

圖3

下面是本文所用到的數(shù)學(xué)公式：

3.1

/=1

3.2

3.3

1+e

1-e-s

3.4

1+e

該神經(jīng)元單元由多個輸入（i=l,2,…,n）和一個輸出Y組成.中間狀態(tài)由輸入信號的權(quán)

和表示，而輸出為公式3.1所示.公式3.1中，。為神經(jīng)元單元的偏置（閾值），wi為連接

權(quán)系數(shù)（對于激發(fā)狀態(tài)，wi取正值，對于抑制狀態(tài)，wi取負(fù)值），n為輸入信號數(shù)目，Y為

神經(jīng)元輸出，f為輸出變換函數(shù)，有時叫做激發(fā)或激勵函數(shù)，往往采用0和1二值函數(shù)或S

形函數(shù)，這些函數(shù)都是連續(xù)和非線性的.一種二值函數(shù)可由公式3.2表示.一種常規(guī)的S形

函數(shù)可由公式3.3表示.常用雙曲正切函數(shù)來取代常規(guī)S形函數(shù)，因?yàn)镾形函數(shù)的輸出值均

為正值，而雙曲線正切函數(shù)的輸出值為可正可負(fù).雙曲正切函數(shù)如公式3.4所示.

4.1神經(jīng)網(wǎng)絡(luò)的工作過程

神經(jīng)網(wǎng)絡(luò)的工作過程如圖3.1.1所示:

目標(biāo)

4.2人工神經(jīng)網(wǎng)絡(luò)與計算機(jī)

人工神經(jīng)網(wǎng)絡(luò)的知識存儲容量很大.在神經(jīng)網(wǎng)絡(luò)中，知識與信息的存儲表現(xiàn)為神經(jīng)元之

間分布式的物理聯(lián)系.它分散地表示和存儲與整個網(wǎng)絡(luò)內(nèi)的各種神經(jīng)元及其連線上.每個神

經(jīng)元及其連線只表示一部分信息，而不是一個完整的具體概念.只有通過各神經(jīng)元的分布式

綜合效果才能表達(dá)出特定的概念和知識.

由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個數(shù)眾多、整個網(wǎng)絡(luò)存儲信息容量巨大，使它具有很強(qiáng)的不

確定性信息處理能力.即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能通過聯(lián)想

思維恢復(fù)存在于記憶中的事物的完整圖像.只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出

正確的推理結(jié)論.

5人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性

人工神經(jīng)網(wǎng)絡(luò)是一個模仿及延伸人腦功能的新型信息處理系統(tǒng)，他是由大量壘局、局部

或稀疏連接的簡單處理器組成非線性動力學(xué)網(wǎng)絡(luò)系統(tǒng).這是一種壘新的計算機(jī)結(jié)構(gòu)模型，他

完全不同于傳統(tǒng)的馮?諾依曼計算機(jī).

眾所周知，馮?諾依曼計算機(jī)是一種采用數(shù)理邏輯、基于圖靈模型的計算機(jī)體系，他擅

長于邏輯推理、樹立運(yùn)算等屬于抽象思維的計算.盡管這些計算功能大大促進(jìn)了科學(xué)技術(shù)的

發(fā)展，然而由于其本身結(jié)構(gòu)的局限性，使這類計算結(jié)構(gòu)對于人擅長的形象思維方面兒乎無能

為力，因而，從模仿人腦功能的角度出發(fā)來設(shè)計人工神經(jīng)網(wǎng)絡(luò)這種壘新的計算機(jī)結(jié)構(gòu)模型得

到了發(fā)展.一般來說，人工神經(jīng)網(wǎng)絡(luò)有以下突出的特點(diǎn)和優(yōu)越性：

?可以充分逼近任意復(fù)雜的非線性關(guān)系；

?所有定量或定性的信息都分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上，故有很強(qiáng)的魯

棒性和容錯性;

?采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能；

?可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；

?能夠同時處理定量、定性知識；

?具有自學(xué)習(xí)功能；

?具有聯(lián)想存儲功能；

?具有高速尋找優(yōu)化解的能力.

5.1人工神經(jīng)網(wǎng)絡(luò)的主要方向

神經(jīng)網(wǎng)絡(luò)的研究可以分為理論研究和應(yīng)用研究兩大方面.

5.1.1理論研究

理論研究一是利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能處理，二是利用神經(jīng)基礎(chǔ)

理論研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)

絡(luò)算法和性能并開發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動力學(xué).非線性神經(jīng)場等.

5.1.2應(yīng)用研究

應(yīng)用研究一是神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究，二是神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域中應(yīng)用

的研究.這些領(lǐng)域主要包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、機(jī)器

人控制等.隨著神經(jīng)網(wǎng)絡(luò)理論本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用將

更加深入.

6神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢

神經(jīng)網(wǎng)絡(luò)主要有以下兩個發(fā)展趨勢：

6.1神經(jīng)網(wǎng)絡(luò)VC維計算

神經(jīng)計算技術(shù)已經(jīng)在很多領(lǐng)域得到了成功的應(yīng)用，但由于缺少一個統(tǒng)一的理論框架，經(jīng)

驗(yàn)性成分相當(dāng)高,最近十年里，很多研究者都力圖在一個統(tǒng)一的框架下來考慮學(xué)習(xí)與泛化的

問題.PAQProbablyApproximatelyCorrec。學(xué)習(xí)模型就是這樣一個框架.作為PAC學(xué)習(xí)的核

心以及學(xué)習(xí)系統(tǒng)學(xué)習(xí)能力的度量，VC維(Vapnik-Chervonenkisdimension)在確定神經(jīng)網(wǎng)絡(luò)的

容量(capacity)、泛化能力(generalization)、訓(xùn)練集規(guī)模等的關(guān)系上有重要作用.如果可以計

算出神經(jīng)網(wǎng)絡(luò)的VC維，則我們可以估計出要訓(xùn)練該網(wǎng)絡(luò)所需的訓(xùn)練集規(guī)模；反之，在給定

一?個訓(xùn)練集以及最大近似誤差時，可以確定所需要的網(wǎng)絡(luò)結(jié)構(gòu).Anthony將VC維定義為：

設(shè)F為一個從n維向量集X至弘0,1｝的函數(shù)族，則F的VC維為X的子集E的最大元素數(shù),

其中E滿足：對于任意S包含于E,總存在函數(shù)fsCF,使得當(dāng)xGS時fs(x)=l,x不屬于S

但xGE時fs(x)=0.VC維可作為函數(shù)族F復(fù)雜度的度量，它是一個自然數(shù)，其值有可能為

無窮大，它表示無論以何種組合方式出現(xiàn)均可被函數(shù)族F正確劃分為兩類的向量個數(shù)的最大

值.對于實(shí)函數(shù)族，可定義相應(yīng)的指示函數(shù)族，該指示函數(shù)族的VC維即為原實(shí)函數(shù)族的

VC維.

6.2基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘

1996年，F(xiàn)ayyad>Piatetsky-Shapiro和Smyth對KDD(KnowledgeDiscoveryfrom

Databases)和數(shù)據(jù)挖掘的關(guān)系進(jìn)行了闡述.但是，隨著該領(lǐng)域研究的發(fā)展，研究者們目前趨

向于認(rèn)為KDD和數(shù)據(jù)挖掘具有相同的含義，即認(rèn)為數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提

取人們感興趣的知識.數(shù)據(jù)挖掘的困難主要存在于三個方面：苜先，巨量數(shù)據(jù)集的性質(zhì)往往

非常復(fù)雜，非線性、時序性與噪音普遍存在；其次，數(shù)據(jù)分析的目標(biāo)具有多樣性，而復(fù)雜目

標(biāo)無論在表述還是在處理上均與領(lǐng)域知識有關(guān)；第三，在復(fù)雜目標(biāo)下，對巨量數(shù)據(jù)集的分析

目前還沒有現(xiàn)成的且滿足可計算條件的一般性理論與方法.在早期工作中，研究者們