概率神經(jīng)網(wǎng)絡(luò)

1、概率神經(jīng)網(wǎng)絡(luò)概述概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）是由D. F. Specht 在1990年提出的。主要思想是貝葉斯決策規(guī)則，即錯(cuò)誤分類(lèi)的期望風(fēng)險(xiǎn)最小，在多維輸入空間內(nèi)分離決策空間。它是一種基于統(tǒng)計(jì)原理的人工神經(jīng)網(wǎng)絡(luò)，它是以Parazen窗口函數(shù)為激活函數(shù)的一種前饋網(wǎng)絡(luò)模型。PNN吸收了徑向基神經(jīng)網(wǎng)絡(luò)與經(jīng)典的概率密度估計(jì)原理的優(yōu)點(diǎn)，與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)相比，在模式分類(lèi)方面尤其具有較為顯著的優(yōu)勢(shì)。1.1 概率神經(jīng)網(wǎng)絡(luò)分類(lèi)器的理論推導(dǎo)由貝葉斯決策理論： （1-1）其中。一般情況下，類(lèi)的概率密度函數(shù)是未知的，用高斯核的Parzen估計(jì)如下： （1-2）其

2、中，是屬于第類(lèi)的第k個(gè)訓(xùn)練樣本，是樣本向量的維數(shù)，是平滑參數(shù)，是第類(lèi)的訓(xùn)練樣本總數(shù)。去掉共有的元素，判別函數(shù)可簡(jiǎn)化為： （1-3）1.2 概率神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)模型PNN的結(jié)構(gòu)以及各層的輸入輸出關(guān)系量如圖1所示，共由四層組成，當(dāng)進(jìn)行并行處理時(shí)，能有效地進(jìn)行上式的計(jì)算。圖1 概率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，PNN網(wǎng)絡(luò)由四部分組成：輸入層、樣本層、求和層和競(jìng)爭(zhēng)層。PNN的工作過(guò)程：首先將輸入向量輸入到輸入層，在輸入層中，網(wǎng)絡(luò)計(jì)算輸入向量與訓(xùn)練樣本向量之間的差值的大小代表著兩個(gè)向量之間的距離，所得的向量由輸入層輸出，該向量反映了向量間的接近程度；接著，輸入層的輸出向量送入到樣本層中，樣本層節(jié)點(diǎn)的數(shù)目等于訓(xùn)

3、練樣本數(shù)目的總和，其中M是類(lèi)的總數(shù)。樣本層的主要工作是：先判斷哪些類(lèi)別輸入向量有關(guān)，再將相關(guān)度高的類(lèi)別集中起來(lái)，樣本層的輸出值就代表相識(shí)度；然后，將樣本層的輸出值送入到求和層，求和層的結(jié)點(diǎn)個(gè)數(shù)是M，每個(gè)結(jié)點(diǎn)對(duì)應(yīng)一個(gè)類(lèi)，通過(guò)求和層的競(jìng)爭(zhēng)傳遞函數(shù)進(jìn)行判決；最后，判決的結(jié)果由競(jìng)爭(zhēng)層輸出，輸出結(jié)果中只有一個(gè)1，其余結(jié)果都是0，概率值最大的那一類(lèi)輸出結(jié)果為1。2. 基本學(xué)習(xí)算法第一步：首先必須對(duì)輸入矩陣進(jìn)行歸一化處理，這樣可以減小誤差，避免較小的值唄較大的值“吃掉”。設(shè)原始輸入矩陣為： （2-1）從樣本的矩陣如式（2-1）中可以看出，該矩陣的學(xué)習(xí)樣本由m個(gè)，每一個(gè)樣本的特征屬性有n個(gè)。在求歸一化因子之前

4、，必須先計(jì)算矩陣：然后計(jì)算： （2-2）式中，則歸一化后的學(xué)習(xí)矩陣為C。在式（2-2）中，符號(hào)表示矩陣在做乘法運(yùn)算時(shí)，相應(yīng)元素之間的乘積。第二步：將歸一化好的m個(gè)樣本送入網(wǎng)絡(luò)樣本層中。因?yàn)槭怯斜O(jiān)督的學(xué)習(xí)算法，所以很容易就知道每個(gè)樣本屬于哪種類(lèi)型。假設(shè)樣本有m個(gè)，那么一共可以分為c類(lèi)，并且各類(lèi)樣本的數(shù)目相同，設(shè)為k，于是m=k*c。第三步：模式距離的計(jì)算，該距離是指樣本矩陣與學(xué)習(xí)矩陣中相應(yīng)元素之間的距離。假設(shè)將由P個(gè)n維向量組成的矩陣稱為待識(shí)別樣本矩陣，則經(jīng)歸一化后，需要待識(shí)別的輸入樣本矩陣為： （2-3）計(jì)算歐氏距離：就是需要是別的樣本向量，樣本層中各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的中心向量，這兩個(gè)向量相應(yīng)量之間

5、的距離： （2-4）第四步：樣本層徑向基函數(shù)的神經(jīng)元被激活。學(xué)習(xí)樣本與待識(shí)別樣本被歸一化后，通常取標(biāo)準(zhǔn)差的高斯型函數(shù)。激活后得到出事概率矩陣： (2-5)第五步：假設(shè)樣本有m個(gè)，那么一共可以分為c類(lèi)，并且各類(lèi)樣本的數(shù)目相同，設(shè)為k，則可以在網(wǎng)絡(luò)的求和層求得各個(gè)樣本屬于各類(lèi)的初始概率和： （2-6）上式中，代表的意思是：將要被識(shí)別的樣本中，第i個(gè)樣本屬于第j類(lèi)的初始概率和。第六步：計(jì)算概率，即第i個(gè)樣本屬于第j類(lèi)的概率。 （2-7）3. 特點(diǎn) 概率神經(jīng)網(wǎng)絡(luò)具有如下特性：（1) 訓(xùn)練容易，收斂速度快，從而非常適用于實(shí)時(shí)處理；（2) 可以完成任意的非線性變換，所形成的判決曲面與貝葉斯最優(yōu)準(zhǔn)則下的曲面

6、相接近；（3) 具有很強(qiáng)的容錯(cuò)性；（4) 模式層的傳遞函數(shù)可以選用各種用來(lái)估計(jì)概率密度的核函數(shù)，并且，各分類(lèi)結(jié)果對(duì)核函數(shù)的形式不敏感；（5) 各層神經(jīng)元的數(shù)目比較固定，因而易于硬件實(shí)現(xiàn)。4.不足之處概率神經(jīng)網(wǎng)絡(luò)的不足主要集中在其結(jié)構(gòu)的復(fù)雜性和網(wǎng)絡(luò)參數(shù)的選擇上。PNN網(wǎng)絡(luò)進(jìn)行模式分類(lèi)的機(jī)理是基于貝葉斯最小風(fēng)險(xiǎn)決策，為了獲得貝葉斯準(zhǔn)則下的最優(yōu)解，必須保證有足夠多的訓(xùn)練樣本。PNN的拓?fù)浣Y(jié)構(gòu)和訓(xùn)練樣本數(shù)目成直接比例關(guān)系，每個(gè)訓(xùn)練樣本決定一個(gè)隱含層神經(jīng)元，所以當(dāng)訓(xùn)練樣本數(shù)量巨大時(shí)，將導(dǎo)致規(guī)模龐大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，阻礙了PNN網(wǎng)絡(luò)的推廣和應(yīng)用。而且，PNN的網(wǎng)絡(luò)參數(shù)（比如連接權(quán)重，Parzen窗函數(shù)的平滑因子等），也很大程度的決定著網(wǎng)絡(luò)的性能。此外PNN對(duì)訓(xùn)練樣本