模式識(shí)別及其在圖像處理中的應(yīng)用

1、模式識(shí)別及其在圖像處理中的應(yīng)用摘要：隨著計(jì)算機(jī)和人工智能技術(shù)的發(fā)展，模式識(shí)別在圖像處理中的應(yīng)用日 益廣泛。綜述了模式識(shí)別在圖像處理中特征提取、 主要的識(shí)別方法（統(tǒng)計(jì)決策法、 句法識(shí)別、模糊識(shí)別、神經(jīng)網(wǎng)絡(luò)）及其存在的問(wèn)題，并且對(duì)近年來(lái)模式識(shí)別的新 進(jìn)展一一支持向量機(jī)與仿生模式識(shí)別做了分析和總結(jié)，最后討論了模式識(shí)別亟待 解決的問(wèn)題并對(duì)其發(fā)展進(jìn)行了展望。關(guān)鍵詞：模式識(shí)別；圖像處理；特征提??；識(shí)別方法模式識(shí)別誕生于20世紀(jì)20年代，隨著計(jì)算機(jī)的出現(xiàn)和人工智能的發(fā)展，模式識(shí)別在60年代初迅速發(fā)展成一門(mén)學(xué)科。它所研究的理論和方法在很多學(xué)科和領(lǐng)域 中得到廣泛的重視，推動(dòng)了人工智能系統(tǒng)的發(fā)展，擴(kuò)大了計(jì)算機(jī)應(yīng)用

2、的可能性。圖像處理就是模式識(shí)別方法的一個(gè)重要領(lǐng)域，目前廣泛應(yīng)用的文字識(shí)別（MNO就是模式識(shí)別在圖像處理中的一個(gè)典型應(yīng)用。1. 模式識(shí)別的基本框架模式識(shí)別在不同的文獻(xiàn)中給出的定義不同。一般認(rèn)為，模式是通過(guò)對(duì)具體的 事物進(jìn)行觀測(cè)所得到的具有時(shí)間與空間分布的信息， 模式所屬的類(lèi)別或同一類(lèi)中 模式的總體稱(chēng)為模式類(lèi)，其中個(gè)別具體的模式往往稱(chēng)為樣本。模式識(shí)別就是研究 通過(guò)計(jì)算機(jī)自動(dòng)地（或者人為進(jìn)行少量干預(yù)）將待識(shí)別的模式分配到各個(gè)模式類(lèi) 中的技術(shù)。模式識(shí)別的基本框架如圖1所示。圖I嘆式識(shí)別的基本框架根據(jù)有無(wú)標(biāo)準(zhǔn)樣本，模式識(shí)別可分為監(jiān)督識(shí)別方法和非監(jiān)督識(shí)別方法。監(jiān)督 識(shí)別方法是在已知訓(xùn)練樣本所屬類(lèi)別的條件下

3、設(shè)計(jì)分類(lèi)器，通過(guò)該分類(lèi)器對(duì)待識(shí)樣本進(jìn)行識(shí)別的方法。如圖1，標(biāo)準(zhǔn)樣本集中的樣本經(jīng)過(guò)預(yù)處理、選擇與提取特 征后設(shè)計(jì)分類(lèi)器，分類(lèi)器的性能與樣本集的大小、 分布等有關(guān)。待檢樣本經(jīng)過(guò)預(yù) 處理、選擇與提取特征后進(jìn)入分類(lèi)器，得到分類(lèi)結(jié)果或識(shí)別結(jié)果。非監(jiān)督模式識(shí) 別方法是在沒(méi)有樣本所屬類(lèi)別信息的情況下直接根據(jù)某種規(guī)則進(jìn)行分類(lèi)決策。應(yīng)用于圖像處理中的模式識(shí)別方法大多為有監(jiān)督模式識(shí)別法，例如人臉檢測(cè)、車(chē)牌識(shí)別等。無(wú)監(jiān)督的模式識(shí)別方法主要用于圖像分割、圖像壓縮、遙感圖像的識(shí)別模式識(shí)別過(guò)程可以看作從樣本空間到類(lèi)別空間的一個(gè)映射過(guò)程。 如果把一個(gè) 具有n個(gè)特征作為參量的n維特征空間劃分為不同的區(qū)域，那么每個(gè)區(qū)域與一類(lèi)模

4、 式類(lèi)相對(duì)應(yīng)。 其中，特征選擇與提取是模式識(shí)別的一個(gè)重要環(huán)節(jié)， 如果所選取的 特征能夠比較全面反映類(lèi)的本質(zhì)特征， 那么分類(lèi)器就比較容易設(shè)計(jì)； 否則，分類(lèi) 器設(shè)計(jì)的難度就增加。因此特征選擇和提取是模式識(shí)別研究的一項(xiàng)重要內(nèi)容。2. 特征提取和特征選擇原始樣本往往處于一個(gè)高維空間， 特征提取指的是通過(guò)映射的方法用低維空 間來(lái)表示樣本的過(guò)程。 特征提取后樣本的可分性應(yīng)該更好， 分類(lèi)器更易設(shè)計(jì)。 常 用的方法有主元分析法（PCA、線性判別分析、核函數(shù)主元分析（Kernel PCA、 獨(dú)立主元分析法（ICA）、自組織映射（SOM方法等。特征提取在圖像處理（例 如圖像分割、圖像識(shí)別、圖像檢索等）中得到了廣泛

5、的應(yīng)用。另外在圖像壓縮中 也廣泛應(yīng)用到DC變換以去除圖像的空間冗余。不同的模式識(shí)別問(wèn)題特征差別可 能很大，因而特征提取方法也不盡相同。 每一種特征提取方法只適合解決某些特 定范圍的問(wèn)題，例如對(duì)于服從高斯型分布的線性相關(guān)特征，采用PCA方法比較好， 用其他方法提取特征結(jié)果可能不是“最優(yōu)”。 特征提取的優(yōu)劣要根據(jù)一定的判據(jù) 來(lái)衡量，由于模式識(shí)別中沒(méi)有一個(gè)統(tǒng)一的衡量特征優(yōu)劣的判據(jù)， 所謂的最優(yōu)是在 特定準(zhǔn)則下取得的，是相對(duì)的最優(yōu)。特征提取后的各個(gè)特征的物理意義有時(shí)不是很直觀， 往往很難看出各個(gè)特征 對(duì)分類(lèi)的影響，有的特征可能無(wú)助于分類(lèi)器的設(shè)計(jì)，甚至?xí)档头诸?lèi)器的性能。 因此要在這些特征中選出最適合分

6、類(lèi)器設(shè)計(jì)的特征。 換句話說(shuō)， 特征選擇就是從 一組特征D中挑選出一些對(duì)分類(lèi)最有效特征d（Dd）的過(guò)程。實(shí)際中特征選擇和提 取往往結(jié)合使用。為了判斷提取和選擇的特征對(duì)分類(lèi)的有效性， 人們提出各種衡量特征分類(lèi)性 能的判據(jù)。 最直接最有效的判據(jù)是計(jì)算分類(lèi)器錯(cuò)誤概率， 但一般情況下， 錯(cuò)誤概 率的計(jì)算很復(fù)雜， 有時(shí)甚至無(wú)法計(jì)算。 因此人們提出一些其他的判據(jù)。 最簡(jiǎn)單的 判據(jù)是用于可分性判據(jù)的類(lèi)內(nèi)類(lèi)間距離判據(jù)， 其基本原則是類(lèi)內(nèi)距離最小、 類(lèi)間 距離最大的特征為最優(yōu)特征。一方面，這一判據(jù)物理意義明顯，計(jì)算方便，但是 距離的定義不同，得到的特征不同；另一方面，它和概率分布沒(méi)有直接關(guān)系。為 此人們提出基于概

7、率分布的可分性判據(jù)， 這類(lèi)判據(jù)計(jì)算比較復(fù)雜， 也很難得到和 錯(cuò)誤概率的直接解析關(guān)系式。 另外還有基于熵函數(shù)的可分性判據(jù)等， 這些判據(jù)在 特征提取中都得到了廣泛的應(yīng)用。選定可分性判據(jù)后，通過(guò)窮舉法可以得到特征選擇的最優(yōu)解，但是當(dāng)特征個(gè) 數(shù)比較多時(shí)，這種方法由于計(jì)算量太大而難以實(shí)現(xiàn)。常用的方法有分支和定界(branch and bound )算法、順序前進(jìn)法(SF$、順序后退法SB$等，相對(duì)于 窮舉法， 這些方法都不同程度地減小了計(jì)算量， 但是都不能保證得到最優(yōu)解， 往 往得到的是次優(yōu)解。 由于特征選擇是在進(jìn)行相應(yīng)的特征組合后判斷其分類(lèi)能力的， 因此可以采用解決優(yōu)化問(wèn)題的方法來(lái)解決。 常用的算法如

8、遺傳算法、 模擬退火算 法，但它們計(jì)算都比較復(fù)雜。以上提到的判據(jù)在大多情況下和錯(cuò)誤概率沒(méi)有直接關(guān)系， 用以這些度量為基 礎(chǔ)的某個(gè)判據(jù)的最優(yōu)化對(duì)特征進(jìn)行變換后所設(shè)計(jì)的分類(lèi)器的錯(cuò)誤概率未必最??； 同一個(gè)問(wèn)題特征采用的判據(jù)不同得到最優(yōu)解也不完全相同； 此外，特征選擇結(jié)果 的可靠性和訓(xùn)練樣本個(gè)數(shù)有關(guān)。 如果樣本個(gè)數(shù)太少， 根據(jù)某種判據(jù)得出的最優(yōu)解 和實(shí)際的最優(yōu)特征有時(shí)差別很大，這是因?yàn)橛?xùn)練樣本集中包含的分類(lèi)信息不足。 由此可見(jiàn)，選擇最優(yōu)特征需要具備 3個(gè)條件：樣本個(gè)數(shù)足夠能夠覆蓋樣本集的分 類(lèi)信息；有一種比較好的分類(lèi)判據(jù)；一個(gè)切實(shí)可行的選擇算法。實(shí)際中，這 3個(gè) 條件很難完全滿(mǎn)足。 因此，針對(duì)具體的模

9、式識(shí)別問(wèn)題選擇最優(yōu)特征仍是一件比較 困難的事， 這些問(wèn)題仍需要進(jìn)一步的研究。 提取和選擇特征之后， 分類(lèi)和識(shí)別效 果的優(yōu)劣取決于所設(shè)計(jì)的分類(lèi)器的性質(zhì)。 設(shè)計(jì)分類(lèi)器的主要方法也就是模式識(shí)別 的主要方法。3. 模式識(shí)別的主要方法及其在圖像處理中的應(yīng)用 模式識(shí)別方法大致可以分為 4類(lèi)：統(tǒng)計(jì)決策法、結(jié)構(gòu)模式識(shí)別方法、模糊模 式識(shí)別方法與基于人工智能方法。 其中基于人工智能的方法本文主要介紹人工神 經(jīng)網(wǎng)絡(luò)模式識(shí)別方法。 前兩種方法發(fā)展得比較早， 理論相對(duì)也比較成熟， 在早期 的模式識(shí)別中應(yīng)用較多。 后兩種方法目前的應(yīng)用較多， 由于模糊方法更合乎邏輯、 神經(jīng)網(wǎng)絡(luò)方法具有較強(qiáng)的解決復(fù)雜模式識(shí)別的能力，因此日

10、益得到人們的重視。3.1 統(tǒng)計(jì)決策法統(tǒng)計(jì)決策法以概率論和數(shù)理統(tǒng)計(jì)為基礎(chǔ)，它包括參數(shù)方法和非參數(shù)方法。參數(shù)方法主要以Bayes決策準(zhǔn)則為指導(dǎo)。其中最小錯(cuò)誤率和最小風(fēng)險(xiǎn)貝葉斯決策是最常用的兩種決策方法。假定特征對(duì)于給定類(lèi)的影響?yīng)毩⒂谄渌卣?，在決策分類(lèi)的類(lèi)別NE知與各類(lèi)別的先驗(yàn)概率P(wi)及類(lèi)條件概率密度p(x|wi)已知 的情況下，對(duì)于一特征矢量x根據(jù)式(1)計(jì)算待檢模式在各類(lèi)中發(fā)生的后驗(yàn)概率 p(x|wi)，后驗(yàn)概率最大的類(lèi)別即為該模式所屬類(lèi)別。在這樣的條件下，模式識(shí) 別問(wèn)題轉(zhuǎn)化為一個(gè)后驗(yàn)概率的計(jì)算問(wèn)題。V pt X I g J)在貝葉斯決策的基礎(chǔ)上，根據(jù)各種錯(cuò)誤決策造成損失的不同，人們提出

11、基于 貝葉斯風(fēng)險(xiǎn)的決策，即計(jì)算給定特征矢量 X在各種決策中的條件風(fēng)險(xiǎn)大小，找出 其中風(fēng)險(xiǎn)最小的決策。實(shí)際上對(duì)于具體的模式識(shí)別問(wèn)題，先驗(yàn)概率和類(lèi)條件概率密度很難精確知道。 先驗(yàn)概率根據(jù)樣本總數(shù)可大致估計(jì)，類(lèi)條件概率密度可采用統(tǒng)計(jì)學(xué)中的最大似然 估計(jì)法、Bayes估計(jì)法等進(jìn)行估計(jì)。這類(lèi)方法應(yīng)用于圖像分割、圖像復(fù)原以及圖 像識(shí)別等方面。在圖像分割中，假定圖中的數(shù)據(jù)是服從 K個(gè)概率密度混合分布的 樣本，然后估計(jì)概率密度函數(shù)的參數(shù)，最后計(jì)算后驗(yàn)概率或風(fēng)險(xiǎn)，對(duì)像素進(jìn)行歸 類(lèi)，從而達(dá)到分割圖像的目的。一般情況下，往往假定概率密度函數(shù)是高斯型的， 這一方面很多情況下樣本的分布接近高斯分布， 另一方面是數(shù)學(xué)上處

12、理相對(duì)比較 簡(jiǎn)單。和圖像分割的原理類(lèi)似，圖像識(shí)別也是對(duì)圖像的某些特征采用貝葉斯決策 的方法設(shè)計(jì)分類(lèi)器，根據(jù)分類(lèi)器對(duì)未知圖像的特征進(jìn)行識(shí)別。參數(shù)估計(jì)方法的理論基礎(chǔ)是樣本數(shù)目趨近于無(wú)窮大時(shí)的漸進(jìn)理論。在樣本數(shù)目很大時(shí)，參數(shù)估計(jì)的結(jié)果才趨近于真實(shí)的模型。然而實(shí)際樣本數(shù)目總是有限的， 很難滿(mǎn)足這一要求。另外參數(shù)估計(jì)的另一個(gè)前提條件是特征獨(dú)立性，這一點(diǎn)有時(shí) 和實(shí)際差別較大。實(shí)際上在樣本數(shù)量不是很大的情況下，往往根據(jù)樣本直接設(shè)計(jì)分類(lèi)器，這就 是非參數(shù)方法。 這類(lèi)方法物理意義直觀， 但所得的結(jié)果和錯(cuò)誤率往往沒(méi)有直接聯(lián) 系，所設(shè)計(jì)的分類(lèi)器不能保證最優(yōu)。 比較典型的方法如線性分類(lèi)器、 最近鄰方法、 K均值聚類(lèi)法

13、等。在圖像壓縮領(lǐng)域的矢量量化編碼算法中，碼書(shū)的訓(xùn)練就是一個(gè) 典型的聚類(lèi)過(guò)程， 壓縮的效果和聚類(lèi)的結(jié)果關(guān)系很大。 在圖像分割中， 采用對(duì)像 素或圖像的其他特征進(jìn)行聚類(lèi)，達(dá)到圖像分割的目的。然而，統(tǒng)計(jì)決策理論主要集中在數(shù)量的統(tǒng)計(jì)關(guān)系上而忽略了刻畫(huà)模式的結(jié)構(gòu) 特征。圖像處理往往與圖像的結(jié)構(gòu)信息有關(guān)， 對(duì)于很復(fù)雜的圖像， 要求的特征量 非常巨大， 要把某一模式準(zhǔn)確分類(lèi)很困難， 這時(shí)采用統(tǒng)計(jì)分類(lèi)方法很難實(shí)現(xiàn)， 因 此設(shè)法分割出圖像的基元子模式， 將基元按照一定句法關(guān)系組合來(lái)代替原圖像進(jìn) 行分類(lèi)，這就涉及到結(jié)構(gòu)模式識(shí)別的問(wèn)題。3.2 結(jié)構(gòu)模式識(shí)別結(jié)構(gòu)模式識(shí)別是利用模式的結(jié)構(gòu)描述與句法描述之間的相似性對(duì)模式

14、進(jìn)行 分類(lèi)。每個(gè)模式由它的各個(gè)子部分（ 稱(chēng)為子模式或模式基元）的組合來(lái)表示。 對(duì)模式的識(shí)別常以句法分析的方式進(jìn)行， 即依據(jù)給定的一組句法規(guī)則來(lái)剖析模式 的結(jié)構(gòu)。當(dāng)模式中每一個(gè)基元被辨認(rèn)后， 識(shí)別過(guò)程就可通過(guò)執(zhí)行語(yǔ)法分析來(lái)實(shí)現(xiàn)。 選擇合適的基元是結(jié)構(gòu)模式識(shí)別的關(guān)鍵?；獞?yīng)具有“ 結(jié)構(gòu)簡(jiǎn)單、含義明確、能方便地描述數(shù)據(jù)、易于抽取、結(jié)構(gòu) 信息少”等特點(diǎn)。 由于基元選擇的不確定性以及基元特征的多樣性， 實(shí)際應(yīng)用中 有時(shí)很難同時(shí)滿(mǎn)足以上特點(diǎn)， 所以有必要在基元的復(fù)雜性和易識(shí)別性之間取一個(gè) 恰當(dāng)?shù)恼壑?。結(jié)構(gòu)模式識(shí)別主要用于文字識(shí)別、遙感圖形的識(shí)別與分析、紋理圖像的分析 中。該方法的特點(diǎn)是識(shí)別方便，能夠反映模

15、式的結(jié)構(gòu)特征，能描述模式的性質(zhì)， 對(duì)圖像畸變的抗干擾能力較強(qiáng)。 如何選擇基元是本方法的一個(gè)關(guān)鍵問(wèn)題， 尤其是 當(dāng)存在干擾及噪聲時(shí)，抽取基元更困難，且易失誤?；诮y(tǒng)計(jì)決策和結(jié)構(gòu)模式識(shí)別在早期的模式識(shí)別中應(yīng)用比較多， 隨著人們對(duì) 模式識(shí)別要求的提高， 在解決一些復(fù)雜的模式識(shí)別問(wèn)題時(shí)， 上述方法的局限性越 來(lái)越明顯。 模糊邏輯思想和神經(jīng)網(wǎng)絡(luò)的提出， 為人們解決模式識(shí)別問(wèn)題提供了新 的思路。33模糊模式識(shí)別1965年Zadeh提出了他著名的模糊集理論，使人們認(rèn)識(shí)事物的傳統(tǒng)二值0,1邏 輯轉(zhuǎn)化為 0， 1區(qū)間上的邏輯，這種刻畫(huà)事物的方法改變了人們以往單純地 通過(guò)事物內(nèi)涵來(lái)描述其特征的片面方式， 并提供了

16、能綜合事物內(nèi)涵與外延性態(tài)的 合理數(shù)學(xué)模型隸屬度函數(shù)。 對(duì)于 1 、2 兩類(lèi)問(wèn)題， 傳統(tǒng)二值邏輯認(rèn)為樣本 3 要么屬于 1 ，要么屬于 2 ，但是模糊邏輯認(rèn)為 3 既屬于1 ，又屬于 2，二者的區(qū) 別在于 3 在這兩類(lèi)中的隸屬度不同。所謂模糊模式識(shí)別就是解決模式識(shí)別問(wèn)題 時(shí)引入模糊邏輯的方法或思想。 同一般的模式識(shí)別方法相比較， 模糊模式識(shí)別具 有客體信息表達(dá)更加合理，信息利用充分，各種算法簡(jiǎn)單靈巧，識(shí)別穩(wěn)定性好， 推理能力強(qiáng)的特點(diǎn)。模糊模式識(shí)別在圖像處理中也被廣泛應(yīng)用，例如：將模糊K近鄰（FKNN方法用于盲圖像的反卷積，實(shí)驗(yàn)結(jié)果證明了這種方法的有效性；將模糊技術(shù)同K均值聚類(lèi)結(jié)合用于矢量量化編碼

17、中， 這種方法消除了聚類(lèi)初始化對(duì)結(jié)果碼書(shū)的依賴(lài) 性，提高了聚類(lèi)結(jié)果的魯棒性；將模糊方法同 K近鄰（K-NN結(jié)合，對(duì)圖像進(jìn)行 分類(lèi)，取得比傳統(tǒng)K-Nh方法更好的效果；將模糊邏輯同BP神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)手寫(xiě) 字符識(shí)別， 取得接近 100%的效果； 將模糊方法運(yùn)用到圖像增強(qiáng)中， 首先通過(guò)模糊 隸屬度函數(shù)對(duì)原始圖像做模糊變換， 然后對(duì)變換后的圖像做增強(qiáng)處理， 以提高圖 像的對(duì)比度。 爾后對(duì)圖像做模糊逆變換， 得到增強(qiáng)后的圖像。 以上方法在獲得比 較好的效果的同時(shí)， 往往增加一定的計(jì)算量， 但是有些算法本身比較簡(jiǎn)單， 在同 其他算法的結(jié)合中， 模糊思想運(yùn)用引入的計(jì)算開(kāi)銷(xiāo)有時(shí)同整個(gè)算法的計(jì)算量相比 并不大，

18、計(jì)算速度通常是可以接受的。模糊模式識(shí)別的關(guān)鍵在隸屬度函數(shù)的建立，目前主要的方法有模糊統(tǒng)計(jì)法、 模糊分布法、二元對(duì)比排序法、 相對(duì)比較法和專(zhuān)家評(píng)分法等。 雖然這些方法具有 一定的客觀規(guī)律性與科學(xué)性， 但同時(shí)也包含一定的主觀因素， 準(zhǔn)確合理的隸屬度 函數(shù)很難得到，如何在模糊模式識(shí)別方法中建立比較合理的隸屬度函數(shù)是需要進(jìn) 一步解決的問(wèn)題。3.4人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別早在20 世紀(jì)50 年代，研究人員就開(kāi)始模擬動(dòng)物神經(jīng)系統(tǒng)的某些功能，他們 采用軟件或硬件的辦法，建立了許多以大量處理單元為結(jié)點(diǎn)，處理單元間實(shí)現(xiàn) （ 加權(quán)值的）互聯(lián)的拓?fù)渚W(wǎng)絡(luò)，進(jìn)行模擬。稱(chēng)之為人工神經(jīng)網(wǎng)絡(luò)。這種方法可 以看作是對(duì)原始特征空間進(jìn)

19、行非線性變換， 產(chǎn)生一個(gè)新的樣本空間， 使得變換后 的特征線性可分。同傳統(tǒng)統(tǒng)計(jì)方法相比，其分類(lèi)器是與概率分布無(wú)關(guān)的。人工神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)在于其具有信息處理的并行性、 自組織和自適應(yīng)性、 具有很強(qiáng)的學(xué)習(xí)能力和聯(lián)想功能以及容錯(cuò)性能等， 在解決一些復(fù)雜的模式識(shí)別問(wèn) 題中顯示出其獨(dú)特的優(yōu)勢(shì)。近年來(lái)，在圖像處理中應(yīng)用也很多。例如：采用自組 織網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像進(jìn)行分割，并能夠?qū)?CTffl像中的病灶分割出來(lái)等等。人工神經(jīng)網(wǎng)絡(luò)是一種復(fù)雜的非線性映射方法，其物理意義比較難解釋?zhuān)诶?論上還存在一系列亟待解決的問(wèn)題。 例如在設(shè)計(jì)上， 網(wǎng)絡(luò)層數(shù)的確定和節(jié)點(diǎn)個(gè)數(shù) 的選取帶有很大的經(jīng)驗(yàn)性和盲目性， 缺乏理論指導(dǎo)， 網(wǎng)

20、絡(luò)結(jié)構(gòu)的設(shè)計(jì)仍是一個(gè)尚 未解決的問(wèn)題。 在算法復(fù)雜度方面， 神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度大， 在特征維數(shù)比較高 時(shí)，樣本訓(xùn)練時(shí)間比較長(zhǎng)；在算法穩(wěn)定性方面，學(xué)習(xí)過(guò)程中容易陷入局部極小， 并且存在欠學(xué)習(xí)與過(guò)學(xué)習(xí)的現(xiàn)象， 范化能力不容易控制。 這些也是制約人工神經(jīng) 網(wǎng)絡(luò)進(jìn)一步發(fā)展的關(guān)鍵問(wèn)題。近些年來(lái)基于統(tǒng)計(jì)學(xué)習(xí)理論的支撐向量機(jī)在模式識(shí)別方法表現(xiàn)出出色的學(xué) 習(xí)性能和范化能力， 同神經(jīng)網(wǎng)絡(luò)相比， 其可有效地克服局部極小、 維數(shù)災(zāi)難等問(wèn) 題，因而成為目前模式識(shí)別領(lǐng)域中又一個(gè)研究熱點(diǎn)。4模式識(shí)別的新進(jìn)展及其在圖像處理中的應(yīng)用4.1 支撐向量機(jī) 前面提到，在有限樣本尤其是小樣本的情況下，采用統(tǒng)計(jì)決策法中的很多方 法都難

21、以取得理想的效果。Vap nik早在20世紀(jì)60年代開(kāi)始研究有限樣本情況下的 機(jī)器學(xué)習(xí)問(wèn)題， 直至90年代才形成一個(gè)較完善的理論體系統(tǒng)計(jì)學(xué)習(xí)理論。 該 理論定義了衡量函數(shù)集性能的指標(biāo)一一 VC隹，VC隹越大，函數(shù)的推廣能力越差， VC隹越小，函數(shù)的推廣能力越強(qiáng)。在該理論的框架下，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下學(xué) 習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由兩部分組成R( w) w R呻(u ) +0(寸-)式中第一項(xiàng)為訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)；第二項(xiàng)為置信范圍，在訓(xùn)練樣本數(shù)目n一定的情況下，函數(shù)集的VC隹越大，其置信范圍越大。因此，在設(shè)計(jì)分類(lèi)器時(shí)， 不但要使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，同時(shí)也要使VC隹盡量小，縮小置信范圍，從而提高分類(lèi) 器的預(yù)測(cè)能力

22、。統(tǒng)計(jì)學(xué)習(xí)理論提出了結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則：即把函數(shù)集分解為一個(gè)函數(shù)集 序列，使各個(gè)子集能夠根據(jù)VC隹的大小排列，在每個(gè)子集中尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn)。 選擇最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和最小的子集，即達(dá)到期望風(fēng)險(xiǎn)最小，這個(gè)子集中使期望風(fēng)險(xiǎn)最小的函數(shù)也即所求的最優(yōu)函數(shù)。這種思想稱(chēng)為結(jié)構(gòu)風(fēng)險(xiǎn)最小化 SRM如圖2所示。欠學(xué)習(xí)電 過(guò)學(xué)習(xí)酣數(shù)集子囊陽(yáng)U/U禺出呵f叫r實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)圖2結(jié)構(gòu)風(fēng)險(xiǎn)最小化示意禺最小化有兩種方法:一是在函數(shù)集的每一子集中求最小經(jīng)驗(yàn)風(fēng)險(xiǎn)，然后選擇最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍 最小的子集。這種方法類(lèi)似窮舉法，計(jì)算量比較大，當(dāng)子集數(shù)目很大時(shí)幾乎無(wú)法 實(shí)現(xiàn)。另一種方法是設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu)， 使每個(gè)子集中

23、都能取得最小的經(jīng)驗(yàn) 風(fēng)險(xiǎn)，然后選擇適當(dāng)?shù)淖蛹怪眯欧秶钚。?這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù) 就是最優(yōu)函數(shù)。支撐向量機(jī)SVM是結(jié)構(gòu)風(fēng)險(xiǎn)最小化的第二種實(shí)現(xiàn)方法的體現(xiàn)。 其基本思想是: 首先通過(guò)非線性變換將輸入空間變換到一個(gè)高維空間，甚至是一個(gè)無(wú)限維空間， 然后在這個(gè)高維空間求取最優(yōu)分類(lèi)面，其中非線性變換是通過(guò)核函數(shù)的方法來(lái)實(shí)現(xiàn)的。SVM方法通過(guò)內(nèi)積計(jì)算比較有效地解決了維數(shù)災(zāi)難問(wèn)題，通過(guò)在高維空間 設(shè)計(jì)最優(yōu)分類(lèi)面，比較好地實(shí)現(xiàn)了 VC隹最小的問(wèn)題；在數(shù)學(xué)上支撐向量機(jī)的訓(xùn)練 問(wèn)題可轉(zhuǎn)化為一個(gè)求解受約束的二次型規(guī)劃(0P問(wèn)題，這個(gè)問(wèn)題存在惟一解， 避免了神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果不穩(wěn)定、容易陷入局部極小的問(wèn)題，

24、因而SVM方法是一種比較好的模式識(shí)別方法。SVMft初用來(lái)解決兩類(lèi)問(wèn)題，表現(xiàn)出優(yōu)越的性能，一個(gè)很自然的想法就是將 其推廣到多類(lèi)識(shí)別問(wèn)題。多類(lèi)SV啲分類(lèi)和識(shí)別主要有兩種方法，一是根據(jù)多類(lèi) 樣本集直接設(shè)計(jì)分類(lèi)器， 此時(shí)分類(lèi)器的設(shè)計(jì)問(wèn)題可轉(zhuǎn)化為一個(gè)考慮所有樣本的優(yōu) 化問(wèn)題。在樣本比較多時(shí)，這種方法求解比較復(fù)雜；另一種是分解法，將多類(lèi)樣 本分類(lèi)器的設(shè)計(jì)轉(zhuǎn)化為多個(gè)兩類(lèi)問(wèn)題的分類(lèi)器設(shè)計(jì)問(wèn)題， 由于這類(lèi)方法比直接法 求解簡(jiǎn)單，在實(shí)際中應(yīng)用很廣。比較有代表性的訓(xùn)練和預(yù)測(cè)多類(lèi)SV啲方法有一對(duì)一0A0(one against one )、一對(duì)多 OAA(one anginst all) 和有向無(wú)回路圖越 多的圖像

25、處理研究者和工作者所應(yīng)用。4.2 仿生模式識(shí)別前面介紹的各種模式識(shí)別方法都是假定分類(lèi)信息是完全包含在訓(xùn)練樣本內(nèi)， 以?xún)深?lèi)或多類(lèi)樣本的最優(yōu)劃分為基礎(chǔ)， 分類(lèi)器的訓(xùn)練過(guò)程實(shí)際上可以看作對(duì)樣本 的劃分過(guò)程。 有文獻(xiàn)提出把模式識(shí)別問(wèn)題看成是模式的“認(rèn)識(shí)”， 而不是分類(lèi)劃 分，不是模式分類(lèi)；是一類(lèi)一類(lèi)樣本的“認(rèn)識(shí)”，而不是多類(lèi)樣本的劃分。為了 強(qiáng)調(diào)與傳統(tǒng)模式識(shí)別在概念上的不同， 有的文獻(xiàn)中采用“仿生模式識(shí)別”這一概 念，“仿生”的含義只是在模式識(shí)別的功能和數(shù)學(xué)模型上強(qiáng)調(diào)了“認(rèn)識(shí)”的概念， 更接近于人類(lèi)的認(rèn)識(shí)。傳統(tǒng)模式識(shí)別從特征空間中不同類(lèi)樣本的劃分出發(fā)設(shè)計(jì)分類(lèi)器。 而仿生模式 識(shí)別就在引入特征空間同類(lèi)樣本的連續(xù)性規(guī)律， 對(duì)一類(lèi)事物的“認(rèn)識(shí)”， 實(shí)際上 是對(duì)這類(lèi)事物的全體在特征空間中形成的無(wú)窮點(diǎn)集合的“形狀”的分析和認(rèn)識(shí)， 文中根據(jù)這種規(guī)律性建立起“多維空間中非超球復(fù)雜