非參數(shù)判別分類方法

模式識(shí)別非參數(shù)判別分類方法3.5.3

特征映射法、解決非線性判別分類問題*支持向量機(jī)采用的方法與前面提到的方法很不相同，支持向量機(jī)提出的方法是利用特征映射方法,使非線性分類的問題可以利用線性分類的計(jì)算框架來實(shí)現(xiàn)。*原理示意圖廣義線性判別函數(shù)

例如：假設(shè)對(duì)一個(gè)二維空間的分類問題，想用一個(gè)二次函數(shù)作為判別函數(shù)，則二次曲線函數(shù)的一般式可以寫成：

作為映射后的特征向量，而相應(yīng)的廣義權(quán)向量如果我們希望采用廣義線性方程的方法，則可以定義則一個(gè)線性方程就可以寫成,其中,這樣一來，線性分類方法就可以直接采用。支持向量機(jī)利用特征映射的思想其中,是以下式子求極大值的解

計(jì)算上式的極大值只用到訓(xùn)練樣本數(shù)據(jù)間的點(diǎn)積<xi.xj>,而使用的分類器判別函數(shù)中權(quán)向量的作用也是通過權(quán)向量與樣本的點(diǎn)積體現(xiàn)出來的，而從（3-104）式子中可以看出，權(quán)向量是訓(xùn)練樣本中的支持向量的線性組合，因此WTX值的計(jì)算可以寫成（3-104）（3-105）（3-106）4

它表明在計(jì)算判別函數(shù)值時(shí)，仍然只需要通過計(jì)算相應(yīng)數(shù)據(jù)的點(diǎn)積即可。

由此可以設(shè)想，如果我們將原特征向量用映射的方式轉(zhuǎn)換成

，則相應(yīng)的式子只需要改變成分類界面方程其中

為相應(yīng)的常數(shù)項(xiàng)（3-107）（3-108）特征映射，核函數(shù)分類界面方程

因此選擇合適的函數(shù)K(.,.)就成為設(shè)計(jì)中的重要問題

由于特征進(jìn)行了映射，從x變成了f（x），因此問題是在另一個(gè)映射后的空間討論的。設(shè)原空間維數(shù)為d，即，而新空間為m維，即

，則一般m維要比d維大得多。權(quán)向量的維數(shù)也是m維，它是在映射后空間中的支持向量的線性求和。但是支持向量機(jī)的提出者進(jìn)一步發(fā)現(xiàn)，并不一定要求出這個(gè)權(quán)向量，因?yàn)榉诸惻袆e函數(shù)中只關(guān)心權(quán)向量與樣本向量之間的點(diǎn)積。因此，又引出了所謂核函數(shù)（3-109）（3-110）支持向量機(jī)計(jì)算示意圖核函數(shù)

與內(nèi)積函數(shù)值等價(jià)的函數(shù)K(.,.)稱為核函數(shù)。理論上的研究對(duì)核函數(shù)的充分必要條件進(jìn)行了研究，并已得出一些主要結(jié)論（如Mercer條件）。

常用的核函數(shù)還局限于以下三種函數(shù)形式。多項(xiàng)式類型的函數(shù)核函數(shù)型式的函數(shù)S行函數(shù)，如（3-111）（3-112）（3-113）本章小結(jié)一、參數(shù)判別分類方法與非參數(shù)判別分類方法的區(qū)別

參數(shù)判別方法：它的提前是對(duì)特征空間中的各類樣本的分布清楚，因此一旦要測(cè)試分類樣本的特征向量值X已知，就可以確定X對(duì)各類的后驗(yàn)概率，也就是可按相應(yīng)的準(zhǔn)則計(jì)算與分類，所以判別函數(shù)等的確定取決于樣本統(tǒng)計(jì)分布的有關(guān)知識(shí)。

非參數(shù)分類判別方法：著眼于直接利用訓(xùn)練樣本集，省去參數(shù)估計(jì)這一環(huán)節(jié)，這樣一來，從保證最小錯(cuò)去率的原則出發(fā)計(jì)算確定判別函數(shù)的方法就不適用了。因此，非參數(shù)分類判別方法只能根據(jù)一些其它準(zhǔn)則來設(shè)計(jì)分類器。分類器的效果好壞，所選擇的判別函數(shù)型式，所使用的訓(xùn)練樣本集，以及所用的算法是對(duì)結(jié)果都會(huì)有影響。二、非參數(shù)分類判別方法的基本做法

非參數(shù)分類判別方法進(jìn)行分類器設(shè)計(jì)主要包含兩個(gè)步驟：1.確定要使用的判別函數(shù)類型或決策面方程類型，如線性分類器，分段線性分類器，非線性分類器等或近鄰法等。如果使用人工神經(jīng)網(wǎng)絡(luò)，則怎樣的網(wǎng)絡(luò)結(jié)構(gòu)也隱含了所使用的函數(shù)形式。

2.在選定的函數(shù)類型網(wǎng)絡(luò)結(jié)構(gòu)等條件下，確定相應(yīng)的參數(shù)，從而完成整個(gè)分類器設(shè)計(jì)。三、決策面方程的顯示表示和隱式表示四、基于相似度的分類判別方法

判別函數(shù)的隱式表示與使用基于相似程度判別的原則有關(guān)。如近鄰法是用距離遠(yuǎn)近表示相似程度，錯(cuò)誤修正法用樣本向量與增廣權(quán)向量的點(diǎn)積運(yùn)算，也可在一定程度上看作相似度，在多類問題上，往往用計(jì)算相似度較為方便。*用函數(shù)直接表示分界面方程，如線性方程式表示的邊界等。*用隱含形式，例如我們用最小距離分類器就代表了這種類

型，其實(shí)這兩種型式是等價(jià)的。如二維空間的最小距離分類器用最小距離表示為：||X-m1||=||x-m2||而其等價(jià)于連接m1與m2線的垂直平分線。*本章學(xué)習(xí)的Fisher準(zhǔn)則、支持向量機(jī)與局部訓(xùn)練法等用的是

顯示表示，而錯(cuò)誤修正法和近鄰法則可以說是隱式表示。五、Fisher準(zhǔn)則

Fisher準(zhǔn)則是傳統(tǒng)模式識(shí)別方法中的典型方法，它強(qiáng)調(diào)將線性方程中的法向量與樣本的乘積看作樣本向量在單位法向量上的投影，如能做到不同類的樣本在法向量上的投影呈現(xiàn)類內(nèi)聚集，類間分開的效果，則對(duì)減少錯(cuò)分類有利。所得最佳法向量計(jì)算式為

（

見有關(guān)課本定義）。這個(gè)結(jié)果與正態(tài)分布協(xié)方差矩陣等的貝葉斯決策結(jié)果相近，這說明如果兩類分布范圍繞各自均值的確相近，F(xiàn)isher準(zhǔn)則可使錯(cuò)誤率較小。六、感知準(zhǔn)則函數(shù)方法

這種方法提倡用錯(cuò)分類提供的信息修正錯(cuò)誤，這種思想對(duì)機(jī)器學(xué)習(xí)的發(fā)展以及人工神經(jīng)元網(wǎng)絡(luò)的發(fā)生發(fā)展產(chǎn)生深遠(yuǎn)影響。七、近鄰法

近鄰法訓(xùn)練樣本數(shù)量較多時(shí)，從逐漸錯(cuò)誤率角度看，其錯(cuò)誤率比較小，是經(jīng)常使用的模式識(shí)別分類方法，比較適合在多類別情況下使用。當(dāng)每類的樣本數(shù)很多時(shí)，存儲(chǔ)量與計(jì)算量要求都偏高，使用剪輯近鄰法與壓縮近鄰法，特別是壓縮近鄰法可大量減少訓(xùn)練樣本的數(shù)量。八、支持向量機(jī)

支持向量機(jī)是新近提出的影響較大的方法。在理論上有很深的背景，這里指的理論是統(tǒng)計(jì)學(xué)習(xí)理論。

它主要關(guān)注的問題是：當(dāng)訓(xùn)練樣本數(shù)量有限時(shí)。在訓(xùn)練過程中做到使訓(xùn)練樣本錯(cuò)誤率為最小，是否就意味著系統(tǒng)在實(shí)際應(yīng)用中，也能自然而然做到錯(cuò)誤率小呢？對(duì)我們來說了解這種理論顯然超出我們課程的范圍，但是可以舉一個(gè)例子說明這種問題的確存在。例如下圖表示在一個(gè)樣本集（X，Y），其中X在實(shí)數(shù)范圍內(nèi)取值，而Y則在[-1,+1]范圍取值。例：Sin（ax）擬合紅線表示正確擬合得到的結(jié)果，但是對(duì)于這樣一組數(shù)據(jù)，我們完全可以用一個(gè)函數(shù)Sin(ax)來擬合它，如圖中藍(lán)線表示的函數(shù)所示，只要調(diào)整參數(shù)a總可以使所有數(shù)據(jù)都落在Sin(ax)曲線上，但是很明顯Sin(ax)并不反映這組數(shù)據(jù)的內(nèi)在規(guī)律，如果再增加一個(gè)新數(shù)據(jù)，參數(shù)a很可能就要變。從直觀上講，所用的函數(shù)Sin(ax)并不合適，但是從訓(xùn)練樣本數(shù)據(jù)來看，它的擬合程度的確很高。統(tǒng)計(jì)學(xué)習(xí)理論

從我們所討論的一些方法中，分類器設(shè)計(jì)的性能，都以隊(duì)訓(xùn)練樣本集有好的性能為目標(biāo)，而沒有辦法保證在實(shí)際使用時(shí)仍能保持好的性能。支持向量機(jī)在線性可分時(shí)要求隔離帶盡可能寬，正是從期望實(shí)際的錯(cuò)誤率也較低這一點(diǎn)出發(fā)。關(guān)于