支持向量機(jī)Matlab示例程序參考模板

1、2008-10-31 19:32支持向量機(jī)Matlab示例程序四種支持向量機(jī)用于函數(shù)擬合與模式識(shí)別的Matlab示例程序1模式識(shí)別基本概念模式識(shí)別的方法有很多，常用有：貝葉斯決策、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等等。特別說明的是，本文所談及的模式識(shí)別是指“有老師分類”，即事先知道訓(xùn)練樣本所屬的類別，然后設(shè)計(jì)分類器，再用該分類器對(duì)測(cè)試樣本進(jìn)行識(shí)別，比較測(cè)試樣本的實(shí)際所屬類別與分類器輸出的類別，進(jìn)而統(tǒng)計(jì)正確識(shí)別率。正確識(shí)別率是反映分類器性能的主要指標(biāo)。分類器的設(shè)計(jì)雖然是模式識(shí)別重要一環(huán)，但是樣本的特征提取才是模式識(shí)別最關(guān)鍵的環(huán)節(jié)。試想如果特征矢量不能有效地描述原樣本，那么即使分類設(shè)計(jì)得再好也無法實(shí)現(xiàn)正確分類

2、。工程中我們所遇到的樣本一般是一維矢量，如：語音信號(hào)，或者是二維矩陣，如：圖片等。特征提取就是將一維矢量或二維矩陣轉(zhuǎn)化成一個(gè)維數(shù)比較低的特征矢量，該特征矢量用于分類器的輸入。關(guān)于特征提取，在各專業(yè)領(lǐng)域中也是一個(gè)重要的研究方向，如語音信號(hào)的諧振峰特征提取，圖片的PCA特征提取等等。2神經(jīng)網(wǎng)絡(luò)模式識(shí)別神經(jīng)網(wǎng)絡(luò)模式識(shí)別的基本原理是，神經(jīng)網(wǎng)絡(luò)可以任意逼近一個(gè)多維輸入輸出函數(shù)。以三類分類：I、II、III為例，神經(jīng)網(wǎng)絡(luò)輸入是樣本的特征矢量，三類樣本的神經(jīng)網(wǎng)絡(luò)輸出可以是1;0;0、0;1;0、0;0;1，也可以是1;-1;-1、-1;1;-1、-1;-1;1。將所有樣本中一部分用來訓(xùn)練網(wǎng)絡(luò)，另外一部分用于

3、測(cè)試輸出。通常情況下，正確分類的第I類樣本的測(cè)試輸出并不是1;0;0或是1;-1;-1，而是如0.1;0;-0.2的輸出。也是就說，認(rèn)為輸出矢量中最大的一個(gè)分量是1，其它分量是0或是-1就可以了。3支持向量機(jī)的多類分類支持向量機(jī)的基本理論是從二類分類問題提出的。我想絕大部分網(wǎng)友僅著重于理解二類分類問題上了，我當(dāng)初也是這樣，認(rèn)識(shí)事物都有一個(gè)過程。二類分類的基本原理固然重要，我在這里也不再贅述，很多文章和書籍都有提及。我覺得對(duì)于工具箱的使用而言，理解如何實(shí)現(xiàn)從二類分類到多類分類的過渡才是最核心的內(nèi)容。下面我僅以1-a-r算法為例，解釋如何由二類分類器構(gòu)造多類分類器。二類支持向量機(jī)分類器的輸出為1,

4、-1，當(dāng)面對(duì)多類情況時(shí)，就需要把多類分類器分解成多個(gè)二類分類器。在第一種工具箱LS_SVMlab中，文件Classification_LS_SVMlab.m中實(shí)現(xiàn)了三類分類。訓(xùn)練與測(cè)試樣本分別為n1、n2，它們是3 x 15的矩陣，即特征矢量是三維，訓(xùn)練與測(cè)試樣本數(shù)目均是15；由于是三類分類，所以訓(xùn)練與測(cè)試目標(biāo)x1、x2的每一分量可以是1、2或是3，分別對(duì)應(yīng)三類，如下所示：n1 = rand(3,5),rand(3,5)+1,rand(3,5)+2;x1 = 1*ones(1,5),2*ones(1,5),3*ones(1,5); n2 = rand(3,5),rand(3,5)+1,rand

5、(3,5)+2;x2 = 1*ones(1,5),2*ones(1,5),3*ones(1,5); 1-a-r算法定義：對(duì)于N類問題，構(gòu)造N個(gè)兩類分類器，第i個(gè)分類器用第i類訓(xùn)練樣本作為正的訓(xùn)練樣本，將其它類的訓(xùn)練樣本作為負(fù)的訓(xùn)練樣本，此時(shí)分類器的判決函數(shù)不取符號(hào)函數(shù)sign，最后的輸出是N個(gè)兩類分類器輸出中最大的那一類。在文件Classification_LS_SVMlab.m的第42行：codefct = code_MOC，就是設(shè)置由二類到多類編碼參數(shù)。當(dāng)?shù)?2行改寫成codefct =code_OneVsAll，再去掉第53行最后的引號(hào)，按F5運(yùn)行該文件，命令窗口輸出有：codebook

6、 = 1-1-1-1 1-1-1-1 1old_codebook = 1 2 3比較上面的old_codebook與codebook輸出，注意到對(duì)于第i類，將每i類訓(xùn)練樣本做為正的訓(xùn)練樣本，其它的訓(xùn)練樣本作為負(fù)的訓(xùn)練樣本，這就是1-a-r算法定義。這樣通過設(shè)置codefct =code_OneVsAll就實(shí)現(xiàn)了支持向量機(jī)的1-a-r多類算法。其它多類算法也與之雷同，這里不再贅述。值得注意的是：對(duì)于同一組樣本，不同的編碼方案得到的訓(xùn)練效果不盡相同，實(shí)際中應(yīng)結(jié)合實(shí)際數(shù)據(jù)，選擇訓(xùn)練效果最好的編碼方案。4核函數(shù)及參數(shù)選擇常用的核函數(shù)有：多項(xiàng)式、徑向基、Sigmoid型。對(duì)于同一組數(shù)據(jù)選擇不同的核函數(shù)，

7、基本上都可以得到相近的訓(xùn)練效果。所以核函數(shù)的選擇應(yīng)該具有任意性。對(duì)訓(xùn)練效果影響最大是相關(guān)參數(shù)的選擇，如：控制對(duì)錯(cuò)分樣本懲罰的程度的可調(diào)參數(shù)，以及核函數(shù)中的待定參數(shù)，這些參數(shù)在不同工具箱中的變量名稱是不一樣的。這里仍以Classification_LS_SVMlab.m為例，在第38、39行分別設(shè)定了gam、sig2的值，這兩個(gè)參數(shù)是第63行trainlssvm函數(shù)的輸入?yún)?shù)。在工具箱文件夾的trainlssvm.m文件的第96、97行有這兩個(gè)參數(shù)的定義：% gam : Regularization parameter% sig2 : Kernel parameter (bandwidth in

8、 the case of the RBF_kernel)這里gam是控制對(duì)錯(cuò)分樣本懲罰的程度的可調(diào)參數(shù)，sig2是徑向基核函數(shù)的參數(shù)。所以在充分理解基本概念的基礎(chǔ)上，將這些概念與工具箱中的函數(shù)說明相結(jié)合，就可以自如地運(yùn)用這個(gè)工具箱了，因此所以最好的教科書是函數(shù)自帶的函數(shù)說明。最佳參數(shù)選擇目前沒有十分好的方法，在Regression_LS_SVMlab.m的第46至49行的代碼是演示了交叉驗(yàn)證優(yōu)化參數(shù)方法，可這種方法相當(dāng)費(fèi)時(shí)。實(shí)踐中可以采用網(wǎng)格搜索的方法：如gam=0:0.2:1，sig2=0:0.2:1，那么gam與sig2的組合就有6x6=36種，對(duì)這36種組合訓(xùn)練支持向量機(jī)，然后選擇正確識(shí)別率最大的一組參數(shù)作為最優(yōu)的gam與sig2，如果結(jié)果均不理想，就需要重新考慮gam 與sig2的范圍與采樣間隔了。5由分類由回歸的過渡LS_SVMlab、SVM_SteveGunn這兩個(gè)工具箱實(shí)現(xiàn)了支持向量機(jī)的函數(shù)擬合功能。從工具箱的使用角度來看，分類與回歸的最大區(qū)別是訓(xùn)練目標(biāo)不同?；貧w的訓(xùn)練目標(biāo)是實(shí)際需要擬合的函數(shù)值；而分類的訓(xùn)練目標(biāo)是1,2,N(分成N類)，再通過適當(dāng)?shù)木幋a方案將N類分類轉(zhuǎn)換成多個(gè)二類分類。比較文件R