實驗四支持向量機分析

1、實驗四：支持向量機班級 姓名學(xué)號指導(dǎo)老師.實驗?zāi)康?. 了解基有關(guān)支持向量機的基本原理2. 能夠使用支持向量機的代碼解決分類與回歸問題3. 了解圖像分類的基本原理二、實驗的硬件、軟件平臺硬件：計算機軟件：操作系統(tǒng)winlO應(yīng)用軟件：Java三、實驗原理1. LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的。 如果是Windows系列操作 系統(tǒng)，可以直接使用軟件包提供的程序，也可以進行修改編譯；如果是Unix類系統(tǒng)，必須自己編譯。LIBSVM在給出源代碼的同時還提供了 Win dows操作系統(tǒng)下的可執(zhí)行文件， 包括：進行支持向量機訓(xùn)練的svmtrain.exe ;根據(jù)已獲

2、得的支持向量機模型對 數(shù)據(jù)集進行預(yù)測的svmpredict.exe ;以及對訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)進行簡單縮放 操作的svmscale.exe。它們都可以直接在DOS環(huán)境中使用。如果下載的包中只 有C+勺源代碼，則也可以自己在 VC等軟件上編譯生成可執(zhí)行文件。2. LIBSVM使用的一般步驟是：1) 按照LIBSVM軟件包所要求的格式準(zhǔn)備數(shù)據(jù)集；2) 對數(shù)據(jù)進行簡單的縮放操作；3) 考慮選用RBF核函數(shù)；4) 采用交叉驗證選擇最佳參數(shù)C與g ；5) 采用最佳參數(shù)C與g對整個訓(xùn)練集進行訓(xùn)練獲取支持向量機模型；6) 利用獲取的模型進行測試與預(yù)測。3. LIBSVM使用的數(shù)據(jù)格式1) 訓(xùn)練數(shù)據(jù)和檢驗數(shù)據(jù)

3、文件格式如下：:.其中 是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對于分類，它是標(biāo)識某類的整 數(shù)(支持多個類)；對于回歸，是任意實數(shù)。 是以1開始的整數(shù)，可以 是不連續(xù)的；為實數(shù)，也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的 label只用于計算準(zhǔn)確度或誤差，如果它是未知的，只需用一個數(shù)填寫這一欄， 也可以空著不填。在程序包中，還包括有一個訓(xùn)練數(shù)據(jù)實例： heart_scale，方便參考數(shù)據(jù)文件格 式以及練習(xí)使用軟件?？梢跃帉懶〕绦?，將自己常用的數(shù)據(jù)格式轉(zhuǎn)換成這種格式2）Svmtrain 和 Svmpredict 的用法LIBSVM軟件提供的各種功能都是DOS命令執(zhí)行方式。我們主要 用到兩個程序，svmtrain（訓(xùn)

4、練建模）和svmpredict（使用已有的模型進行預(yù)測）， 下面分別對這兩個程序的使用方法、各參數(shù)的意義以及設(shè)置方法做一個簡單介 紹：（1）Svmtrain 的用法：svmtrain opti ons trai nin g_set_filemodel_file Options :可用的選項即表示的涵義如下-s svm類型：SVM設(shè)置類型（默認(rèn)0）0 - C-SVC1 -v-SVC2 - 一類 SVM3 - e -SVR4 - v-SVR-t核函數(shù)類型：核函數(shù)設(shè)置類型（默認(rèn)2）0- 線性：uv1 -多項式：（r*uv + coef0）Adegree2 RBF函數(shù)：exp（-r|u-vF2）3 -

5、 sigmoid : tanh（r*uv + coefO）-d degree :核函數(shù)中的degree設(shè)置（默認(rèn)3）-g 函數(shù)設(shè)置（默認(rèn)1/ k）?r（gama）:核函數(shù)中的-r coefO :核函數(shù)中的coefO設(shè)置（默認(rèn)0）?-c cost :設(shè)置 C-SVC-SVR 的參數(shù)（默認(rèn) 1）?-SVR 和-SVR的參數(shù)（默認(rèn)0.5）?-SVC, 類SVM和？-n nu:設(shè)置 -SVR?-p e：設(shè)置的值（默認(rèn)0.1）?中損失函數(shù)-m cachesize :設(shè)置cache內(nèi)存大小，以 MB為單位（默認(rèn)40）-e :設(shè)置允許的終止判據(jù)（默認(rèn)0.001）?-h shri nki ng :是否使用啟發(fā)

6、式，0或1（默認(rèn)1）-wiC（C-SVC中的C）（默認(rèn)1）?weight :設(shè)置第幾類的參數(shù) C為weight-v n: n-fold交互檢驗?zāi)Ｊ狡渲?g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù)。option -v 隨機地將數(shù)據(jù)剖 分為n部分并計算交互檢驗準(zhǔn)確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照 SVM的類型和核函數(shù)所支持的參數(shù)進行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確， 參數(shù)將采用默認(rèn)值。trainin g_set_file是要進行訓(xùn)練的數(shù)據(jù)集；model_file是訓(xùn)練結(jié)束后產(chǎn)生的模型文件，文件中包括支持向量樣本數(shù)、支持向量

7、樣本以及 lagrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設(shè)置將采用默認(rèn)的文件名，也可以 設(shè)置成自己慣用的文件名。（2）Svmpredict 的用法：svmpredict test_filemodel_file output_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進行預(yù)測的數(shù)據(jù)文件；Output_file 是svmpredict的輸出文件。svm-predict 沒有其它的選項。四、實驗內(nèi)容及步驟支持向量機算法訓(xùn)練分類器:1. 訓(xùn)練數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.doc ”，前150個數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)， 其他數(shù)據(jù)作為測試數(shù)據(jù)，數(shù)據(jù)中“ +T“-1”分別

8、表示正負樣本。2. 使用代碼中的C-SVC算法和默認(rèn)參數(shù)來訓(xùn)練“分類數(shù)據(jù)集.doc ”中所有的 數(shù)據(jù)（包括訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)），統(tǒng)計分類查準(zhǔn)率。m命會提示符-:Osers Ml dm in is tra, exe 1 -txt 2ptimization Finished, Biter = 162u - ,431029bj = -100.877288, rha = Q.424462SU = 132f nBSU = 107Didi nl 13:JJsersMldniinistratorXDesktopXlibsui3-20windowssvn-ppedict *exe 1. txt 2 3 ccu

9、racy 86 .ftf67vi 234/2?B) sn-train .exe v 10 i .txt 2 pt Imlsat ton finj ttltfri- lg3u = 0.4B7663bj = -96,023257, rho = 0.360977EU - 125 nfiEU - 1BUotal nSU = 125pt imlaat tan f in , ttitfri* 172u = 0.439324bj = -91.326460, rho = 0.419186U 120, nBU 92otal nSU = 120pt imlzat ion F 左II, ttlt frl* IB?u

10、 = 0.449487bj = -9.364450. rho = 0.475975EU 124, nBU otal nSU = 124pt in丄mat inn !, ttltfti- 132u = 0.419548bj = -86,660809, rho = 0.248152SU - 115 nBU - 91otal nSU = 115CrvSs Ualidation Accurcv 81,8519;4. 使用2中的設(shè)置在訓(xùn)練數(shù)據(jù)的基礎(chǔ)上學(xué)習(xí)分類器，將得到的分類器在測試數(shù)據(jù)上進行分類預(yù)測，統(tǒng)計查準(zhǔn)率5. 在4上嘗試不同的C值（“-c ”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率曲 線。：sersM

11、ldniinistratorDessumtrain .exe -c 0.5 1. txt 2pt inlzat ion f irtished Alter 131u = 0.492462bj = -56,525401. pho = 0.239152SU - 44e nBSU - 125otal nSU = 144StlserssAdminLtratDrxDesktopMihsum-320uindoussumtpain .ext -c 1 1. txt 2pt inizat tan Finttittr 1 b2u = 0.431029bj = -100.877288, rhu = 0,424462

12、EU 13Z, nBSU 107otdl nSU = 132:MJaps Adnlnistv&tai*Deskt：dpMihsun-320uindnu& suntnain -e 1*5 1, txt 2pt inizat ion f in is bed, ttiter = 1&6u bj = -142.131581, pho = 0.474903SU = 12BF nBSV = 97otl nU - 12&C： Elsers Adilin is tFat orXDesktopXlihsum3 .20windowssuin-tra in .exe -c 2 1 .txt 2 apt imlzat

13、 ian f ini is bed, ttitsr 22tinu = 0.388793obj = -181,110841, rho =433596iU - 123, nBSU - 90rotal nSU = 123C: UsepsAdriin IstFatorxOesktopMihsum3 .20uindoussum-tFEin.exe -c 2 .5 1. txt 2M-apt inizat ion Finished ttitr - 23丫nu = 0.377fll5obj = -218.307424, rho = 0.453258iSU - 12Bf nBSU - 4fotal nSU =

14、 1206. 嘗試不同的kernel函數(shù)（“-t ”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率 曲線，對每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評估查準(zhǔn)率。C： Mikels Mldmin istpatorDesktopMibsum3 -20windowssvn-tpa in .exe -t 0 1, txt 2 opt Ldization f in ished ttiter = 1010nu = .358371obj -92.4733E6., rhb -1.B5Q69MnSU = 101, nBSU = 88Total nSU = 101C：ratorSDesktopXlihsuri3-20wind

15、owssum-tpain .exe -t 1 1 .txt 2*opt imlzat ion f iniishEd, ttitftr 14Hnu = 0.605080obj = -131.800243, Fha = -0,16568BnSU - 177, nBSU - 151Total nSU = 17?C： LJ5epsAdministpatDrxDesktaplihsuin3.20uindausGum-trLain .exe -t 2 1 .txt 2*optlnization FinishedP ttiter = 1BZnu 0.431029obj = -100.877288, rho

16、= 0.424462nSU = 132f nBSU = 107TntAl nSU - 132C： Uveps Admin istratDrXDesktapXl ibsuin-320windaws sv(ntra in ex? -t 3 1 txt 2 pt imization f in ished ttiter = 157 nu - 0.43762bj = -110.099362, pho = -0.333939nSU = 124r nBU = 11&Total nU - 124支持向量機算法訓(xùn)練回歸方程:(1).回歸數(shù)據(jù)集：見文檔“回歸數(shù)據(jù)集.doc ”，總共506個數(shù)據(jù)，數(shù)據(jù)中 前13個屬

17、性作為輸入，最后一個屬性作為輸出。C： MisersMflldninistratDrxDesktopXlibsvni3.20winidowssiuiin-piiedict .exe 2 .txt 2 .txt.model nean squared error = 9.681692 nSquared correlat ion coeff ic icnt = 0203485 (repress ion(2).使用代碼中的epsilon-SVR算法和默認(rèn)參數(shù)來訓(xùn)練“回歸數(shù)據(jù)集.doc 中所有的數(shù)據(jù)，統(tǒng)計回歸方程在每個數(shù)據(jù)點輸出的誤差并進行誤差分析。MinersMndministratDrSeskita

18、pXlib5MnK320vwindawssvristrain-s 3 2.txt 5pt imizat ion f inished ttiter = 90u = 0.885835bj = -89,070542. rho = 0.381291U z 125, nBU 112(3) .在2上嘗試不同的epsilon值(“-p ”參數(shù))來調(diào)節(jié)epsilon-SVR算法 的性能。C： IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows5vn-trfl in .ext -s 3 -p 0.22 . txt 5M ptimization f in isbed, t

19、titer = 82nu = 0.864823bj - -77.S34421, pBd - 0.339066nGU = 121, nBSU =詢C： Jlsei5dmlnitpatDrLJ)esktapXlibum3.20uindnussumtrain .exe s 3 -p 0.3 2 . txt 5 * ptinization f in ishedP ttitei = ?5nu - 0.847488bj = -66.240874, rho = 0.298788nSU =nBSV = 107C： MIsepsMIdnini that orDesktoplibsuii3 _20uindDuss

20、um 一 t rain . exe -s 3 -p 0.4 2.txt 5Mroption fin is lied, Kiter = 81nu = 0.830030bj - -55,164745F rho - &.233221nSU = 114. nBSU = 1&4C- Slllgars AdministratDrM)esktaDlibsvin-3.2QwindawESJn_train -exe f 3 -p 0-E 2* txt 5 * pt inizat ian f inisiedF ttiter = 86nu = 0.?99?57bj = -4,39563 rho = 0.228635nSU - 112, nBSU - 95五、思考題:答：k-折交叉驗證(k-fold crossValidation)就是在機器學(xué)習(xí)中，將1闡述k-折交叉驗證的思想，比較1.2和1.3的性能數(shù)據(jù)集A分為訓(xùn)練集(training set) B和測試集(test set)C,在樣本量 不充足