基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)

1、基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)專業(yè)：電子信息工程學(xué)生姓名：李子龍學(xué) 號：201316040117一、實(shí)驗(yàn)類型設(shè)計(jì)型：線性分類器設(shè)計(jì)（Fisher準(zhǔn)則）二、實(shí)驗(yàn)?zāi)康谋緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對線性分類器有更深刻地認(rèn)識，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理。三、實(shí)驗(yàn)條件matlab軟件四、實(shí)驗(yàn)原理線性判別函數(shù)的一般形式可表示成 其中 根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向W的函數(shù)為： 上面的公式是使用Fis

2、her準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運(yùn)算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是d×d維，得到的也是一個d維的向量。向量就是使Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量 的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)尚未確定，一般可采用以下幾種方法確定如或者 或當(dāng)與已知時可用當(dāng)W0確定之后，則可按以下規(guī)則分類，使用Fisher準(zhǔn)則方法確定最佳線性分界

3、面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。五、實(shí)驗(yàn)內(nèi)容已知有兩類數(shù)據(jù)和二者的概率已知=0.6， =0.4。中數(shù)據(jù)點(diǎn)的坐標(biāo)對應(yīng)一一如下： 數(shù)據(jù)：x1 = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5

4、152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099x2 = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2

5、.2604x3 = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點(diǎn)的對應(yīng)的三維坐標(biāo)為x1 = 1.4010 1.2301 2.0814 1

6、.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414x2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2

7、889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288x3 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.939

8、8 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本點(diǎn)分布如下圖：圖 1：樣本點(diǎn)分布圖六、實(shí)驗(yàn)要求1) 請把數(shù)據(jù)作為樣本，根據(jù)Fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評價投影方向的函數(shù)，并在圖形表示出來。并在實(shí)驗(yàn)報告中表示出來，并求使取極大值的。用matlab完成Fisher線性

9、分類器的設(shè)計(jì)，程序的語句要求有注釋。2) 根據(jù)上述的結(jié)果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其在上的投影。3) 回答如下問題，分析一下的比例因子對于Fisher判別函數(shù)沒有影響的原因。七、實(shí)驗(yàn)結(jié)果1、源代碼x1=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 . 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 . -0.5431 0.9407 -0.2126

10、0.0507 -0.0810 0.7315 . 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 . 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 . 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099' y1=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 . 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 . 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 .

11、2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 . 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 . 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604' z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 . 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 . 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 . 1.0299 0.7127 1.0124 0.4576 0.

12、8544 1.1275 . 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 . 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548' %存儲第一類點(diǎn) x2=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 . 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 . 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 . 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 . 2.9313 1

13、.8349 1.8340 2.5096 2.7198 2.3148 . 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414' y2=1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 . 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 . 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 . 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 . 1.2833 1.1029 1.2680 0.7140 1.2446 1.3

14、392 . 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288' z2=0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 . 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 . 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 . 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 . 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 . 0.7548 0.7393 0.6739 0.8

15、651 1.3699 1.1458' %存儲第二類點(diǎn)Pw1=0.6Pw2=0.4%求第一類點(diǎn)的均值向量m1m1x=mean(x1(:) %全部平均m1y=mean(y1(:) %全部平均m1z=mean(z1(:) %全部平均m1=m1x m1y m1z%求第二類點(diǎn)的均值向量m2m2x=mean(x2(:) %全部平均m2y=mean(y2(:) %全部平均m2z=mean(z2(:) %全部平均m2=m2x m2y m2z%求第一類類內(nèi)離散矩陣S1S1=zeros(3,3)for i=1:36 S1=S1+(x1(i),y1(i),z1(i)'-m1)*(x1(i),y1(i

16、),z1(i)'-m1)'end%求第二類類內(nèi)離散矩陣S2S2=zeros(3,3)for i=1:36 S2=S2+(x2(i),y2(i),z2(i)'-m2)*(x2(i),y2(i),z2(i)'-m2)'end%求總類內(nèi)離散度矩陣SwSw=S1+S2%求向量W*W=(inv(Sw)*(m1-m2)%畫出決策面x=0:.1:2.5y=0:.1:3X,Y=meshgrid(x,y)Z=(W(1)*X+W(2)*Y)/(-W(3)mesh(X,Y,Z)%保持hold on%透視決策面hidden off%求第一類樣品的投影值均值Y1=0for i=1

17、:36 Y1=Y1+W'*x1(i),y1(i),z1(i)'endM1=Y1/36%求第二類樣品的投影值均值Y2=0for i=1:36 Y2=Y2+W'*x2(i),y2(i),z2(i)'endM2=Y2/36%選取閾值Y0Y0=(M1+M2)/2+(log(Pw1)/log(Pw2)/70%判定未知樣品類別X1=1,1.5,0.6'if W'*X1>Y0 disp('點(diǎn)X1(1,1.5,0.6)屬于第一類') plot3(1,0.5,0.6,'or')else disp('點(diǎn)X1(1,1.5,

18、0.6)屬于第二類') plot3(1,0.5,0.6,'ob')endX2=1.2,1.0,0.55'if W'*X2>Y0 disp('點(diǎn)X2(1.2,1.0,0.55)屬于第一類') plot3(1.2,1.0,0.55,'or')else disp('點(diǎn)X2(1.2,1.0,0.55)屬于第二類') plot3(1.2,1.0,0.55,'ob')endX3=2.0,0.9,0.68'if W'*X3>Y0 disp('點(diǎn)X3(2.0,0.9,0.68)屬于第一類') plot3(2.0,0.9,0.68,'or')else disp('點(diǎn)X3(2.0,0.9,0.68)屬于第二類') plot3(2.0,0.9,0.68,'ob')endX4=1.2,1.5,0.89'if W'*X4>Y0 disp('點(diǎn)X4(1.2,1.5,0.89)屬于第一類') plot3(1.2,1.5,0.89,'or')else disp('點(diǎn)X4(1.2,1.5,0.89)屬于第二類') plot3(1.2,1.5,0.8