Fisher分類器算法及程序

1、3.5 Fisher分類器（Fisher Linear Discriminant）w1類w2類q判為w1判為w20xp1xp2圖3.4, Fisher判別法幾何原理示意圖Fisher判別法是歷史上最早提出的判別方法之一，其基本思想是將n類m維數(shù)據(jù)集盡可能地投影到一個方向（一條直線），使得類與類之間盡可能分開。從形式上看，該方法就是所謂的一種降維處理方法。為簡單起見，我們以兩類問題w1和w2的分類來說明Fisher判別法的原理，如圖3.4所示。設(shè)數(shù)據(jù)陣為XÎRN´m，w1共有N1個樣本，w2共有N2個樣本，N= N1+N2。兩個類別在輸入空間的均值向量為設(shè)有一個投影方向，這兩

2、個均值向量在該方向的投影為在方向，兩均值之差為類似地，樣本總均值向量在該方向的投影為定義類間散度(Between-class scatter)平方和SSB為其中定義類wj的類內(nèi)散度(Within-class scatter)平方和為兩個類的總的類內(nèi)散度誤差平方和為其中，我們的目的是使類間散度平方和SSB與類內(nèi)散度平方和SSw的比值為最大，即圖3.5a, Fisher判別法類間散度平方和（分子）的幾何意義w1類w2類q0xp1xp2圖3.5b, Fisher判別法類內(nèi)散度平方和（分母）的幾何意義w1類w2類q0xp1xp2圖3.5給出了類間散度平方和SB與類內(nèi)散度平方和SE的幾何意義。根據(jù)圖3.

3、5a，類間散度平方和SB的另一種表示方式為這里可以證明，(3.48)與(3.42)只相差一個系數(shù)。簡單證明如下：由于由(3.42)得這說明，(3.48)與(3.42)只相差一個與樣本數(shù)有關(guān)的常數(shù)。根據(jù)圖3.5b，類內(nèi)散度平方和SSE的另一種表示方式為這正是(3.44)。下面分析怎樣確定最佳投影方向。顯然， SB、SW均為對稱陣，于是，=，且SW= 。令，則，代入(3.46)，得使(3.52)為最大，等價于求最大特征值 對應(yīng)的特征向量。即我們知道，于是，(3.53)可寫成這說明，得方向與的方向一致，即因此，在應(yīng)用過程中，我們往往不必求出類間散度陣。與輸入空間維數(shù)相等，或者說，投影方向過原點。設(shè)分

4、類閾值為q，則判別公式為確定q的一些經(jīng)驗公式為(1) 取兩個類別均值在方向投影的簡單平均(2) 考慮樣本數(shù)的兩個類別均值在方向投影的平均或(3) 考慮類方差的兩個類別均值在方向投影的平均或這里，、分別為兩個類別在方向投影的均方差。當(dāng)然，當(dāng)類內(nèi)散度陣不可逆時，F(xiàn)isher判別法失效。例5 在研究地震預(yù)報中，遇到沙基液化問題，選擇了下列7個有關(guān)的因素：x1：震級,x2：震中距（公里）,x3：水深（米），x4：土深（米）x5：貫入值，x6：最大地面加速度（10-2N/m2），x7：地震持續(xù)時間（秒）。具體數(shù)據(jù)如表1所示。x1x2x3x4x5x6x7類別序號6.6391.06.06.00.1220I1

5、6.6391.06.0120.1220I26.1471.06.06.00.0812I36.1471.06.0120.0812I48.4322.07.5190.3575I57.26.01.07.0280.3030I68.41133.56.0180.1575I77.5521.06.0120.1640I87.5523.57.56.00.1640I98.31130.07.5350.12180I107.81721.03.5140.2145I117.81721.53.0150.2145II128.4321.05.04.00.3575II138.4322.09.0100.3575II148.4322.54.

6、0100.3575II156.3114.57.53.00.2015II167.08.04.54.59.00.2530II177.08.06.07.54.00.2530II187.08.01.56.01.00.2530II198.31611.54.04.00.0870II208.31610.52.51.00.0870II217.26.03.54.0120.3030II227.26.01.03.03.00.3030II237.26.01.06.05.00.3030II245.56.02.53.07.00.1818II258.41133.54.56.00.1575II268.41133.54.58.

7、00.1575II277.5521.06.06.00.1640II287.5521.07.58.00.1640II298.3970.06.05.00.15180II308.3972.56.05.00.15180II318.3890.06.0100.16180II328.3561.56.0130.25180II337.81721.03.56.00.2145II347.82831.04.56.00.1845II35解，設(shè)數(shù)據(jù)文件名為d:a.txt，用Matlab實現(xiàn)的源程序如下load d:ss.txt;a=ss;m=mean(a(1:12,:);m(2:2,:)=mean(a(13:35,:);

8、ssb=(m(1:1,:)-m(2:2,:)'*(m(1:1,:)-m(2:2,:);ssw=zeros(7,7);for i=1:12,ssw=ssw+(a(i:i,:)-m(1:1,:)'*(a(i:i,:)-m(1:1,:);endfor i=13:35,ssw=ssw+(a(i:i,:)-m(2:2,:)'*(a(i:i,:)-m(2:2,:);endw=inv(ssw)*(m(1:1,:)-m(2:2,:)'result=a*w;theta=w'*(m(1:1,:)+m(2:2,:)'/2;for i=1:35,result(i:i,2

9、:2)=theta;result(i:i,3:3)=i;end投影方向向量為=(0.0202, -0.0001, -0.0175, 0.0156, 0.0160, -0.7333, -0.0016)T，分類閾值為q=0.1358。決策面方程為p: l(x)=0.0202x1-0.0001x2-0.0175x3+0.0156x4+0.0160x5-0.7333x6-0.0016 x7-0.1358=0.分類結(jié)果為序號wTxq=0.1358 (3.58)q=0.1007 (3.59)q=0.1709 (3.60)q=0.1567 (3.61)q=0.1149 (3.62)10.181220.277230.212540.308550.174960.416370.247580.232590.1160*100.4551110.1745120.173913-0.0866140.054215-0.0325160.0414170.044218-0