參數(shù)估計及兩分類問題

1、精選優(yōu)質(zhì)文檔-傾情為你奉上模式識別上機實驗2：參數(shù)估計及兩分類問題給定2維樣本500個，存放在文件“500樣本.txt”中，其中前300個是屬于第一類的樣本，接著200個是屬于第二類的樣本（第一列為樣本的類別）。假設(shè)兩類樣本均來自正態(tài)總體，試分別估計其參數(shù)，求出決策函數(shù)和決策規(guī)則并對如下五個未知類別的樣本進(jìn)行分類。類別-1.02213.21555.000010.0002.43444.32103.19328.7089-0.62121.8253決策結(jié)果為：用馬氏距離得到的結(jié)果到樣本一的馬氏距離到樣本二的馬氏距離馬氏距離決策結(jié)果-1.02213.21551.78081.9772屬于樣本一5.0000

2、10.0001.93672.9772屬于樣本一2.43444.32100.4462.9741屬于樣本一3.19328.70891.90681.731屬于樣本二-0.62121.82530.99182.9054屬于樣本一用最小貝葉斯決策結(jié)果決策結(jié)果-1.02213.21550.1359屬于樣本一5.000010.0002.3234屬于樣本一2.43444.32104.0899屬于樣本一3.19328.7089-0.553屬于樣本二-0.62121.82533.4958屬于樣本一參數(shù)估計及兩分類問題姓名：寸正雄 學(xué)號：1.問題分析該實驗?zāi)康囊ㄟ^也知道的300個一類和200個二類樣本，由參數(shù)估計得

3、到兩類的正態(tài)函數(shù)，通過正態(tài)分布統(tǒng)計決策設(shè)計出分類器將實驗中的五個數(shù)據(jù)進(jìn)行分類。1.1 多元正態(tài)分布參數(shù)估計多元正態(tài)分布的概率密度定義如下： (1.1)其中，是維向量，是維均值向量， 是維的協(xié)方差矩陣，是的逆矩陣，是的行列式。在其密度函數(shù)中有和兩組參數(shù)。而多元正態(tài)分布對于每一個得邊緣分布都是一個一元的正態(tài)分布，其密度函數(shù)為 （1.2）由一元的正態(tài)分布參數(shù)估計可知 （1.3）這樣可以得到哥分布函數(shù)，多元正態(tài)分布函數(shù)中參數(shù)由和各分布函數(shù)所有任意兩兩變量的協(xié)方差組成 （1.4）可表示成 （1.5）1.2 Mahalanobis距離馬氏距離是由印度統(tǒng)計學(xué)家馬哈拉諾比斯(P. C. Mahalanobis

4、)提出的，表示數(shù)據(jù)的協(xié)方差距離。它是一種有效的計算兩個未知樣本集的相似度的方法。對給定的兩個樣本和，為和的協(xié)方差矩陣，馬氏距離定義如下 （1.6）表示是到的馬氏距離。如圖1.1所示，在橢圓中橢圓邊上任意一點到中心的馬氏距離是相等的。圖1.11.3 多元正態(tài)概率型下的最小錯誤率貝葉斯判別最小錯誤率貝葉斯決策規(guī)則常有四種方法：（1）（2）（3）（4） 在多元正態(tài)函數(shù)中采用上述中方法（4），可得到多元正態(tài)型下的最小錯誤率貝葉斯判別函數(shù)為 （1.7） 其中表示到的馬氏距離，是協(xié)方差矩陣，為先驗概率。決策面方程為 決策函數(shù)為 （1.8） 決策結(jié)果為 (1.9)2. 問題求解 2.1. 參數(shù)估計 該題為二

5、元正態(tài)分布， ，其密度函數(shù)為 （2.1）即 （2.2） 由二元正態(tài)參數(shù)估計可知 （2.3） (2.4) （2.5）題所給的兩個樣本可得到各樣本的密度函數(shù)參數(shù)見表2.1表2.1樣本一1.64733.92875.7140 6.5198 6.5198 10.2668樣本二0.6823 6.89522.1154 1.6827 1.6827 3.4679求出各參數(shù)就可以得到兩個樣本的分布密度函數(shù)，把其繪制成二維圖像如下，其中*號代表的是第二類樣本點，o號代表第一類樣本點。圖2.1 兩個樣本的二維圖像2.2求未知類別的樣本到各樣本的的馬氏距離由上面1.2中公式（1.6）可以得到未知類別的樣本到2.1中所求

6、的兩個樣本的的馬氏距離如下表，并用馬氏距離的比較，到哪個樣本的馬氏距離小將其分為該類。表2.2到樣本一的馬氏距離到樣本二的馬氏距離馬氏距離決策結(jié)果-1.02213.21551.78081.9772屬于樣本一5.000010.0001.93672.9772屬于樣本一2.43444.32100.4462.9741屬于樣本一3.19328.70891.90681.731屬于樣本二-0.62121.82530.99182.9054屬于樣本一2.3最小錯誤率貝葉斯判別設(shè)分別表示兩個類別，分別表示兩類的先驗概率，由上面1.3中決策函數(shù)（1.8）式，和決策結(jié)果（1.9）氏，就可以得到?jīng)Q策結(jié)果，但在（1.8）

7、式中還有，是未知的，這里就假設(shè)他所選的兩個樣本與實際相符，兩類的先驗概率就假設(shè)為，做此假設(shè)后并可求出值，再更具決策結(jié)果（1.9）式得到?jīng)Q策表如下表2.3決策結(jié)果-1.02213.21550.1359屬于樣本一5.000010.0002.3234屬于樣本一2.43444.32104.0899屬于樣本一3.19328.7089-0.553屬于樣本二-0.62121.82533.4958屬于樣本一3. 程序代碼實驗結(jié)果在上面?zhèn)€表中，實驗中所需的MATLAB代碼如下：3.1.樣本 yangbenzhi.myangben=1.0000 2.1839 3.0859 2.0000 -0.0694 8.152

8、4;yangben1=yangben(1:300,:,:);yangben2=yangben(301:500,:,:);3.2.參數(shù)求解 canshu.mfunction U S=canshu(YB) X=YB(:,2);Y=YB(:,3);U=mean(X);mean(Y);S=cov(X,Y);3.3.正態(tài)密度函數(shù) f.mfunction z=f(X,S,U) d=size(S);d=d(1);z=(2*pi)(d/2)*sqrt(det(S)*exp(-1/2*(X-U)'*S-1*(X-U);3.4.馬氏距離 mashijuli.mfunction R=mashijuli(X,

9、U,S)R=sqrt(X-U)'*S-1*(X-U);3.5.用馬氏距離判別 MSJL.mYB=-1.0221 3.21555.0000 10.0002.4344 4.32103.1932 8.7089-0.6212 1.8253;yangbenzhi;U1 S1=canshu(yangben1);U2 S2=canshu(yangben2);R=;JG=;for i=1:5 R1=mashijuli(YB(i,:)',U1,S1); R2=mashijuli(YB(i,:)',U2,S2); R=R;R1 R2; if R1>R2 JG=JG;'屬于樣本

10、二 ' else JG=JG;'屬于樣本一' endenddisp('馬氏距離為：');disp(R);disp('馬氏距離決策結(jié)果為：');disp(JG);3.6.繪制樣本二維圖像 HZTX.myangbenzhi;X1=yangben1(:,2);Y1=yangben1(:,3);X2=yangben2(:,2);Y2=yangben2(:,3);plot(X1,Y1,'*',X2,Y2,'o');U1 S1=canshu(yangben1);U2 S2=canshu(yangben2);x=lins

11、pace(-5,9,200);y=linspace(-5,12,200);for i=1:200 for j=1:200 zf1(i,j)=f(x(i) y(j)',S1,U1); zf2(i,j)=f(x(j) y(i)',S2,U2); endendhold on;contour(x,y,zf1,16);contour(x,y,zf2,16); hold off;3.7.最小錯誤率貝葉斯決策 ZXBYS.mYB=-1.0221 3.21555.0000 10.0002.4344 4.32103.1932 8.7089-0.6212 1.8253;PW1=0.6;PW2=0.4;yangbenzhi;U1 S1=canshu(yangben1);U2 S2=canshu(yangben2);JG=;for i=1:5 R1=mashijuli(YB(i,:)',U1,S1); R2=mashijuli(YB(i,:)',U2,S2); G(i)=-1/2*(R12-R22)-1/2*log(