模式識別習題課

本文格式為Word版，下載可任意編輯——模式識別習題課

1、在圖像識別中，假定有灌木和坦克2種類型，它們的先驗概率分別是0.7和0.3，損失函數(shù)如下表所示。其中，類型w1和w2分別表示灌木和坦克，判決a1=w1，a2=w2?，F(xiàn)在做了2次試驗，獲得2個樣本的類概率密度如下：

P(x|?1)?0.2P(x|?2)?0.6

0.50.3

狀態(tài)損失決策a1a2W1W20.5421.0（1）試用最小錯誤率貝葉斯準則判決2個樣本各屬于哪一類？坦克、灌木。（2）試用最小風險決策規(guī)則判決2個樣本各屬于哪一類？灌木、灌木。答：（1）最小錯誤率貝葉斯準則

第一個樣本：p(x|?1)P(?1)0.2*0.714P(?1|x)?2???0.43750.2*0.7?0.6*0.332?p(x|?j)P(?j)j?1P(?2|x)?1?P(?1|x)?1?0.4375?0.5625P(?2|x)?P(?1|x)?x??2，決策為坦克其次個樣本：p(x|?1)P(?1)0.5*0.735P(?1|x)?2???0.7950.5*0.7?0.3*0.344p(x|?)P(?)?jjj?1

P(?2|x)?1?P(?1|x)?1?0.795?0.205?P(?2|x)?P(?1|x)?x??1，決策為灌木（2）最小風險決策規(guī)則

944?11?0.5?12?2?21?4?22?1.0第一個樣本R(a1|x)???1jP(?j|x)??11P(?1|x)??12P(?2|x)j?12?0.5*0.4375?2*0.5625?1.35375R(a2|x)???2jP(?j|x)??21P(?1|x)??22P(?2|x)j?12

?4*0.4375?1.0*0.5625?2.3175R(a1|x)?R(a2|x)?x??1，決策為灌木其次個樣本R(a1|x)???1jP(?j|x)??11P(?1|x)??12P(?2|x)j?12?0.5*0.795?2*0.205?0.8075R(a2|x)???2jP(?j|x)??21P(?1|x)??22P(?2|x)j?12

?4*0.795?1.0*0.205?3.385R(a1|x)?R(a2|x)?x??1，決策為灌木

2、給出二維樣本數(shù)據(jù)(-1,1),(2,2),(1,-1),(-2,-2)，試用K-L變換作一維數(shù)據(jù)壓縮。

答：數(shù)據(jù)壓縮結果：0，22，0，?221.樣本的均值向量為:m?1?0??0???????0??04???????2??1???2?1???1??????????????????11?22?1?1??2?2????2???1???2?4???1????????2自相關矩陣.R??1?106??2.51.5??????????6101.52.54????3.求特征值與特征向量??2.5?1.5?1.5??2.5?0??1?4,?2?1特征向量(標準)分別是:?2??2??????X1??2?,X2??2??2??2??????2??2?4.取更大的特征值所對應的特征向量X1為變換矩陣5.將原樣本變換成一維樣本(分別用X1左乘以每原數(shù)據(jù)樣本),得?22????22??02222*2?*2220?2222?22?22*(?2)?*(?2)??22?T

??0算出m后應當把它當作坐標原點重新計算其他坐標值

3|λE-A|=0

(λE-A)*X=00向量?平移坐標系，將模式的總體均值向量作為新坐標系的原點?求隨機向量X的自相關矩陣?求自相關矩陣的n個特征值及其對應的特征向量?將特征值從大到小排序，取前m個大的特征值所對應的特征向量構成新的變換矩陣?將n維向量變換為m維新向量3、已知兩類的數(shù)據(jù)：ω1：(1,0),(2,0),(1,1)；ω2：(-1,0),(0,1),(-1,1)，試求該組數(shù)據(jù)的類內(nèi)與

類間散布矩陣。

答:1).取均值向量1mi?x?Nix??i?41??22?m1???,m2????3333????2).分別計算兩個類與均值向量的距離平方和S1?1?2?1?T??(x?m)(x?m)??11?3??12?x??1?TTT1??1???3??3??2??31???3?T?1???3T2?3??T1?21?S2??(x?m2)(x?m2)???12??3x??2??2??1?2????3??3??33).計算Sw與SbT1?3??T?1???31?3??T1?2?1?1?21?1?40????Sw?S1?S2???????????3??12?3?12?3?04???6????61?1?36?6?T3???Sb?(m1?m2)(m1?m2)???????13?9??61?????3????3?Sw（within）neileiSb(betwwen)neijian

4、已知歐氏二維空間中兩類9個訓練樣本w1:(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T

w2:(1,1)T,(2,0)T,(1,-1)T,(2,1)T,(2,2)T，試分別用最近鄰法和K近鄰法求測試樣本(0,0)T的分類，取K=5，7。

答：

最近鄰法：最近鄰為(-1，0)T分類為w1

K近鄰法：

K=5：5個近鄰為1類的(-1,0)T,(-2,0)T，2類的(1,1)T,(2,0)T,(1,-1)T分類為w2

K=7：1）若近鄰為1類的(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T，2類的(1,1)T,(2,0)T,(1,-1)T，則分類為w1

2）若近鄰為1類的(-1,0)T,(-2,0)T,(-2,1)T或(-2,-1)T兩個之一，2類的(1,1)T,(2,0)T,(1,-1)T,(2,1)T，則分類為w2

2、已知兩類的訓練樣本：w1(0,0)T,(0,2)T;w2(2,0)T,(2,2)T，試用最小平方誤差準則算法進行分類器訓練，求解向量w*。

1.什么是模式與模式識別2.什么是誤差平方和準則

對于一個給定的聚類，均值向量是最能代表聚類中所有樣本的一個向量，也稱其為聚類中心。一個好的聚類方法應能使集合中的所有向量與這個均值向量的誤差的長度平方和最小。3.確定線性分類器的主要步驟

采集訓練樣本，構成訓練樣本集。樣本應當具有典型性

確定一個準則J=J(w,x)，能反映分類器性能，且存在權值w*使得分類器性能最優(yōu)設計求解w的最優(yōu)算法，得到解向量w*4.分級聚類算法的2種基本途徑是什么

按事物的相像性，或內(nèi)在聯(lián)系組織起來，組成有層次的結構，使得本質(zhì)上最接近的劃為一類，然后把相近的類再合并，依次類推，這就是分級聚類算法的基本思想。

聚合法：把所有樣本各自看為一類，逐級聚合成一類?；舅悸肥歉鶕?jù)類間相像性大小逐級聚合，每級只把相像性最大的兩類聚合成一類，最終把所有樣本聚合為一類。分解法：把所有樣本看做一類，逐級分解為每個樣本一類。5.什么是K近鄰法

取未知樣本x的k個近鄰，看這k個近鄰中多數(shù)屬于哪一類，就把x歸為哪一類。6.監(jiān)視學習與非監(jiān)視學習的區(qū)別

利用已經(jīng)標定類別的樣本集進行分類器設計的方法稱為監(jiān)視學習。好多狀況下無法預先知道

樣本的類別，從沒有標記的樣本集開始進行分類器設計，這就是非監(jiān)視學習7.什么是支持向量機

過兩類樣本中離分類面最近的點且平行于最優(yōu)分類面的超平面上的訓練樣本，叫做支持向量。

支持向量機的基本思想：首先通過非線性變換將輸入空間變換到一個高維空間，然后在這個新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過定義適當?shù)膬?nèi)積函數(shù)實現(xiàn)的。8.近鄰法的基本思想是什么

作為一種分段線性判別函數(shù)的極端狀況，將各類中全部樣本都作為代表點，這樣的決策方法就是近鄰法的基本思想。9.描述K均值聚類算法

給定一個數(shù)據(jù)點集合和需要的聚類數(shù)目k，k由用戶指定，k均值算法根據(jù)某個距離函數(shù)反復把數(shù)據(jù)分入k個聚類中。先隨機選取K個對象作為初始的聚類中心。然后計算每個對象與各個種子聚類中心之間的距離，把每個對象分派給距離它最近的聚類中心。聚類中心以及分派給它們的對象就代表一個聚類。一旦全部對象都被分派了，每個聚類的聚類中心會根據(jù)聚類中現(xiàn)有的對象被重新計算。10.詳細寫出感知器訓練算法步驟

給定初始值：置k=0，權向量w(k)為任意值，可選常數(shù)0＜c≤1輸入樣本xm∈{x1,x2,?,xn}，計算判決函數(shù)值g(xm)=wT(k)xm按如下規(guī)則修改權向量

若xm∈wi，且g(xm)≤0，則w(k+1)=w(k)+cxm若xm∈wj，且g(xm)＞0，則w(k+