基于貝葉斯決策理論的分類器(1)ppt課件

1、第二章基于貝葉斯決策實際的分類器Classifiers Based on Bayes Decision Theory.1 引言2 Bayes決策實際 最小錯誤率的貝葉斯決策 最小風險的貝葉斯決策3 Bayes分類器和判別函數(shù)4 正態(tài)分布的Bayes決策 1 引言方式識別是根據(jù)對象特征值將其分類。 d個特征組成特征向量x=x1,xdT，生成d 維特征空間，在特征空間一個 x 稱為一個方式樣本。Bayes決策實際是用概率統(tǒng)計方法研討決策問題。 為什么可用Bayes決策實際分類？ 樣本的不確定性： 樣本從總體中抽取，特征值都是隨機變量，在一樣條件下反復觀測取值不同，故x為隨機向量。 特征選擇的不完善

2、引起的不確定性； 丈量中有隨機噪聲存在。 另一方面從樣本的可分性來看：當各類方式特征之間有明顯的可分性時，可用直線或曲線(面)設(shè)計分類器，有較好的效果。當各類別之間出現(xiàn)混淆景象時，那么分類困難。 這時需求采用統(tǒng)計方法，對方式樣本的統(tǒng)計特性進展觀測，分析屬于哪一類的概率最大。此時要按照某種判據(jù)分類，如，分類錯誤發(fā)生的概率最小，或在最小風險下進展分類決策等。 三個重要的概率和概率密度 先驗概率、類條件概率密度函數(shù)、后驗概率。先驗概率 P(wi) 由樣本的先驗知識得到先驗概率，可從訓練集樣本中估算出來。 例如，兩類10個訓練樣本，屬于w1為2個，屬于w2為8個，那么先驗概率P(w1) = 0.2，P

3、(w2) = 0.8。 類條件概率密度函數(shù) p(x|wi) 方式樣本x在wi類條件下，出現(xiàn)的 概率密度分布函數(shù)。也稱 p(x|wi) 為wi 關(guān)于x 的似然函數(shù)。在本章中均假設(shè)知上述概率和概率密度函數(shù)。后驗概率P(wi|x) 定義為某個樣本 x, 屬于wi 類的概率, i=1,c 。假設(shè)用先驗概率P(wi) 來確定待分樣本x的類別, 根據(jù)顯然是非常不充分的，須用類條件概率密度p(x|wi)來修正。根據(jù)樣本 x 的先驗概率和類條件概率密度函數(shù)p(x|wi) 用Bayes公式重新修正 方式樣本所屬類的概率，稱 后驗概率P(wi|x)。3.用Bayes決策實際分類時要求：各類總體的概率分布是知的。要

4、決策的類別數(shù)c是一定的。 2 Bayes 決策實際1. Bayes公式，也稱Bayes法那么 2. Bayes分類規(guī)那么：用后驗概率分類類條件概率密度后驗概率上圖3. 最小錯誤率的 Bayes 決策為什么這樣分類的結(jié)果平均錯誤率最?。?在一維特征空間中，t 為兩類的分界面分成兩個區(qū)域R1和R2 ， R1為(, t)； R2為(t,)。 R1區(qū)域一切x值： 分類器斷定屬于w1類； R2區(qū)域一切x值： 分類器斷定屬于w2類。 判別錯誤的區(qū)域為陰影包圍的面積。x0斷定錯誤區(qū)域及錯誤率 真實形狀w2，而把方式x斷定屬于w1類 真實形狀w1，而把方式x斷定屬于w2類平均錯誤率P(e)決策規(guī)那么實踐上對每

5、個x都使 p(e|x)取小者，挪動決策面 t 都會使錯誤區(qū)域增大，因此 平均錯誤率最小。錯誤率計算：多類時，特征空間分割成 R1, Rc ，P(e) 由c(c-1)項組成，計算量大。用平均正確分類率P(c)計算只需c 項： 例1：細胞識別 知：正常類P(w1)0.9; 異常類P(w2)0.1 待識別細胞 x, 從類條件概率密度曲線上查得 p(x|w1)0.2; p(x|w2)0.4 這種規(guī)那么先驗概率起決議作用。這里沒有思索錯誤分類帶來的損失。4. 最小風險的Bayes決策 把分類錯誤引起的“損失參與到?jīng)Q策中去。 決策論中： 采取的決策稱為動作，用ai表示； 每個動作帶來的損失，用l表示。 歸

6、納數(shù)學符號： 普通用決策表或損失矩陣表示上述三者關(guān)系。 決策表表示各種形狀下的決策損失，如下表：由于引入了“損失的概念 (即在錯判時呵斥的損失)，不能只根據(jù)后驗概率來決策，必需思索所采取的決策能否使損失最小。對于給定的x，決策ai ，l可在c個l(ai,wj)中選一個，其相應的后驗概率為P(wj|x)。 此時的條件期望損失，即后驗概率加權(quán)和 在決策論中條件期望損失稱為條件風險，即x被判為i類時損失的均值。由于x是隨機向量的察看值，不同的x采取不同決策ai ，其條件風險的大小是不同的。 決策a可看成隨機向量x的函數(shù)，記為a(x)，它本身也是一個隨機變量。定義期望風險R dx是d維特征空間的體積元

7、，積分在整個特征空間。期望風險R反映對整個特征空間上一切x的取值都采取相應的決策a(x)所帶來的平均風險；而條件風險R(ai|x)只反映察看到某一x的條件下采取決策ai 所帶來的風險。假設(shè)采取每個決策行動ai使條件風險R(ai|x)最小，那么對一切的x作出決策時，其期望風險R也必然最小。這就是最小風險Bayes決策。最小風險的Bayes決策規(guī)那么：假設(shè)只需兩類的情況下 這時最小風險的Bayes決策法那么為： 假設(shè)R(a1|x) R(a2|x), 那么x的真實形狀w1, 否那么w2。兩類時最小風險Bayes決策規(guī)那么的另兩種方式： 例2：條件同例1，利用決策表， 按最小風險Bayes決策分類。

8、這里決策與例1結(jié)論相反為異常細胞。因損失起了主導作用。l不易確定，要與有關(guān)專家商定。 例3： 現(xiàn)有兩類問題，比較兩種Bayes決策。 知：單個特征變量x為正態(tài)分布 兩類方差都為s 2=1/2, 均值分別為m = 0,1 即 求： 假設(shè)先驗概率 P(w1) = P(w2) = 1/2，計算最小錯誤率情況下的閾值 x0。 假設(shè)損失矩陣為 計算最小風險情況下的閾值 x0。 最小錯誤概率情況下閾值x0 (取對數(shù)運算) 最小風險情況下閾值x0 假設(shè)這兩類不是等概率， P(w1) P(w2),閾值左移 也就是說擴展最大能夠 類的區(qū)域。能夠性大的 類可產(chǎn)生更小的誤差。閾值左移回絕決策在某些情況下回絕決策比錯

9、誤判別風險要小。樣本x在各種判別條件下的平均風險當i=c+1時，假設(shè)R(ac+1|x) R(ai|x), i=1,2,c那么對x作出回絕判別。假設(shè)此時各類回絕判別風險一樣，即都為lz，那么那么回絕判別的條件為 lz gj(x) 一切ij 那么xwi 兩類情況下，設(shè)最小錯誤率的Bayes決策規(guī)那么的四種等價方式后驗概率類條件概率密度函數(shù)與先驗概率似然比似然比取對數(shù)多類情況下，設(shè)最小錯誤率的Bayes決策規(guī)那么的四種等價方式2. 決策面方程各決策域R被決策面所分割，這些決策面是特征空間中的點、直線、超曲面，相鄰的兩個決策域在決策面上其判別函數(shù)相等。決策面方程應滿足 gi (x) = gj (x)

10、gij(x) = gi(x)gj(x)=0 ij 且i與j為相鄰的兩類。一維、三類二維、二類只需兩類的分界面： x為一維，決策面為一分界點；如圖(a) x為二維，決策面為一曲線；如圖(b) x為三維，決策面為一曲面； x為d維，決策面為一超曲面(b)3. 分類器設(shè)計 在d維特征空間內(nèi)，劃分為c個決策區(qū)域。 多類：根據(jù)各類訓練集樣本x計算得到c個判別函數(shù)gi，將待分樣本計算gi，從中選擇最大值作為類決策。分類器可看成由硬件或軟件組成的一個“機器。兩類：兩類分類器可看作只是對x計算判別函數(shù)的一個“機器，根據(jù)計算結(jié)果的符號將x分類。例4 對例1和例2分別列出判別函數(shù)和決策面方程 例1. 判別函數(shù) 決

11、策面方程 例2. 判別函數(shù) 決策面方程：4 正態(tài)分布的Bayes決策大量隨機變量服從正態(tài)分布, 而且數(shù)學上容易處置, 因此以正態(tài)分布為例來闡明。1.正態(tài)分布函數(shù)和性質(zhì)單變量的正態(tài)分布概率密度函數(shù) 性質(zhì)：p(x)由m, s 2確定。隨機變量 x 集中在均值m附近, 其分散度正比于規(guī)范差s, 95%樣本落入|x -m| 2s范圍內(nèi)。多元(維)正態(tài)分布的概率密度函數(shù) 多元正態(tài)分布的性質(zhì)： 參數(shù) m 和 S 決議分布外形 概率密度函數(shù)由d+d(d+1)/2個數(shù)目的參數(shù)獨一確定，其中d為均值數(shù)，d(d+1)/2為協(xié)方差數(shù)。 通常記為 。 等概率密度點的軌跡為一超橢球面 x大部分落在以均值向量m為中心，大

12、小由協(xié)方差矩陣S確定的區(qū)域。指數(shù)項為常數(shù)的x點即為 等概率密度。因此超橢 球的方程應是超橢球主軸方向由S的本征向量確定，其長度與協(xié)方差矩陣的本征值l平方根成正比。證明：中心移到坐標原點m=0， ，可用這約束條件構(gòu)造Lagrange函數(shù)，求極值得到。 在數(shù)理統(tǒng)計中，定義 稱x到m 的Mahalanobis(馬氏)間隔平方。 所以等概率密度點的軌跡是x到的馬氏 間隔為常數(shù)的超橢球面。在正態(tài)分布中不相關(guān)性等價于獨立性。 假設(shè)兩個隨機變量xi和xj間 對多元正態(tài)的恣意兩個分量xi和xj來說兩者等價。假設(shè)xi和xj是統(tǒng)計獨立， 中xi 的方差sii2, xi和xj 的協(xié)方差sij2, 那么sij20,

13、為對角矩陣。那么 x= (x1,xd)T各分量是相互獨立的正態(tài)分布隨機變量。多元正態(tài)分布的邊緣分布和條件分布具有正態(tài)性線性變換的正態(tài)性： x為多元正態(tài)分布的隨機向量，其均值向量為 m，協(xié)方差矩陣為S。對x作線性變換，即 y = Ax A為線性變換矩陣，且非奇特，變換后服從均值向量為Am，協(xié)方差矩陣為AAT的多元正態(tài)分布。 p(y) N(Am, AAT) 線性組合的正態(tài)性 x為多元分布的正態(tài)隨機向量，那么線性組合y=aTx 是一維的正態(tài)隨機變量, a是與x同維向量 p(y)N(aTm, aTA) 2. 正態(tài)分布的最小錯誤率的Bayes分類 條件概密函數(shù) 判別函數(shù) 決策面方程根據(jù)相鄰的決策域在決策

14、面上的判別函數(shù)相等，下面討論幾種不同的情況： Si=s 2I, i =1, 2,c SiS SiSj , i, j =1, 2,c Si=s2I各類方式分布的協(xié)方差矩陣相等，各xi統(tǒng)計獨立且方差一樣，協(xié)方差均為0。幾何上相當于各類樣本落在以mi為中心同樣大小的一些超球體中。判別函數(shù)中第二和第三項與類別i無關(guān) 假設(shè)c類先驗概率相等，那么gi(x)可忽略最后一項。歐氏間隔平方：Bayes 決策： P(wi)= P(wj) 先驗概率相等 丈量從待分類向量x到每一類均值向量的歐氏間隔，把x分到間隔最近的類， mi是從訓練樣本集中得到的。也稱最小間隔分類器。 假設(shè)把每個均值向量mi看作一個典型的樣本(模

15、板)，那么這種分類方法也稱為模板匹配技術(shù)。 P(wi)P(wj) 歐氏間隔的平方必需用方差s2規(guī)范化后減去lnP(wi)再用于分類。因此，假設(shè)待分類的向量x 同兩類均值向量的歐氏間隔相等，那么最小錯誤概率Bayes決策把這方式歸入先驗概率大的那類。 實踐運用中不用計算歐氏間隔，把gi(x)展開可得 這是x的二次函數(shù)， 其中xT x與分類無關(guān) 這是與均值有關(guān)的線性判別函數(shù)，組成線性分類器。對待分類的樣本x,分別計算 gi(x),i=1,2,c gk(x)max gi(x) 那么決策 xwki 決策面方程 相鄰決策面方程是由上述線性方程所確定的一個超平面，且討論的是方差相等，協(xié)方差為0這樣一種特殊

16、情況，即 。 這個方程確定了決策面是經(jīng)過x0并正交于向量W的一個超平面。由于W=mimj 所以超平面正交于均值向量mi與mj之間的聯(lián)線。 假設(shè)先驗概率相等 超平面經(jīng)過mi與mj聯(lián)線的中點，且與聯(lián)線正交。假設(shè)先驗概率不相等，那么 x0 不在中點，超平面向先驗概率小的方向挪動。假設(shè)s2 |mi-mj|2,那么先驗概率對決策面的影響就比較小。d 維特征空間，交界面呈球狀分布，其判別邊境為d-1維的平面，垂直于中心線。一維 二維 三維 SiS S與i無關(guān)。 各類的協(xié)方差矩陣相等S1S2Sc=S。幾何上相當于各類樣本集中于以該類均值mi點為中心的同樣大小和外形的超橢球體中。 判別函數(shù)： 假設(shè)c類先驗概率相等，那么 Bayes決策： 計算x到每類均值點mi的馬氏間隔平方r2, 將x分到間隔最近的類中去，或歸于r2最小的類。展開后, 忽略與i無關(guān)項xTS-1x，那么判別函數(shù) 線性判別函數(shù)，因此決策面仍是一個超平面。相鄰決策面方程W不在(mi-mj)方向上，超平面經(jīng)過x0點但不與均值向量連線正交。假設(shè)先驗概率相等，那么交點在均值向量聯(lián)線的中點；假設(shè)先驗概率不相等那么向小先驗概率方向挪動 (左圖)。假設(shè)先驗概率相差較大，判別邊境不會落入球狀高斯分布的中心點之間 (右圖)。P(1)0.7 P(2)0.3P(1)0.9 P(2)0.1例5 兩類二維正態(tài)分布的分類問題知：協(xié)方差一樣，均值向量不同。 要求