最小風(fēng)險(xiǎn)的Bayes決策(ppt 48頁(yè)).ppt

1 最小風(fēng)險(xiǎn)的Bayes決策 讓錯(cuò)誤率最小的Bayes決策是重要的但 錯(cuò)誤率最小的Bayes決策是否最佳 正常細(xì)胞誤判為癌細(xì)胞癌細(xì)胞誤判為正常細(xì)胞不同性質(zhì)的錯(cuò)誤會(huì)引起不同程度的損失 后果 評(píng)價(jià)決策的優(yōu)劣 總損失比總錯(cuò)誤率更恰當(dāng) 最小風(fēng)險(xiǎn)的Bayes決策就是把各種分類錯(cuò)誤而引起的損失考慮進(jìn)去的Bayes決策法則 2 風(fēng)險(xiǎn)的表示 例 病理切片X 要確定其中有沒(méi)有癌細(xì)胞 用 1表示正常 2表示異常 P 1 X 與P 2 X 分別表示了兩種可能性的大小若X為正常細(xì)胞 判斷為 2 損失為 21若X為癌細(xì)胞 判斷為 1 損失為 12X判斷為 1 其風(fēng)險(xiǎn)R1 X 12P 2 X X判斷為 2 其風(fēng)險(xiǎn)R2 X 21P 1 X 損失和誤判概率的加權(quán)和可以有效的表示決策風(fēng)險(xiǎn) 3 決策空間的相關(guān)符號(hào) 觀察向量 狀態(tài)空間 決策空間 損失函數(shù) 期望損失 條件風(fēng)險(xiǎn) A 4 最小風(fēng)險(xiǎn)的Bayes決策規(guī)則 最小風(fēng)險(xiǎn)的Bayes決策規(guī)則 使期望損失最小的決策狀態(tài)即為最小風(fēng)險(xiǎn)的Bayes決策 定義期望風(fēng)險(xiǎn) 最小風(fēng)險(xiǎn)的Bayes決策使平均風(fēng)險(xiǎn)最小 期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間上所有的X的取值采用相應(yīng)的決策 x 所帶來(lái)的平均風(fēng)險(xiǎn) 5 最小風(fēng)險(xiǎn)的Bayes決策規(guī)則步驟 1 在已知P j P X j j 1 c及給出待識(shí)別的X的情況下 根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率 2 利用計(jì)算出的后驗(yàn)概率及決策表 計(jì)算出采取 i i 1 a的條件風(fēng)險(xiǎn) 3 對(duì) 2 中得到的a個(gè)條件風(fēng)險(xiǎn)值R i X i 1 a進(jìn)行比較 找出使條件風(fēng)險(xiǎn)最小的決策 k 則 k就是最小風(fēng)險(xiǎn)貝葉斯決策 6 例 在例1條件的基礎(chǔ)上 并且已知 11 0 11表示 1 1 的簡(jiǎn)寫 12 6 21 1 22 0 按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類 P 1 0 9 P 2 0 1p X 1 0 2 p X 2 0 4 7 計(jì)算后驗(yàn)概率 P 1 X 0 818 P 2 X 0 182 計(jì)算條件風(fēng)險(xiǎn) 找最小的條件風(fēng)險(xiǎn) 最小風(fēng)險(xiǎn)的Bayes決策為 2 8 決策規(guī)則的進(jìn)一步探討 二類問(wèn)題的決策規(guī)則 另一種決策規(guī)則 先驗(yàn)概率的決策規(guī)則 似然比 9 最小錯(cuò)誤決策和最小風(fēng)險(xiǎn)決策 二類問(wèn)題中 若 則兩種判決方式等價(jià) 多類問(wèn)題中 若 則有 所有錯(cuò)誤代價(jià)相同 兩種判決方式等價(jià) 0 1 損失函數(shù) 10 3 3Bayes分類器和判別函數(shù) 決策面 劃分決策域的邊界面決策面方程 決策面的數(shù)學(xué)解析形式判別函數(shù) 表達(dá)決策規(guī)則的函數(shù) 維特征空間 個(gè)決策域 分類器設(shè)計(jì) 利用決策規(guī)則對(duì)觀察向量X進(jìn)行分類 決策面方程和判別函數(shù)由相應(yīng)的決策規(guī)則所決定 11 判別函數(shù)和決策面方程 類的情況下 對(duì)應(yīng)的判別函數(shù)為 若 則屬于第類 分割它們的決策面方程應(yīng)滿足 對(duì)于多類 通常定義一組判別函數(shù) 12 最小錯(cuò)誤概率決策 判別函數(shù)的不同形式 13 最小風(fēng)險(xiǎn)決策 判別函數(shù) 判別函數(shù)不唯一 更一般地 其中為單調(diào)增函數(shù) 均可作為判別函數(shù) 14 Bayes分類器 15 決策界 同一決策規(guī)則下判別函數(shù)形式可以不同 但決策界相同 16 決策界 同一決策規(guī)則下判別函數(shù)形式可以不同 但決策界相同 17 二類分類器 18 例 有一家醫(yī)院為了研究癌癥的診斷 對(duì)一大批人作了一次普查 給每人打了試驗(yàn)針 然后進(jìn)行統(tǒng)計(jì) 得到統(tǒng)計(jì)數(shù)字 1 這批人中 每1000人有5個(gè)癌癥病人 2 這批人中 每100個(gè)正常人有1人對(duì)試驗(yàn)的反應(yīng)為陽(yáng)性 3 這批人中 每100個(gè)癌癥病人有95人對(duì)試驗(yàn)的反應(yīng)為陽(yáng)性 假如正常人用表示 癌癥病人用表示 以試驗(yàn)結(jié)果作為特征 特征值為陽(yáng)或陰 根據(jù)統(tǒng)計(jì)數(shù)字 得到如下概率 現(xiàn)在有一某甲 試驗(yàn)結(jié)果為陽(yáng)性 按最小錯(cuò)誤率貝葉斯決策規(guī)則 問(wèn)診斷結(jié)果是什么 19 后驗(yàn)概率 判決比較 判斷正常概率 20 風(fēng)險(xiǎn)評(píng)估 假設(shè) 11 0 12 3 21 1 22 0 按最小風(fēng)險(xiǎn)貝葉斯決策為某甲診斷 由于R1 X R2 X 即決策為 2的條件風(fēng)險(xiǎn)小于決策為 1的條件風(fēng)險(xiǎn) 因此診斷某甲為癌癥病人 采用最小風(fēng)險(xiǎn)貝葉斯決策 各種損失的確定是關(guān)鍵 問(wèn)題 11 0 12 2 21 1 22 0 按最小風(fēng)險(xiǎn)貝葉斯決策的診斷又如何呢 21 分別寫出兩種情況的決策面方程 1 2 決策面方程g x 0 22 前面介紹了在一般的概率統(tǒng)計(jì)分布情況下的統(tǒng)計(jì)決策理論 這一節(jié)我們要討論最常用的正態(tài)分布情況在模式識(shí)別中 正態(tài)分布假設(shè)是對(duì)各種隨機(jī)變量使用得最普遍的假設(shè)這主要有兩方面的原因 1 正態(tài)分布在數(shù)學(xué)上比較簡(jiǎn)便2 正態(tài)分布在物理上的合理性 正態(tài)分布的Bayes決策法則 23 數(shù)學(xué)上簡(jiǎn)便性正態(tài)分布是數(shù)學(xué)上最簡(jiǎn)單的一種分布 它的一些特殊情況揭示了統(tǒng)計(jì)判別方法中許多重要的性質(zhì)在模式識(shí)別技術(shù)的研究中 需要用訓(xùn)練樣本集來(lái)設(shè)計(jì)分類器 還需用測(cè)試樣本集來(lái)檢驗(yàn)分類器的分類效果 并對(duì)不同的分類器的性能進(jìn)行比較用正態(tài)分布模型描述訓(xùn)練樣本集與測(cè)試樣本集在數(shù)學(xué)上實(shí)現(xiàn)起來(lái)也比較方便 24 物理上的合理性如果同一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近 遠(yuǎn)離均值處分布較少 那么一般情況下以正態(tài)分布模型近似往往是比較合理的人們也往往因數(shù)學(xué)分析復(fù)雜程度考慮而不得不采用這種模型 當(dāng)然使用時(shí)應(yīng)注意結(jié)果是否合理或關(guān)注其可接受的程度 25 單變量正態(tài)分布 單變量正態(tài)分布概率密度函數(shù)定義為 單變量正態(tài)分布概率密度函數(shù)p x 完全可由 與 2兩個(gè)參數(shù)確定 記作N 2 26 正態(tài)分布描述了一個(gè)隨機(jī)實(shí)變量在整個(gè)實(shí)數(shù)域上的分布規(guī)律因此它屬于概率密度函數(shù)類 不是我們所討論的先驗(yàn)概率P j 也不是后驗(yàn)概率P j X 而是p x j 正態(tài)分布的樣本主要集中分布在其均值附近 其分散程度可用標(biāo)準(zhǔn)差來(lái)衡量 愈大分散程度也越大 從正態(tài)分布的總體中抽取樣本 約有95 的樣本都落在區(qū)間內(nèi) 而且其峰值為 27 多元是指樣本以多個(gè)變量來(lái)描述 或具有多個(gè)屬性 一般用d維特征向量表示 X x1 xd T d維特征向量的正態(tài)分布用下式表示 多維 元 正態(tài)分布 其中 是X的均值向量 也是d維 E X 1 2 d T 是d d維協(xié)方差矩陣 而 1是 的逆矩陣 是 的行列式 因?yàn)閰?shù) 與 對(duì)分布具有決定性 記作p X N 28 一個(gè)向量或矩陣的期望是由其元素的期望組成的 協(xié)方差矩陣有兩個(gè)特性 是一個(gè)對(duì)稱矩陣 多維正態(tài)密度由個(gè)參數(shù)決定是正定的 主對(duì)角元素都是各分量的方差 一般情況下都是大于零的值 如果協(xié)方差矩陣中的所有非對(duì)角線元素均為零 則P X 就變成X的各分量的單變量正態(tài)密度的乘積 29 圖示為一個(gè)二維正態(tài)密度的示意圖 如果把等概率密度點(diǎn)畫出來(lái) 它們就是一族同心的橢圓 30 參數(shù)和對(duì)分布具有決定性 從正態(tài)總體中抽取的樣本落在一個(gè)密集區(qū)域里這個(gè)區(qū)域的中心由均值向量決定區(qū)域的形狀由協(xié)方差矩陣決定等密度點(diǎn)的軌跡為一超橢球面 可證明 且超橢球面的主軸方向由的特征向量決定 主軸的長(zhǎng)度與相應(yīng)的特征值成正比 多元正態(tài)分布性質(zhì) 31 把這個(gè)超橢球的中心平移到坐標(biāo)原點(diǎn) 超橢球的方程變?yōu)樵O(shè)X在超橢球上 X到超橢球中心的距離為求超橢球主軸的問(wèn)題是一個(gè)求條件極值的問(wèn)題 構(gòu)造Lagrange函數(shù) 可得超橢球主軸的必要條件 多元正態(tài)分布性質(zhì) 32 為向量X到均值向量的Mahalanobis距離 馬哈諾比斯 馬氏距 的平方等概率密度點(diǎn)的軌跡是一個(gè)到均值向量的Mahalanobis距離為常數(shù)的超橢球 記 33 3 不相關(guān) 獨(dú)立 34 多元正態(tài)分布下的最小錯(cuò)誤率貝葉斯決策及其判別函數(shù)和決策面 對(duì)于最小錯(cuò)誤率的貝葉斯決策 其類的判別函數(shù)為 由于對(duì)數(shù)函數(shù)是單值單調(diào)遞增函數(shù) 并根據(jù)正態(tài)分布密度函數(shù)的特點(diǎn) 顯然式中取自然對(duì)數(shù)更便于分析 于是類的判別函數(shù)可以表示為 由于判決是比較和的大小 去掉與類別無(wú)關(guān)的項(xiàng)不會(huì)影響分類判別的結(jié)果 故可簡(jiǎn)化為 35 三種不同情況的探討 1 第一種情況 各類分布的協(xié)方差矩陣相同 而且各特征統(tǒng)計(jì)獨(dú)立且有相同的方差 這時(shí) 協(xié)方差矩陣是對(duì)角陣 對(duì)角線元素均為 代入判別函數(shù) 得新判別函數(shù)為 為歐氏距離 36 如果c個(gè)類的先驗(yàn)概率都相同 式中項(xiàng)可忽略這時(shí)最小錯(cuò)誤概率的Bayes決策法則可敘述為 若要對(duì)模式X分類 只要測(cè)量出從待分類模式向量X到每一類均值向量的歐氏距離 然后把X歸到距離最近的那個(gè)均值向量所屬的類別即可如果c個(gè)類的先驗(yàn)概率不相等 則表明距離的平方必須用方差規(guī)范化后減去再用以分類在實(shí)際應(yīng)用時(shí) 可以不計(jì)算歐氏距離 把展開(kāi)后 可得判別函數(shù) 37 決策面由線性方程決定 即式中 該方程式確定了通過(guò)并正交于向量W的超平面 如圖所示是一個(gè)二維二類模式的例子 如果 則點(diǎn)就離開(kāi)先驗(yàn)概率大的那個(gè)類的均值向量而朝先驗(yàn)概率較小的那類方向移動(dòng) 決策規(guī)則為 38 此時(shí)判別函數(shù)變?yōu)?1 若各類的先驗(yàn)概率相等 則也可以忽略 這時(shí)決策法則可以這樣描述 對(duì)一個(gè)模式分類 計(jì)算它與每一類均值向量間的Mahalanobis距離平方 而后把它分到與之最近的均值向量所屬的類別中去即可2 如果各類的先驗(yàn)概率不同 則決策應(yīng)有利于先驗(yàn)概率較大的那一類把展開(kāi) 忽略無(wú)關(guān)項(xiàng) 判別函數(shù)變成 2 第二種情況 式中 39 1 如果各類的先驗(yàn)概率相等 則這個(gè)決策面同均值向量連線的交點(diǎn)在連線的中點(diǎn)2 若各類的先驗(yàn)概率不相等 則決策界面就離開(kāi)先驗(yàn)概率較大的那個(gè)類的均值向量而朝先驗(yàn)概率較小的那類方向移動(dòng) 因?yàn)榫€性判別函數(shù) 所以決策面仍是一個(gè)超平面 決策面仍然滿足方程 式中 40 這是一般的情況 各類的協(xié)方差矩陣是不相同的 判別函數(shù)有如下形式 式中這時(shí)決策面是超二次曲面 如果兩類和相鄰 則決策面為 3 第三種情況 任意 41 決策面式超二次曲面 隨著變化呈現(xiàn)不同的超二次曲面 超球面 超拋物面 超雙曲面等 42 離散情況的貝葉斯決策 以上幾節(jié)所討論的特征向量可以是d維特征空間中的任一點(diǎn) 即為連續(xù)的隨機(jī)向量 但在許多的模式識(shí)別問(wèn)題中 特征向量是一個(gè)離散型隨機(jī)向量 僅可取個(gè)離散值中的一個(gè) 此時(shí) 我們?nèi)钥梢岳秘惾~斯公式計(jì)算 式中 43 1 最小錯(cuò)誤率的貝葉斯決策法則仍為 如果對(duì)于一切成立 則決策 2 最小風(fēng)險(xiǎn)的Bayes決策法則仍是 如果 則對(duì)應(yīng)的決策 可以看出 貝葉斯決策規(guī)則仍然不變 44 對(duì)于二類分類問(wèn)題 通常采用下述形式的判別函數(shù) 下面考慮一個(gè)兩類模式的分類問(wèn)題 設(shè)特征向量 它的各個(gè)分量是0或者1的二值特征 并且各特征相互獨(dú)立 并令 以一種特別分類模型來(lái)說(shuō)明 這類模型中 對(duì)模式的每一維特征需要給出一個(gè) 是 與 否 的答案 是 表示該模式具有對(duì)應(yīng)特征 其值就為1 否則不具有對(duì)應(yīng)特征 其值就為0 45 因?yàn)槟Ｊ街懈魈卣?