哈工大模式識別總結(jié)

1、模式識別基礎(chǔ)模式識別基礎(chǔ)總總 結(jié)結(jié)第一章第一章 緒論緒論 (1)模式識別學(xué)科建立的背景；學(xué)科要解決的根本任務(wù)；模式識別學(xué)科建立的背景；學(xué)科要解決的根本任務(wù)；通過與人學(xué)會辨認(rèn)事物的過程的對比，說明模式識別典型系通過與人學(xué)會辨認(rèn)事物的過程的對比，說明模式識別典型系統(tǒng)的功能。統(tǒng)的功能。(2)模式的描述方法。說明特征向量表示與結(jié)構(gòu)表示法模式的描述方法。說明特征向量表示與結(jié)構(gòu)表示法的概念；通過典型事例說明這兩種表示法的基本概念與兩者的概念；通過典型事例說明這兩種表示法的基本概念與兩者之間的區(qū)別；由特征向量引入特征空間的概念。之間的區(qū)別；由特征向量引入特征空間的概念。(3)統(tǒng)計(jì)模式識別與結(jié)構(gòu)模式識別統(tǒng)計(jì)模

2、式識別與結(jié)構(gòu)模式識別基于特征向量表示法相應(yīng)的模式識別方法基于特征向量表示法相應(yīng)的模式識別方法統(tǒng)計(jì)模式識別。統(tǒng)計(jì)模式識別?；诮Y(jié)構(gòu)描述法的模式識別方法基于結(jié)構(gòu)描述法的模式識別方法結(jié)構(gòu)模式識別。結(jié)構(gòu)模式識別。(4)模式識別系統(tǒng)典型框圖模式識別系統(tǒng)典型框圖模式識別系統(tǒng)模式識別系統(tǒng)信息信息獲取獲取模式識別的含義模式識別的含義 - -機(jī)器自動識別及分類機(jī)器自動識別及分類預(yù)處理預(yù)處理：對信息規(guī)范化對事物進(jìn)行描述：對事物進(jìn)行描述：特征形成，特征提取與選擇訓(xùn)練與學(xué)習(xí)：訓(xùn)練與學(xué)習(xí)：確定分類規(guī)則、分類函數(shù)及參數(shù)定量描述：定量描述：特征向量表示定性描述：定性描述：結(jié)構(gòu)表示統(tǒng)計(jì)模式識別結(jié)構(gòu)（句法）模式識別第二章第二章

3、 貝葉斯決策理論貝葉斯決策理論v (1)樣本的若干概率的定義：先驗(yàn)概率、概率密度函數(shù)以及樣本的若干概率的定義：先驗(yàn)概率、概率密度函數(shù)以及后驗(yàn)概率，這些概率值之間的關(guān)系后驗(yàn)概率，這些概率值之間的關(guān)系貝葉斯公式。貝葉斯公式。v(2)基于最小錯(cuò)誤率的貝葉斯決策方法基于最小錯(cuò)誤率的貝葉斯決策方法 基于后驗(yàn)概率最大的決策方法，是錯(cuò)誤率最小的方法；基于后驗(yàn)概率最大的決策方法，是錯(cuò)誤率最小的方法； 基于最小錯(cuò)誤率的其他表示方法?；谧钚″e(cuò)誤率的其他表示方法。v(3)基于最小風(fēng)險(xiǎn)的貝葉斯決策方法基于最小風(fēng)險(xiǎn)的貝葉斯決策方法基于最小風(fēng)險(xiǎn)與最小錯(cuò)誤率兩種方法對比與聯(lián)系?；谧钚★L(fēng)險(xiǎn)與最小錯(cuò)誤率兩種方法對比與聯(lián)系。

4、v(4) 利用正態(tài)分布進(jìn)一步從定性與定量對貝葉斯決策方法進(jìn)利用正態(tài)分布進(jìn)一步從定性與定量對貝葉斯決策方法進(jìn)行分析并導(dǎo)出判別函數(shù)、決策域、決策面方程等概念。行分析并導(dǎo)出判別函數(shù)、決策域、決策面方程等概念。v(5) 從貝葉斯決策方法需要統(tǒng)計(jì)參數(shù)作基礎(chǔ)，引入?yún)?shù)估計(jì)、從貝葉斯決策方法需要統(tǒng)計(jì)參數(shù)作基礎(chǔ)，引入?yún)?shù)估計(jì)、非參數(shù)估計(jì)概念。非參數(shù)估計(jì)概念。先驗(yàn)概率、類條件概率密度、后驗(yàn)概率，貝葉斯公式一個(gè)樣本錯(cuò)分的可能性與后驗(yàn)概率的關(guān)系將一個(gè)樣本錯(cuò)分的可能性降到最低的方法：基于最基于最小錯(cuò)誤率的貝葉斯決策小錯(cuò)誤率的貝葉斯決策控制錯(cuò)分類造成的危害的方法：基于最小基于最小風(fēng)險(xiǎn)的貝葉斯決策風(fēng)險(xiǎn)的貝葉斯決策模式識別

5、的計(jì)算框架：設(shè)計(jì)準(zhǔn)則函數(shù)，使分類器達(dá)到準(zhǔn)則函數(shù)的極值（最優(yōu)）判別函數(shù)、決策域、分界面、決策面方程正態(tài)分布下基于最小錯(cuò)誤率的貝葉斯決策的分界面線性分類器，正態(tài)分布下基于最小錯(cuò)誤率的貝葉斯決策的判別函數(shù)是線性判別函數(shù)的條件Neyman-Person準(zhǔn)則最小最大準(zhǔn)則第三章第三章 判別函數(shù)及分類器的設(shè)計(jì)判別函數(shù)及分類器的設(shè)計(jì)v (1)非參數(shù)分類決策方法的定義；與貝葉斯決策方法進(jìn)行比非參數(shù)分類決策方法的定義；與貝葉斯決策方法進(jìn)行比較，分析非參數(shù)分類方法的基本特點(diǎn)。較，分析非參數(shù)分類方法的基本特點(diǎn)。v(2)線性分類器。說明這種分類器的定義及其數(shù)學(xué)表達(dá)式，線性分類器。說明這種分類器的定義及其數(shù)學(xué)表達(dá)式，進(jìn)一

6、步分析數(shù)學(xué)表達(dá)式的各種表示方法，從而導(dǎo)出典型的線進(jìn)一步分析數(shù)學(xué)表達(dá)式的各種表示方法，從而導(dǎo)出典型的線性分類器設(shè)計(jì)原理：性分類器設(shè)計(jì)原理：Fisher準(zhǔn)則函數(shù)、感知準(zhǔn)則函數(shù)。準(zhǔn)則函數(shù)、感知準(zhǔn)則函數(shù)。v(3)非線性判別函數(shù)。從樣本的線性不可分例子說明線性判非線性判別函數(shù)。從樣本的線性不可分例子說明線性判別函數(shù)的局限性，從而引入分段線性判別函數(shù)概念及相應(yīng)計(jì)別函數(shù)的局限性，從而引入分段線性判別函數(shù)概念及相應(yīng)計(jì)算方法。算方法。v(4)近鄰法的定義及性能分析。從近鄰法的優(yōu)缺點(diǎn)導(dǎo)入改進(jìn)近鄰法的定義及性能分析。從近鄰法的優(yōu)缺點(diǎn)導(dǎo)入改進(jìn)的近鄰法；的近鄰法；線性分類器線性分類器Fisher準(zhǔn)則準(zhǔn)則非參數(shù)非參數(shù)判別

7、分類方法原理-有監(jiān)督有監(jiān)督學(xué)習(xí)方法感知準(zhǔn)則感知準(zhǔn)則函數(shù)函數(shù)支持向量機(jī)支持向量機(jī)SVM改進(jìn)的近鄰法：改進(jìn)的近鄰法：-剪輯近鄰法-壓縮近鄰法擴(kuò)展：分段擴(kuò)展：分段線性分類器線性分類器方法實(shí)現(xiàn)非方法實(shí)現(xiàn)非線性分類器線性分類器特征映射方法實(shí)特征映射方法實(shí)現(xiàn)非線性分類器現(xiàn)非線性分類器多層感知器(神經(jīng)網(wǎng)絡(luò))近鄰法：近鄰法：最近鄰法，K近鄰法錯(cuò)誤修正算法可實(shí)現(xiàn)最小分段數(shù)的局部訓(xùn)練算法第四章第四章 特征選擇及提取方法特征選擇及提取方法v(1)特征向量的降維問題，說明降維的兩種基本方法：特征向量的降維問題，說明降維的兩種基本方法：特征選擇、特征的提取與組合優(yōu)化。特征選擇、特征的提取與組合優(yōu)化。 v(2)判斷特征集

8、性能的評價(jià)標(biāo)準(zhǔn)。判斷特征集性能的評價(jià)標(biāo)準(zhǔn)。 v(3)基于線性變換的特征組合降維方法；引入基于線性變換的特征組合降維方法；引入KL變變換的分析方法。換的分析方法。 v(4)典型的特征選擇方法。典型的特征選擇方法。特征選擇方法的主要難點(diǎn)，引入基于搜索的各種特征選擇方法的主要難點(diǎn)，引入基于搜索的各種方法。方法。兩種優(yōu)化方法：特征選擇、特征提取特征提取特征提取特征空間優(yōu)化：概念、目的及意義特征選擇特征選擇基于距離的特征提取J2，J5KL變換變換基于概率的特征提取JC，JB， J JD D最優(yōu)方法評判標(biāo)準(zhǔn)：判據(jù)-基于距離的可分性判據(jù)-基于概率的可分性判據(jù)次優(yōu)方法分 支定 界算法順序前進(jìn)法，廣義順序前進(jìn)法

9、順序后退法，廣義順序后退法從 類 平 均信 息 提 取判別信息包含在類平均信息中判別信息的最優(yōu)壓縮產(chǎn)生矩陣產(chǎn)生矩陣第五章第五章 非監(jiān)督學(xué)習(xí)方法非監(jiān)督學(xué)習(xí)方法v(1)非監(jiān)督學(xué)習(xí)方法的定義、用途舉例。非監(jiān)督學(xué)習(xí)方法的定義、用途舉例。v(2)基于非參數(shù)估計(jì)的非監(jiān)督學(xué)習(xí)方法?；诜菂?shù)估計(jì)的非監(jiān)督學(xué)習(xí)方法。v(3)按密度估計(jì)的直接方法：單峰子類分離方法（投影法等）按密度估計(jì)的直接方法：單峰子類分離方法（投影法等）v(4)從按樣本相似度劃分的原理，引入聚類的概念；說明聚從按樣本相似度劃分的原理，引入聚類的概念；說明聚類的兩種典型方法類的兩種典型方法動態(tài)聚類與分級聚類方法的特點(diǎn)與差別。動態(tài)聚類與分級聚類方法的特點(diǎn)與差別。v(5)典型的聚類方法，動態(tài)聚類方法的基本原理。典型的聚類方法，動態(tài)聚類方法的基本原理。重點(diǎn)分析重點(diǎn)分析C-均值聚類方法；說明基本原理以及實(shí)現(xiàn)方法。均值聚類方法；說明基本原理以及實(shí)現(xiàn)方法。 v(6)分級聚類方法分析，以及使用不同相似度計(jì)算方法的影分級聚類方法分析，以及使用不同相似度計(jì)算方法的影響。響。主要任務(wù)：數(shù)據(jù)分析主要任務(wù)：數(shù)據(jù)分析直接方法：按概率密度劃分直接方法：按概率密度劃分非監(jiān)督學(xué)習(xí)方法非監(jiān)督學(xué)習(xí)方法間接