山東大學2016模式識別考試題回憶版

1、一、判斷題（共10個題）請寫清楚題號，在答卷紙上填寫或×，不要直接在本頁回答。特別說明：本部分題目的得分規(guī)則為：答對一個題，得2分；不答（即放棄回答）的題，本題得0分；答錯一個題，得-2分（即反扣2分）。本道大題得負分的，從其他大題扣除。所以，判斷題的回答，建議慎重對待。1. 基于最小錯誤率的貝葉斯概率是 損失函數(shù)0-1的 基于最小風險貝葉斯概率的特例2. 監(jiān)督參數(shù)估計是（太多記不?。?。3. 單隱層神經(jīng)網(wǎng)絡在經(jīng)過足夠訓練后，不管節(jié)點多少，總能找到全局最優(yōu)解。4. 決策樹可以生成規(guī)則集，且生成的規(guī)則集是可以解釋的。5. SVM向量機在樣本數(shù)據(jù)少、非線性的情況下有優(yōu)勢。6. Baggin

2、g是一種串行學習框架。7. 泛化能力指的是在訓練集中體現(xiàn)的特點。8. Self_Trainning是一種半監(jiān)督的方法。9. 決策樹屬性選擇是依照信息增益比。10. 2006年以前，多隱層神經(jīng)網(wǎng)絡因為缺乏良好的算法，限制了深度學習的發(fā)展。二、計算題設在某個局部地區(qū)細胞識別中正常 和異常 兩類的先驗概率分別為：正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識別的細胞，其觀察值為x，從類條件概率密度分布曲線上查得 試使用貝葉斯決策對該細胞x進行分類（要求給出具體計算過程及計算結(jié)果）解：利用貝葉斯公式，分別計算出 及 的后驗概率根據(jù)貝葉斯決策規(guī)則，有所以合理的決策規(guī)則是把x歸類于正常狀態(tài)。三、簡答題1、 應用貝葉斯決策

3、需要滿足的三個前提條件是什么？ （1）分類的類別數(shù)；（2）先驗概率；（3）各類的類條件概率密度。2、 試簡述您對先驗概率和后驗概率理解Ø 先驗概率：預先已知的或者可以估計的模式識別系統(tǒng)位于某種類型的概率。根據(jù)大數(shù)定律，當訓練集包含充足的獨立同分布樣本時，先驗概率就可以通過各類樣本出現(xiàn)的頻率來進行估計。Ø 后驗概率：后驗概率是通過貝葉斯公式對先驗概率進行修正，計算而得出的概率。表示系統(tǒng)在某個具體的模式樣本X條件下位于某種類型的概率。3、 試簡述Fisher線性判別的基本思想解決多維到一維的投影問題，利用線性判別方法解決一維分類問題。從k個總體中抽取具有p個指標的樣品觀測數(shù)據(jù)，

4、借助方差分析的思想構(gòu)造一個線性判別函數(shù)，構(gòu)造原則是使得總體之間區(qū)別最大，而使各總體內(nèi)部的離差最小。有了線性判別函數(shù)之后，對于一個新的樣品，將它的p個指標值帶入線性判別函數(shù)式中求出結(jié)果值，然后根據(jù)一定的規(guī)則，就能判別新的樣品屬于哪個總體。Ø 投影降維：將多維空間的樣本投影到一維空間，根據(jù)實際情況找到一條最好的、易于分類的投影線。尋找合適的投影方向，即尋找好的變換向量。Ø 一維分類：當維數(shù)和樣本數(shù)都很大時，可用貝葉斯決策規(guī)則；上述條件都不符合，可用先驗知識選定分界閾值點y0，再有決策規(guī)則判斷x屬于何類別。4、 試簡述何為k-近鄰法（1）K-近鄰學習是一種常用的監(jiān)督學習方法，（2

5、）k-近鄰法的基本思想：給定一個訓練數(shù)據(jù)集，對新的輸入實例，基于某種距離度量找出訓練集中與其最靠近的 K 個實例（鄰居）。然后基于這 K 個實例的信息來進行預測，使各點鄰域體積為數(shù)據(jù)的函數(shù)，而不是樣本數(shù)的函數(shù)，實現(xiàn)各點密度估計?？催@K個近鄰中多數(shù)屬于哪一類，就把輸入實例歸為哪一類；5、 試簡述您對非線性支持向量機（SVM）理解對于線性支持向量機，選擇一個合適的懲罰參數(shù)C >0 ，并構(gòu)造凸二次函數(shù)線性規(guī)劃問題，求得原始問題的對偶問題的最優(yōu)解 ,由此可以求出原始問題的最優(yōu)解；在處理非線性問題時，可以通過將非線性問題轉(zhuǎn)化成線性問題，并通過已經(jīng)構(gòu)建的線性支持向量機來處理。在線性不可分的情況下，S

6、VM首先在低維空間中完成計算，然后通過選擇合適的核函數(shù)來將樣本從原始空間映射到高維特征空間，最終在高維特征空間中構(gòu)造出最優(yōu)分離超平面，從而分離非線性數(shù)據(jù)。（1）選取適當?shù)暮撕瘮?shù)和適當?shù)膮?shù)，構(gòu)造原始問題的對偶問題,求得對應的最優(yōu)解；（2）選擇的一個滿足的分量，求；（3）構(gòu)造決策函數(shù)；6、 試簡述何為度量學習在機器學習中，對高維數(shù)據(jù)進行降維的主要目的是希望找到一個合適的低維空間，在此空間中學習比原始空間更好。事實上，每個空間對應了在樣本屬性上定義的一個距離度量。度量學習可以根據(jù)不同的任務來自主學習出針對某個特定任務的度量距離函數(shù)，找出一個合適的距離度量。度量學習方法可以分為通過線性變換的度量學習

7、和度量學習的非線性模型。7、 試簡述何為半監(jiān)督學習（SSL）半監(jiān)督學習是監(jiān)督學習與無監(jiān)督學習相結(jié)合的一種學習方法，就是讓學習器不依賴外界交互，自動地利用未標記樣本來提升學習性能。它主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。SSL的成立依賴于模型假設，當模型假設正確時，無類標簽的樣例能夠幫助改進學習性能。包括：1)平滑假設2)聚類假設3)流形假設。8、 試簡述何為聚類聚類試圖將數(shù)據(jù)集中的樣本劃分為若干個通常是不相交的子集稱為一個簇，通過這樣的劃分，每個簇可能對應于一些潛在的概念（類別），并且這些概念對于聚類算法而言事先是未知的，聚類過程僅能自動地形成簇結(jié)構(gòu)，簇所對應的

8、概念語義需要使用者來把握和定義。9、 試簡述您對稀疏表達的理解稀疏表達的目的就是在給定的超完備字典中用盡可能少的原子來表示信號，可以獲得信號更為簡潔的表示方式，從而使我們更容易地獲取信號中所蘊含的信息，更方便進一步對信號進行加工處理，如壓縮、編碼等。兩大主要任務就是字典的生成和信號的稀疏分解。假設一個樣本數(shù)據(jù) D，D 對應的矩陣中存在很多零元素，并且它們不是以整行整列的形式出現(xiàn)的，那么這種表達是稀疏的。這樣的稀疏表達形式對學習任務會有不少好處。例如，SVM 在文本上有很好的性能。若給定數(shù)據(jù)集 D 是稠密的，即普通非稀疏數(shù)據(jù)，我們可以通過字典學習（稀疏編碼）來將樣本轉(zhuǎn)化為合適的稀疏表示。10、

9、試簡述您對流型學習的理解假設數(shù)據(jù)是均勻采樣于一個高維歐氏空間中的低維流形，流形學習就是從高維采樣數(shù)據(jù)中恢復低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應的嵌入映射，以實現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化。它是從觀測到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。流形學習也通常被用于可視化，因為當維數(shù)被降至二維或三維時，能進行可視化。等度量映射和局部線性嵌入是兩種著名的流形學習方法。11、 試簡述您對同分布問題的理解我們在設計一個模式識別時，是有一些假設或前提條件的，其中之一就是：假定用于訓練或建模的有標記樣本集的分布，是和全集的分布相同的，這就是同分布。如果滿足同分布的預期模型將有很好的泛化能

10、力。12、 試簡述您對模型泛化能力的理解經(jīng)過訓練的網(wǎng)絡對于不是樣本集的輸入也能給出合適的輸出，該性質(zhì)稱為泛化能力，意味著從訓練樣本數(shù)據(jù)得到的模型也能夠很好的適應測試樣本數(shù)據(jù)。通常期望經(jīng)訓練樣本訓練的網(wǎng)絡具有較強的泛化能力，但并非訓練的次數(shù)越多越能得到正確的輸入輸出映射關系。訓練過程中過分追求分類器將訓練樣本盡量分類正確或完全分類正確反倒使泛化能力下降。四、論述題1、試簡述何為集成學習 集成學習是使用一系列學習器進行學習，并使用某種規(guī)則把各個學習結(jié)果進行整合從而獲得比單個學習器更好的學習效果的一種機器學習方法。集成學習的思路是在對新的實例進行分類的時候，把若干個單個分類器集成起來，通過對多個分類

11、器的分類結(jié)果進行某種組合來決定最終的分類，以取得比單個分類器更好的性能。如果把單個分類器比作一個決策者的話，集成學習的方法就相當于多個決策者共同進行一項決策。2、如果讓您設計與實現(xiàn)一個模式識別系統(tǒng)，用于實現(xiàn)齊魯軟件學院男、女生的分類（二分類問題），您將如何考慮？其中有哪些需要注意的問題？請就您的理解，盡可能全面、深入地描述，以此展示您對模式識別技術(shù)這門課的理解。如果您覺得有必要，必要之處也可以畫圖輔助表達。答：假設我們所擁有的訓練樣本有如下屬性：身高是否喜歡網(wǎng)購出行次數(shù)（月）生活費（月）性別155是122500女159是112200女182否81800男我們可以采用 ID3 決策樹算法來用于對學生性別的分類。在建立決策樹的過程中，首先需要對屬性進行劃分，為了選擇出最優(yōu)劃分屬性，我們需要計算出用每個屬性對樣本集進行劃分所獲得的信息增益，選擇信息增益大的屬性劃分，我們可以得到一棵決策樹?？赡艽嬖诘膯栴}