深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 課件 2.3.2模型的欠擬合與過擬合（上）

模型的欠擬合與過擬合（上）02模型欠擬合和過擬合欠擬合和過擬合產(chǎn)生原因圖片來源：[1]《動(dòng)手學(xué)深度學(xué)習(xí)》

AstonZhang誤差（error）一般是指學(xué)習(xí)器根據(jù)模型計(jì)算得到的結(jié)果與樣本真實(shí)值之間的差異。訓(xùn)練誤差（training

error）一般是指學(xué)習(xí)器計(jì)算結(jié)果與訓(xùn)練集中樣本真實(shí)值之間的差異。測(cè)試誤差（test

error）一般是指學(xué)習(xí)器計(jì)算結(jié)果與測(cè)試集中樣本真實(shí)值之間的差異。泛化誤差（generalizationerror）一般是指學(xué)習(xí)器在新的樣本上的誤差。例：對(duì)二次函數(shù)??

=

??

+

??1??

+

??2??2

進(jìn)行擬合，其中擬合結(jié)果如下面三幅圖所示，分別為欠擬合、合適和過擬合的可視化結(jié)果。欠擬合 合適 過擬合模型欠擬合和過擬合02圖片來源：[2]

《機(jī)器學(xué)習(xí)

》周志華為了在未見樣本上表現(xiàn)得很好，應(yīng)盡可能的學(xué)習(xí)出適用于未知樣本的“普遍規(guī)律”，當(dāng)把訓(xùn)練樣本學(xué)得“太好”時(shí)，會(huì)存在把訓(xùn)練樣本自身的特有性質(zhì)當(dāng)作樣本總體的普遍性質(zhì)，導(dǎo)致泛化性能下降，這樣的現(xiàn)象稱為過擬合。與過擬合相對(duì)應(yīng)的就是欠擬合。欠擬合是指對(duì)于訓(xùn)練好的模型，數(shù)據(jù)的擬合程度不高，與擬合曲線相差較大；或指模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地?cái)M合數(shù)據(jù)。欠擬合同樣會(huì)導(dǎo)致泛化性能下降。。02模型欠擬合和過擬合欠擬合和過擬合區(qū)別欠擬合與過擬合在本質(zhì)上都是模型對(duì)事物本質(zhì)規(guī)律表達(dá)上的偏差。但兩者的形成原因不同，欠擬合主要是由于模型太簡單，不能表達(dá)復(fù)雜關(guān)系。而過擬合可能是模型太復(fù)雜，也可能是樣本不典型。欠擬合與過擬合的表現(xiàn)不同，欠擬合在訓(xùn)練集和測(cè)試集上的性能都較差，而過擬合往往在訓(xùn)練集上有好的表現(xiàn)，而在測(cè)試集上的性能較差。模型欠擬合和過擬合02欠擬合解決辦法過擬合和欠擬合都是機(jī)器學(xué)習(xí)算法要考慮的問題，其中欠擬合的情況比較容易克服，常見解決方法有：增加新特征，可以考慮加入特征組合、高次特征，來增大表達(dá)能力；添加多項(xiàng)式特征，這個(gè)在機(jī)器學(xué)習(xí)算法里面用的很普遍，例如將線性模型通過添加二次項(xiàng)或者三次項(xiàng)使模型泛化能力更強(qiáng)；使用非線性模型，比如SVM

、決策樹、深度學(xué)習(xí)等模型?？傊窋M合的解決辦法通常是提高模型的表達(dá)