深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 課件 2.3.2模型的欠擬合與過(guò)擬合

模型的欠擬合與過(guò)擬合（上）02模型欠擬合和過(guò)擬合欠擬合和過(guò)擬合產(chǎn)生原因圖片來(lái)源：[1]《動(dòng)手學(xué)深度學(xué)習(xí)》

AstonZhang誤差（error）一般是指學(xué)習(xí)器根據(jù)模型計(jì)算得到的結(jié)果與樣本真實(shí)值之間的差異。訓(xùn)練誤差（training

error）一般是指學(xué)習(xí)器計(jì)算結(jié)果與訓(xùn)練集中樣本真實(shí)值之間的差異。測(cè)試誤差（test

error）一般是指學(xué)習(xí)器計(jì)算結(jié)果與測(cè)試集中樣本真實(shí)值之間的差異。泛化誤差（generalizationerror）一般是指學(xué)習(xí)器在新的樣本上的誤差。例：對(duì)二次函數(shù)??

=

??

+

??1??

+

??2??2

進(jìn)行擬合，其中擬合結(jié)果如下面三幅圖所示，分別為欠擬合、合適和過(guò)擬合的可視化結(jié)果。欠擬合 合適 過(guò)擬合模型欠擬合和過(guò)擬合02圖片來(lái)源：[2]

《機(jī)器學(xué)習(xí)

》周志華為了在未見(jiàn)樣本上表現(xiàn)得很好，應(yīng)盡可能的學(xué)習(xí)出適用于未知樣本的“普遍規(guī)律”，當(dāng)把訓(xùn)練樣本學(xué)得“太好”時(shí)，會(huì)存在把訓(xùn)練樣本自身的特有性質(zhì)當(dāng)作樣本總體的普遍性質(zhì)，導(dǎo)致泛化性能下降，這樣的現(xiàn)象稱為過(guò)擬合。與過(guò)擬合相對(duì)應(yīng)的就是欠擬合。欠擬合是指對(duì)于訓(xùn)練好的模型，數(shù)據(jù)的擬合程度不高，與擬合曲線相差較大；或指模型沒(méi)有很好地捕捉到數(shù)據(jù)特征，不能夠很好地?cái)M合數(shù)據(jù)。欠擬合同樣會(huì)導(dǎo)致泛化性能下降。。02模型欠擬合和過(guò)擬合欠擬合和過(guò)擬合區(qū)別欠擬合與過(guò)擬合在本質(zhì)上都是模型對(duì)事物本質(zhì)規(guī)律表達(dá)上的偏差。但兩者的形成原因不同，欠擬合主要是由于模型太簡(jiǎn)單，不能表達(dá)復(fù)雜關(guān)系。而過(guò)擬合可能是模型太復(fù)雜，也可能是樣本不典型。欠擬合與過(guò)擬合的表現(xiàn)不同，欠擬合在訓(xùn)練集和測(cè)試集上的性能都較差，而過(guò)擬合往往在訓(xùn)練集上有好的表現(xiàn)，而在測(cè)試集上的性能較差。模型欠擬合和過(guò)擬合02欠擬合解決辦法過(guò)擬合和欠擬合都是機(jī)器學(xué)習(xí)算法要考慮的問(wèn)題，其中欠擬合的情況比較容易克服，常見(jiàn)解決方法有：增加新特征，可以考慮加入特征組合、高次特征，來(lái)增大表達(dá)能力；添加多項(xiàng)式特征，這個(gè)在機(jī)器學(xué)習(xí)算法里面用的很普遍，例如將線性模型通過(guò)添加二次項(xiàng)或者三次項(xiàng)使模型泛化能力更強(qiáng)；使用非線性模型，比如SVM

、決策樹、深度學(xué)習(xí)等模型?？傊窋M合的解決辦法通常是提高模型的表達(dá)能力。但在深度學(xué)習(xí)中比較少見(jiàn)，因?yàn)?，深層網(wǎng)絡(luò)的表現(xiàn)能力一般都足夠強(qiáng)。

模型的欠擬合與過(guò)擬合（下）03模型擬合問(wèn)題解決辦法過(guò)擬合的緩解辦法一些過(guò)擬合的緩解辦法：增加典型數(shù)據(jù)

，從數(shù)據(jù)源頭獲取更多數(shù)據(jù)；數(shù)據(jù)增強(qiáng)（DataAugmentation）：又名數(shù)據(jù)擴(kuò)增，在不影響數(shù)據(jù)實(shí)質(zhì)的情況下，讓有限的數(shù)據(jù)產(chǎn)生更多的價(jià)值；。Dropout，在訓(xùn)練過(guò)程中，每次臨時(shí)刪除模型中的部分節(jié)點(diǎn)對(duì)其余節(jié)點(diǎn)進(jìn)行訓(xùn)練，不斷重復(fù)此過(guò)程。簡(jiǎn)化模型，減少網(wǎng)絡(luò)的層數(shù)、神經(jīng)元個(gè)數(shù)等均可以限制網(wǎng)絡(luò)的擬合能力。正則化，添加懲罰項(xiàng)，對(duì)復(fù)雜度高的模型進(jìn)行“懲罰”，限制權(quán)值變大。限制訓(xùn)練時(shí)間(early

stoptraining)，設(shè)置閾值，限制訓(xùn)練時(shí)間。數(shù)據(jù)清洗(data

cleaning/Pruning)：將錯(cuò)誤的label

糾正或者刪除錯(cuò)誤的數(shù)據(jù)。結(jié)合多種模型，

用不同的模型擬合不同部分的訓(xùn)練集。03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）數(shù)據(jù)增強(qiáng)相關(guān)方法Translation：移位；Horizontal/Vertical

Flip：水平/垂直翻轉(zhuǎn)；RandomScale：尺度變換；Rotation：旋轉(zhuǎn)變換；Noise：高斯噪聲、模糊處理；Random

Crop：采用隨機(jī)圖像差值方式，對(duì)圖像進(jìn)行裁剪；包括尺度和長(zhǎng)寬比增強(qiáng)變換；ColorJittering：對(duì)顏色的數(shù)據(jù)增強(qiáng)：圖像亮度、飽和度、對(duì)比度變化；PCA

Jittering：首先按照RGB三個(gè)顏色通道計(jì)算均值和標(biāo)準(zhǔn)差，再在整個(gè)訓(xùn)練集上計(jì)算協(xié)方差矩陣，進(jìn)行特征分解，得到特征向量和特征值，用來(lái)做PCAJittering；模型擬合問(wèn)題解決辦法03數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

移位（Translation）移位只涉及沿X或Y方向（或兩者）移動(dòng)圖像。在下面的示例中，我們假設(shè)圖像在其邊界之外具有黑色背景，并且被適當(dāng)?shù)匾莆?。這種增強(qiáng)方法非常有用，因?yàn)榇蠖鄶?shù)對(duì)象幾乎可以位于圖像的任何位置。這使你的卷積神經(jīng)網(wǎng)絡(luò)看到所有角落。原

圖水平移位水平和垂直同時(shí)移位03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

水平/垂直翻轉(zhuǎn)（

Horizontal/Vertical

Flip

）可以對(duì)圖片進(jìn)行水平和垂直翻轉(zhuǎn)。一些框架不提供垂直翻轉(zhuǎn)功能。但是，一個(gè)垂直反轉(zhuǎn)的圖片等同于圖片的180度旋轉(zhuǎn)，然后再執(zhí)行水平翻轉(zhuǎn)。下面是我們的圖片翻轉(zhuǎn)的例子。垂直翻轉(zhuǎn)水平翻轉(zhuǎn)原圖03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

尺度變換（

Scale

）尺度變換就是圖像縮放，對(duì)圖像按照指定的尺度因子,進(jìn)行放大或縮小。以下是圖像縮放的示例。原圖按比例縮放03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

旋轉(zhuǎn)變換（Rotation

）原圖旋轉(zhuǎn)變換值得注意的是，旋轉(zhuǎn)變換往往需要配合尺度變換，否則容易使得我們的目標(biāo)圖像超出我們的邊界。在部分框架中旋轉(zhuǎn)變化在函數(shù)會(huì)自帶縮放相關(guān)的參數(shù)。旋轉(zhuǎn)變換表示旋轉(zhuǎn)圖像一定角度，改變圖像內(nèi)容的朝向旋轉(zhuǎn)。如圖展示了原圖經(jīng)過(guò)旋轉(zhuǎn)變換的示例圖。03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）-- 噪聲（

Noise

）高斯噪聲（Gaussian

Noise

），是指圖像中的噪聲服從高斯分布。也就是大多數(shù)像素點(diǎn)都與無(wú)噪聲圖像中的對(duì)應(yīng)點(diǎn)相差不大，相差越大的情況越少。椒鹽噪聲也稱為脈沖噪聲，是指圖像中隨機(jī)出現(xiàn)全亮點(diǎn)和全暗點(diǎn)的情況，看起來(lái)就像是往圖像中撒了黑色胡椒和白色的鹽。原圖高斯噪聲椒鹽噪聲03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

抖動(dòng)JitteringColor

Jittering

色彩抖動(dòng)：色彩抖動(dòng)是指對(duì)圖像的亮度、飽和度（saturation）和色調(diào)（hue）進(jìn)行隨機(jī)變化形成不同光照及顏色的圖片，達(dá)到數(shù)據(jù)增強(qiáng)的目的，盡可能使得模型能夠使用不同光照條件的情形，提高模型泛化能力。PCA

Jittering：PCA

Jittering是實(shí)際上對(duì)RGB顏色空間添加擾動(dòng)，從而達(dá)到對(duì)RGB顏色添加噪聲的目的，具體為對(duì)RGB空間做PCA，然后做一個(gè)(0,

0.1)的高斯擾動(dòng)。最早使用是在2012年的AlexNet，從論文實(shí)驗(yàn)中可以看出，PCA

jittering對(duì)于分類的性能提升比較顯著。原圖Color

JitteringPCA

Jittering03模型擬合問(wèn)題解決辦法Dropout介紹Dropout的思想其實(shí)非常簡(jiǎn)單：對(duì)于網(wǎng)絡(luò)的每一層，隨機(jī)的丟棄一些單元。正是因?yàn)樵诿恳粚与S機(jī)地丟棄了一些單元，所以相當(dāng)于訓(xùn)練出來(lái)的網(wǎng)絡(luò)要比正常的網(wǎng)絡(luò)小的多，在一定程度避免過(guò)擬合的問(wèn)題。如下圖所示的一個(gè)簡(jiǎn)單網(wǎng)絡(luò)，因?yàn)槊恳粋€(gè)節(jié)點(diǎn)都有可能被丟棄，所以整個(gè)網(wǎng)絡(luò)不會(huì)把某個(gè)節(jié)點(diǎn)的權(quán)重值賦很大，類似于L2正則化，能夠起到減輕過(guò)擬合的作用。[1]Dropout:ASimpleWaytoPreventNeuralNetworksfrom

Overtting03模型擬合問(wèn)題解決辦法Dropout工作流程及使用使用Dropout之后，過(guò)程變成如下：首先隨機(jī)（臨時(shí)）刪掉網(wǎng)絡(luò)中一半的隱藏神經(jīng)元，輸入輸出神經(jīng)元保持不變?nèi)缓蟀演斎離通過(guò)修改后的網(wǎng)絡(luò)前向傳播，然后把得到的損失結(jié)果通過(guò)修改的網(wǎng)絡(luò)反向傳播。