深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 課件 2.3.2模型的欠擬合與過(guò)擬合（下）

模型的欠擬合與過(guò)擬合（下）03模型擬合問(wèn)題解決辦法過(guò)擬合的緩解辦法一些過(guò)擬合的緩解辦法：增加典型數(shù)據(jù)

，從數(shù)據(jù)源頭獲取更多數(shù)據(jù)；數(shù)據(jù)增強(qiáng)（DataAugmentation）：又名數(shù)據(jù)擴(kuò)增，在不影響數(shù)據(jù)實(shí)質(zhì)的情況下，讓有限的數(shù)據(jù)產(chǎn)生更多的價(jià)值；。Dropout，在訓(xùn)練過(guò)程中，每次臨時(shí)刪除模型中的部分節(jié)點(diǎn)對(duì)其余節(jié)點(diǎn)進(jìn)行訓(xùn)練，不斷重復(fù)此過(guò)程。簡(jiǎn)化模型，減少網(wǎng)絡(luò)的層數(shù)、神經(jīng)元個(gè)數(shù)等均可以限制網(wǎng)絡(luò)的擬合能力。正則化，添加懲罰項(xiàng)，對(duì)復(fù)雜度高的模型進(jìn)行“懲罰”，限制權(quán)值變大。限制訓(xùn)練時(shí)間(early

stoptraining)，設(shè)置閾值，限制訓(xùn)練時(shí)間。數(shù)據(jù)清洗(data

cleaning/Pruning)：將錯(cuò)誤的label

糾正或者刪除錯(cuò)誤的數(shù)據(jù)。結(jié)合多種模型，

用不同的模型擬合不同部分的訓(xùn)練集。03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）數(shù)據(jù)增強(qiáng)相關(guān)方法Translation：移位；Horizontal/Vertical

Flip：水平/垂直翻轉(zhuǎn)；RandomScale：尺度變換；Rotation：旋轉(zhuǎn)變換；Noise：高斯噪聲、模糊處理；Random

Crop：采用隨機(jī)圖像差值方式，對(duì)圖像進(jìn)行裁剪；包括尺度和長(zhǎng)寬比增強(qiáng)變換；ColorJittering：對(duì)顏色的數(shù)據(jù)增強(qiáng)：圖像亮度、飽和度、對(duì)比度變化；PCA

Jittering：首先按照RGB三個(gè)顏色通道計(jì)算均值和標(biāo)準(zhǔn)差，再在整個(gè)訓(xùn)練集上計(jì)算協(xié)方差矩陣，進(jìn)行特征分解，得到特征向量和特征值，用來(lái)做PCAJittering；模型擬合問(wèn)題解決辦法03數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

移位（Translation）移位只涉及沿X或Y方向（或兩者）移動(dòng)圖像。在下面的示例中，我們假設(shè)圖像在其邊界之外具有黑色背景，并且被適當(dāng)?shù)匾莆?。這種增強(qiáng)方法非常有用，因?yàn)榇蠖鄶?shù)對(duì)象幾乎可以位于圖像的任何位置。這使你的卷積神經(jīng)網(wǎng)絡(luò)看到所有角落。原

圖水平移位水平和垂直同時(shí)移位03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

水平/垂直翻轉(zhuǎn)（

Horizontal/Vertical

Flip

）可以對(duì)圖片進(jìn)行水平和垂直翻轉(zhuǎn)。一些框架不提供垂直翻轉(zhuǎn)功能。但是，一個(gè)垂直反轉(zhuǎn)的圖片等同于圖片的180度旋轉(zhuǎn)，然后再執(zhí)行水平翻轉(zhuǎn)。下面是我們的圖片翻轉(zhuǎn)的例子。垂直翻轉(zhuǎn)水平翻轉(zhuǎn)原圖03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

尺度變換（

Scale

）尺度變換就是圖像縮放，對(duì)圖像按照指定的尺度因子,進(jìn)行放大或縮小。以下是圖像縮放的示例。原圖按比例縮放03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

旋轉(zhuǎn)變換（Rotation

）原圖旋轉(zhuǎn)變換值得注意的是，旋轉(zhuǎn)變換往往需要配合尺度變換，否則容易使得我們的目標(biāo)圖像超出我們的邊界。在部分框架中旋轉(zhuǎn)變化在函數(shù)會(huì)自帶縮放相關(guān)的參數(shù)。旋轉(zhuǎn)變換表示旋轉(zhuǎn)圖像一定角度，改變圖像內(nèi)容的朝向旋轉(zhuǎn)。如圖展示了原圖經(jīng)過(guò)旋轉(zhuǎn)變換的示例圖。03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）-- 噪聲（

Noise

）高斯噪聲（Gaussian

Noise

），是指圖像中的噪聲服從高斯分布。也就是大多數(shù)像素點(diǎn)都與無(wú)噪聲圖像中的對(duì)應(yīng)點(diǎn)相差不大，相差越大的情況越少。椒鹽噪聲也稱(chēng)為脈沖噪聲，是指圖像中隨機(jī)出現(xiàn)全亮點(diǎn)和全暗點(diǎn)的情況，看起來(lái)就像是往圖像中撒了黑色胡椒和白色的鹽。原圖高斯噪聲椒鹽噪聲03模型擬合問(wèn)題解決辦法數(shù)據(jù)增強(qiáng)（Data

Augmentation）--

抖動(dòng)JitteringColor

Jittering

色彩抖動(dòng)：色彩抖動(dòng)是指對(duì)圖像的亮度、飽和度（saturation）和色調(diào)（hue）進(jìn)行隨機(jī)變化形成不同光照及顏色的圖片，達(dá)到數(shù)據(jù)增強(qiáng)的目的，盡可能使得模型能夠使用不同光照條件的情形，提高模型泛化能力。PCA

Jittering：PCA

Jittering是實(shí)際上對(duì)RGB顏色空間添加擾動(dòng)，從而達(dá)到對(duì)RGB顏色添加噪聲的目的，具體為對(duì)RGB空間做PCA，然后做一個(gè)(0,

0.1)的高斯擾動(dòng)。最早使用是在2012年的AlexNet，從論文實(shí)驗(yàn)中可以看出，PCA

jittering對(duì)于分類(lèi)的性能提升比較顯著。原圖Color

JitteringPCA

Jittering03模型擬合問(wèn)題解決辦法Dropout介紹Dropout的思想其實(shí)非常簡(jiǎn)單：對(duì)于網(wǎng)絡(luò)的每一層，隨機(jī)的丟棄一些單元。正是因?yàn)樵诿恳粚与S機(jī)地丟棄了一些單元，所以相當(dāng)于訓(xùn)練出來(lái)的網(wǎng)絡(luò)要比正常的網(wǎng)絡(luò)小的多，在一定程度避免過(guò)擬合的問(wèn)題。如下圖所示的一個(gè)簡(jiǎn)單網(wǎng)絡(luò)，因?yàn)槊恳粋€(gè)節(jié)點(diǎn)都有可能被丟棄，所以整個(gè)網(wǎng)絡(luò)不會(huì)把某個(gè)節(jié)點(diǎn)的權(quán)重值賦很大，類(lèi)似于L2正則化，能夠起到減輕過(guò)擬合的作用。[1]Dropout:ASimpleWaytoPreventNeuralNetworksfrom

Overtting03模型擬合問(wèn)題解決辦法Dropout工作流程及使用使用Dropout之后，過(guò)程變成如下：首先隨機(jī)（臨時(shí)）刪掉網(wǎng)絡(luò)中一半的隱藏神經(jīng)元，輸入輸出神經(jīng)元保持不變?nèi)缓蟀演斎離通過(guò)修改后的網(wǎng)絡(luò)前向傳播，然后把得到的損失結(jié)果通過(guò)修改的網(wǎng)絡(luò)反向傳播。一小批訓(xùn)練樣本執(zhí)行完這個(gè)過(guò)程后，在沒(méi)有被刪除的神經(jīng)元上按照隨機(jī)梯度下降法