Imagenetclassificationwithdeepconvolutionalneuralnetworks

1、華南農(nóng)業(yè)大學(xué)AlexNet Introduction by. 孫超! The Architecture（體系結(jié)構(gòu)） 1.1 ReLU 1.2 Training on Multiple GPUs 1.3 Local Response Normalization(RLN 局部響應(yīng)局部響應(yīng)歸一化歸一化) 1.4 Overlapping pooling（重疊池化）!Reducing Overfitting（減少過(guò)度擬合） 2.1 Data Augmentation（數(shù)據(jù)加強(qiáng)） 2.2 DropoutMain contentArchitecture Improving!1，采用ReLU來(lái)代替?zhèn)鹘y(tǒng)的tan

2、h(or sigmoid)引入非線(xiàn)性。!2，采用2塊顯卡來(lái)進(jìn)行并行計(jì)算，減少了更多顯卡需要host傳遞數(shù)據(jù)的時(shí)間消耗，在結(jié)構(gòu)上，部分分布在不同顯卡上面的前后層節(jié)點(diǎn)之間無(wú)連接，從而提高了訓(xùn)練速度。!3，同層相鄰節(jié)點(diǎn)的響應(yīng)進(jìn)行局部歸一化(lrn layer)提高了識(shí)別率（top5錯(cuò)誤率降低1.2%）。!4，overlapping pooling（top5錯(cuò)誤率降低0.3%）。1.ReLU激活函數(shù)2.LRN layer3.Overlapping Pooling AlexNet4.Dropout1.1 ReLU(Rectified Linear Units) Nonlinearity!ReLU具備引導(dǎo)

3、適度稀疏的能力,不需要不需要pre-trainingReLU不預(yù)訓(xùn)練和不預(yù)訓(xùn)練和sigmoid預(yù)訓(xùn)練的效預(yù)訓(xùn)練的效果差不多，甚至還更好果差不多，甚至還更好。相比之下，ReLU的速度非常快，而且精確度更高的速度非?？?，而且精確度更高。因此ReLU在深度網(wǎng)絡(luò)中已逐漸取代sigmoid而成為主流。1.2 Training on Multiple GPUs!Parallelization scheme：puts half of the kernels (or neurons) on each GPU，the GPUs communicate only in certain layers.（for ex

4、ample, the kernels of layer 3 take input from all kernel maps in layer 2）!This scheme reduces our top-1 and top-5 error rates by 1.7% and 1.2%1.3 Local Response Normalization其中a是每一個(gè)神經(jīng)元的激活，n是在同一個(gè)位置上臨近的kernel map的數(shù)目，N是可kernel的總數(shù)目，k，alpha，beta都是預(yù)設(shè)的一些hyper-parameters，其中k=2，n=5，alpha = 1*e-4，beta = 0.75。

5、1.4 Overlapping pooling!Kernel size: 3*3!Stride:2!This scheme reduces the top-1 and top-5 error rates by 0.4% and 0.3%Pooling!1. 一般池化（一般池化（General Pooling） 我們定義池化窗口的大小為sizeX，即下圖中紅色正方形的邊長(zhǎng)，定義兩個(gè)相鄰池化窗 口的水平位移/豎直位移為stride。一般池化由于每一池化窗口都是不重復(fù)的，所以 sizeX=stride。!2. 重疊池化（重疊池化（OverlappingPooling） 重疊池化正如其名字所說(shuō)的，相鄰

6、池化窗口之間會(huì)有重疊區(qū)域，此時(shí)sizeXstride。 作者使用了重疊池化，其他的設(shè)置都不變的情況下， top-1和top-5 的錯(cuò)誤率分別 減少了0.4% 和0.3%。!3. 空金字塔池化（空金字塔池化（Spatial Pyramid Pooling） 空間金字塔池化可以把任何尺度的圖像的卷積特征轉(zhuǎn)化成相同維度，這不僅可以讓CNN處理任意尺度的 圖像，還能避免cropping和warping操作，導(dǎo)致一些信息的丟失，具有非常重要的意義。!1 數(shù)據(jù)加強(qiáng)（data augmentation）：對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行左右對(duì)稱(chēng)以及平移變換，將訓(xùn)練數(shù)據(jù)增加為原來(lái)的2048倍；對(duì)像素進(jìn)行PCA變換構(gòu)造新樣本（此

7、機(jī)制使得top5錯(cuò)誤率降低%1）；!2 DropoutReducing Over-fitting2.1 Data augmentation!a. 增大訓(xùn)練樣本：通過(guò)對(duì)于圖像的變換實(shí)現(xiàn)了對(duì)于數(shù)據(jù)集合的enlarge。首先對(duì)于輸入的圖像（size 256*256）隨機(jī)提取224*224的圖像集合，并對(duì)他們做一個(gè)horizontal reflections。變換后圖像和原圖像相差了32個(gè)像素，因此主體部分應(yīng)該都包含在訓(xùn)練集合中，相當(dāng)于在位置這個(gè)維度上豐富了訓(xùn)練數(shù)據(jù)。對(duì)horizontal reflections來(lái)說(shuō)，相當(dāng)于相機(jī)在主軸方向做了鏡像，豐富了反方向的圖像。數(shù)據(jù)集合增大了2048倍，直接結(jié)果

8、就是降低了overfitting同時(shí)降低了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的復(fù)雜層度。!在測(cè)試階段，取每一個(gè)測(cè)試樣本四個(gè)角以及中間區(qū)域，一共5個(gè)patch然后再鏡像后得到10個(gè)樣本輸入到網(wǎng)絡(luò)中，最后將10個(gè)softmax輸出平均后作為最后的輸出。!b.使用PCA對(duì)于訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)：對(duì)于每一個(gè)RGB圖像進(jìn)行一個(gè)PCA的變換，完成去噪功能，同時(shí)為了保證圖像的多樣性，在eigenvalue（特征值）上加了一個(gè)隨機(jī)的尺度因子，每一輪重新生成一個(gè)尺度因子，這樣保證了同一副圖像中在顯著特征上有一定范圍的變換，降低了overfitting的概率。2.2 Dropout!Independently set each hidde

9、n unit activity to zero with 0.5 probability!a very efficient version of model combinationDropout是指在模型訓(xùn)練時(shí)隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重不工作，不工作的那些節(jié)點(diǎn)可以暫時(shí)認(rèn)為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重得保留下來(lái)（只是暫時(shí)不更新而已），因?yàn)橄麓螛颖据斎霑r(shí)它可能又得工作了 使用多個(gè)使用多個(gè)model來(lái)共同進(jìn)行預(yù)測(cè)是一個(gè)降低來(lái)共同進(jìn)行預(yù)測(cè)是一個(gè)降低test errors的基本方法的基本方法，但是單獨(dú)的訓(xùn)練多個(gè)model組合會(huì)導(dǎo)致整個(gè)的訓(xùn)練成本增加，畢竟訓(xùn)練一個(gè)單一的網(wǎng)絡(luò)需要很長(zhǎng)的時(shí)間，即便計(jì)

10、算資源足夠，在不影響精度的情況下降低整個(gè)運(yùn)算時(shí)間還是我們追求的目標(biāo)。 對(duì)于每一個(gè)隱層的output，以50%的概率將他們?cè)O(shè)置為0，不再對(duì)于forward或者backward的過(guò)程起任何作用。對(duì)于每一個(gè)input來(lái)說(shuō)，使用的不同的網(wǎng)絡(luò)結(jié)構(gòu)，但是權(quán)重是共享的。這樣求得的參數(shù)能夠適應(yīng)不同的情況下的網(wǎng)絡(luò)結(jié)構(gòu)，也就是提高了系統(tǒng)的泛化能力基本結(jié)構(gòu)：!共有8層，其中前5層convolutional，后邊3層full-connected ，最后的一個(gè)full-connected層的output是具有1000個(gè)輸出的softmax! 在第一層conv1和conv2之后直接跟的是Response-nomalization layer，也就是norm1，norm2層!在每一個(gè)conv層以及full-connected層后緊跟的操作是ReLU操作!Max pooling操作是緊跟在第一個(gè)norm1，norm2，以及第5個(gè)conv層，也就是conv5!Dropout操作是在最后兩個(gè)full-connected層1.ReLU激活函數(shù)2.LRN layer3.Overlapping Pooling AlexNet4.DropoutThank You .2015.10