深度學(xué)習(xí) 實(shí)驗(yàn)指導(dǎo)書 實(shí)驗(yàn)2：基于ViT的CIFAR10圖像分類實(shí)驗(yàn)指導(dǎo)書

實(shí)驗(yàn)二：基于ViT的CIFAR10圖像分類一、實(shí)驗(yàn)?zāi)康膶W(xué)習(xí)如何使用深度學(xué)習(xí)框架來(lái)實(shí)現(xiàn)和訓(xùn)練一個(gè)ViT模型，以及ViT中的Attention機(jī)制。進(jìn)一步掌握使用深度學(xué)習(xí)框架完成任務(wù)的具體流程：如讀取數(shù)據(jù)、構(gòu)造網(wǎng)絡(luò)、訓(xùn)練模型和測(cè)試模型等。二、實(shí)驗(yàn)要求基于Python語(yǔ)言和任意一種深度學(xué)習(xí)框架（實(shí)驗(yàn)指導(dǎo)書中使用PyTorch框架進(jìn)行介紹），從零開始一步步完成數(shù)據(jù)讀取、網(wǎng)絡(luò)構(gòu)建、模型訓(xùn)練和模型測(cè)試等過(guò)程，最終實(shí)現(xiàn)一個(gè)可以完成基于ViT的CIFAR10圖像分類任務(wù)的程序。在CIFAR10數(shù)據(jù)集上進(jìn)行訓(xùn)練和評(píng)估，實(shí)現(xiàn)測(cè)試集準(zhǔn)確率達(dá)到90%以上。按照規(guī)定時(shí)間在課程網(wǎng)站上提交實(shí)驗(yàn)報(bào)告，代碼和PPT。三、實(shí)驗(yàn)原理ViT相關(guān)概念和原理參考《深度學(xué)習(xí)》課程講授內(nèi)容，VIT首次將Transformer模型運(yùn)用到計(jì)算機(jī)視覺領(lǐng)域并且取得了不錯(cuò)的分類效果，模型架構(gòu)圖如圖1所示。從圖1可以看出VIT只用了Transformer模型的編碼器部分，并未涉及解碼器。ViT架構(gòu)由三部分組成：（1）圖像特征嵌入模塊；（2）Transformer編碼器模塊；（3）MLP分類模塊。ViT的組成模塊詳細(xì)介紹如下：圖1ViT的架構(gòu)（1）圖像特征嵌入模塊：標(biāo)準(zhǔn)的ViT模型對(duì)圖像的輸入尺寸有要求，必須為224*224，圖像輸入之后首先是需要進(jìn)行Patch分塊，一般設(shè)置Patch的尺寸為16*16，那么一共能生成(224/16)*(224/16)=196個(gè)Patch塊。（2）Transformer編碼器模塊：主要由LayerNorm層、多頭注意力機(jī)制、MLP模塊、殘差連接這5個(gè)部分組成。其中多頭注意力如圖2所示。圖2多頭注意力（3）MLP模塊：由兩個(gè)全連接層加上Dropout層實(shí)現(xiàn)。四、實(shí)驗(yàn)所需工具和數(shù)據(jù)集數(shù)據(jù)集CIFAR-10（CanadianInstituteforAdvancedResearch-10）是一個(gè)常用的計(jì)算機(jī)視覺數(shù)據(jù)集，由60000張32*32像素的彩色圖片組成，分為10個(gè)類別，每個(gè)類別有6000張圖片。這個(gè)數(shù)據(jù)集包含飛機(jī)、汽車、鳥類、貓、鹿、狗、青蛙、馬、船和卡車等類別。其中，訓(xùn)練集包含50000張圖片，測(cè)試集包含10000張圖片。CIFAR-10是一個(gè)用于測(cè)試圖像分類算法性能的標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集之一，由于圖像尺寸小且類別豐富，因此在計(jì)算資源有限的情況下，它通常用于快速驗(yàn)證和原型設(shè)計(jì)。下載地址：/~kriz/cifar.html實(shí)驗(yàn)環(huán)境一臺(tái)電腦Python3.XPyTorch深度學(xué)習(xí)框架五、實(shí)驗(yàn)步驟和方法下載數(shù)據(jù)集和數(shù)據(jù)預(yù)處理構(gòu)建模型：包括A