深度學(xué)習(xí)應(yīng)用開發(fā) 課件 cha1 2-深度學(xué)習(xí)的特點(diǎn)

目錄1數(shù)據(jù)量大01任務(wù)計(jì)算力提升02任務(wù)網(wǎng)絡(luò)規(guī)模大03任務(wù)1數(shù)據(jù)量大1數(shù)據(jù)量大早期的機(jī)器學(xué)習(xí)算法比較簡單，容易快速訓(xùn)練，需要的數(shù)據(jù)集規(guī)模也比較小，如1936年由英國統(tǒng)計(jì)學(xué)家RonaldFisher收集整理的鳶尾花卉數(shù)據(jù)集Iris共包含3個(gè)類別花卉，每個(gè)類別50個(gè)樣本。1998年由YannLeCun收集整理的MNIST手寫數(shù)字圖片數(shù)據(jù)集共包含0~9共10類數(shù)字，每個(gè)類別多達(dá)7000張圖片。1數(shù)據(jù)量大圖2數(shù)據(jù)集大小趨勢圖1

數(shù)據(jù)集樣本數(shù)趨勢2計(jì)算力提升2計(jì)算力提升計(jì)算能力的提升是第三次人工智能復(fù)興的一個(gè)重要因素；傳統(tǒng)的機(jī)器學(xué)習(xí)算法，對數(shù)據(jù)量和計(jì)算能力要求不高，通常在CPU上可訓(xùn)練完成；深度學(xué)習(xí)非常依賴并行加速計(jì)算設(shè)備，目前的大部分神經(jīng)網(wǎng)絡(luò)均使用NVIDIAGPU和GoogleTPU或其他神經(jīng)網(wǎng)絡(luò)并行加速芯片訓(xùn)練模型參數(shù)；2012年基于2塊

GTX580GPU訓(xùn)練的AlexNet發(fā)布后，深度學(xué)習(xí)的真正潛力才得以發(fā)揮；圍棋程序AlphaGoZero在64塊GPU上從零開始訓(xùn)練了40天才得以超越所有的AlphaGo歷史版本；自動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)搜索算法使用了800塊GPU同時(shí)訓(xùn)練才能優(yōu)化出較好的網(wǎng)絡(luò)結(jié)構(gòu)。2計(jì)算力提升GPU(GraphicsProcessingUnit)，圖形處理器，又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備上做圖像和圖形相關(guān)運(yùn)算工作的微處理器;TPU(TensorProcessingUnits)，是由Google設(shè)計(jì)的定制機(jī)器學(xué)習(xí)芯片，用于成功執(zhí)行其常規(guī)機(jī)器學(xué)習(xí)工作負(fù)載，專為Google的深度學(xué)習(xí)框架TensorFlow而設(shè)計(jì).

2計(jì)算力提升3網(wǎng)絡(luò)規(guī)模大3網(wǎng)絡(luò)規(guī)模大早期的感知機(jī)模型和多層神經(jīng)網(wǎng)絡(luò)層數(shù)只有1層或者2~4層，網(wǎng)絡(luò)參數(shù)量也在數(shù)萬左右；隨著深度學(xué)習(xí)的興起和計(jì)算能力的提升，AlexNet(8層)，VGG16(16層)，GoogLeNet(22層)，ResNet50(50層)，DenseNet121(121層)等模型相繼被提出；同時(shí)輸入圖片的大小也從28x28逐漸增大，變成224x