深度學(xué)習(xí) 教學(xué)大綱

第第#頁(yè)/共6頁(yè)第第1頁(yè)/共6頁(yè)深度學(xué)習(xí)一、課程說(shuō)明課程編號(hào)：092115Z10課程名稱（中/英文）:深度學(xué)習(xí)/DeepLearning課程類別：選修學(xué)時(shí)/學(xué)分：32/2先修課程：機(jī)器學(xué)習(xí)、線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)、高等數(shù)學(xué)、計(jì)算機(jī)程序設(shè)計(jì)基礎(chǔ)適用專業(yè)：大數(shù)據(jù)、計(jì)算機(jī)科學(xué)與技術(shù)、智能科學(xué)與技術(shù)、物聯(lián)網(wǎng)工程、信息安全教材、教學(xué)參考書(shū)：臺(tái)灣大學(xué)MachineLearningandhavingitdeepandstructured.毅.tw/~tlkagk/courses_MLDS17.html《DeepLearning》.IanGoodfellow，YoshuaBengio，andAaronCourville（著:.MIT,2017《機(jī)器學(xué)習(xí)》.周志華（著:.清華大學(xué)出版社,2016《深度學(xué)習(xí):原理與應(yīng)用實(shí)踐》.張重生（著:.電子工業(yè)出版社,2016《DeepLearning:APractitioner'sApproach》.AdamGibsonandJoshPatterson（著:.O'ReillyMedia,2017《深度學(xué)習(xí)兒方法與應(yīng)用》.鄧力,俞棟（著:，謝磊（譯:.機(jī)械工業(yè)出版社,2016《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》.吳岸城（著:.電子工業(yè)出版社,2016二、課程設(shè)置的目的意義本課程是為大數(shù)據(jù)專業(yè)設(shè)立的拓展知識(shí)體系的專業(yè)選修課。深度學(xué)習(xí)是人工智能特別是機(jī)器學(xué)習(xí)領(lǐng)域近幾年興起的一個(gè)研究熱點(diǎn)，主要是研究如何利用多層次的深度人工神經(jīng)網(wǎng)絡(luò)運(yùn)用模塊化思想自動(dòng)的學(xué)習(xí)數(shù)據(jù)的特征的一種端到端機(jī)器學(xué)習(xí)模式。課程設(shè)置的目的是讓學(xué)生了解深度學(xué)習(xí)這一機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析前沿研究領(lǐng)域，從而一方面訓(xùn)練學(xué)生的科研思維能力，另一方面為學(xué)生在機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等領(lǐng)域的創(chuàng)新實(shí)踐提供創(chuàng)新思維訓(xùn)練。三、課程的基本要求知識(shí)：掌握單個(gè)神經(jīng)元與邏輯回歸的對(duì)應(yīng)關(guān)系，以及前向全連通神經(jīng)網(wǎng)絡(luò)基本架構(gòu)；理解深度神經(jīng)網(wǎng)絡(luò)的模塊化思想；掌握深度學(xué)習(xí)在訓(xùn)練和測(cè)試階段進(jìn)行分別優(yōu)化的技巧（如自適應(yīng)學(xué)習(xí)率、正則化、Dropout等）；掌握卷積神經(jīng)網(wǎng)絡(luò)基本思想并學(xué)會(huì)靈活運(yùn)用；理解和掌握詞嵌入、自編碼器、遷徙學(xué)習(xí)等無(wú)監(jiān)督學(xué)習(xí)的基本原理；掌握結(jié)構(gòu)化學(xué)習(xí)的基本概念、原理和框架，并結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)一步理解結(jié)構(gòu)化學(xué)習(xí)的理念；了解和掌握深度強(qiáng)化學(xué)習(xí)的基本概念和方法。能力：能夠熟練掌握深度學(xué)習(xí)開(kāi)發(fā)工具（如TensorFlow）的框架，并能夠基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和實(shí)現(xiàn)深度學(xué)習(xí)應(yīng)用；能夠根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的3個(gè)屬性靈活運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)到不同類型的機(jī)器學(xué)習(xí)任務(wù)；能夠運(yùn)用詞嵌入、自編碼器、遷徙學(xué)習(xí)等技術(shù)完成各類無(wú)監(jiān)督學(xué)習(xí)的訓(xùn)練任務(wù)；能夠運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)完成訓(xùn)練機(jī)器翻譯等結(jié)構(gòu)化學(xué)習(xí)的任務(wù)。素質(zhì)：建立深度學(xué)習(xí)基于框架的商業(yè)軟件開(kāi)發(fā)觀念，通過(guò)課程中的演示、交互、討論培養(yǎng)表達(dá)、歸納、分析、溝通、交流等素質(zhì)，通過(guò)課程學(xué)習(xí)及課程項(xiàng)目建立深度學(xué)習(xí)技術(shù)到應(yīng)用的思維模式，提升理解工程管理與經(jīng)濟(jì)決策的基本素質(zhì)通過(guò)課外導(dǎo)學(xué)的模式，提升自主學(xué)習(xí)和終身學(xué)習(xí)的意識(shí)，形成不斷學(xué)習(xí)和適應(yīng)發(fā)展素質(zhì)。四、教學(xué)內(nèi)容、重點(diǎn)難點(diǎn)及教學(xué)設(shè)計(jì)章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐第1章緒論220從深度學(xué)習(xí)的發(fā)展歷程出發(fā)，介紹深度學(xué)習(xí)的基本概念和思想，然后通過(guò)對(duì)各種類型的深度神經(jīng)網(wǎng)絡(luò)典型應(yīng)用的介紹，形成對(duì)深度學(xué)習(xí)這一前沿領(lǐng)域的初步認(rèn)識(shí)。第2章神經(jīng)元與邏輯回歸222（課外）最大似然估計(jì)與父叉熵；邏輯回歸與分類的區(qū)別和聯(lián)系；單個(gè)神經(jīng)元與邏輯回歸的對(duì)應(yīng)關(guān)系Sigmoid函數(shù)的數(shù)學(xué)推導(dǎo)；生成模型和判別模型的區(qū)別；交叉熵與方差用在邏輯回歸上的區(qū)別教學(xué)思路：從邏輯回歸和分類的區(qū)別和聯(lián)系出發(fā)，引出生成模型和判別模型的區(qū)別和關(guān)聯(lián)，弓丨出sigmoid和softmax函數(shù)的物理意義；從邏輯回歸的局限性引出邏輯回歸和單個(gè)神經(jīng)元的關(guān)聯(lián)，并說(shuō)明層次化連接多個(gè)神經(jīng)元的必要性。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問(wèn)題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問(wèn)題；2學(xué)時(shí)課外作業(yè)。

總學(xué)時(shí)教學(xué)難點(diǎn)講課（含研討）實(shí)踐章3第^深架422{課內(nèi)實(shí)的度絡(luò)框解習(xí)思深網(wǎng)本理學(xué)化握經(jīng)基?，度塊掌神的架深模想學(xué)化理論實(shí)度塊的理的用深模想；識(shí)運(yùn)對(duì)習(xí)思解知踐前度，經(jīng)參深思絡(luò)識(shí)答手講響。過(guò)深架神的出化網(wǎng)知回動(dòng)程皓驗(yàn)通解框?qū)蛹?jí)引塊深內(nèi)生際課淚矢先理本深量比模加堂學(xué)實(shí)時(shí)瞠船首來(lái)基和數(shù)對(duì)的明。課內(nèi)合學(xué)ra課:絡(luò)的層同能絡(luò)說(shuō)處：堂結(jié)5路網(wǎng)絡(luò)淺相性網(wǎng)而益式課并L學(xué)學(xué)思經(jīng)網(wǎng)過(guò){的經(jīng)從的模和，；002學(xué)神經(jīng)通絡(luò)>神，數(shù)學(xué)授題作;0;教向神再網(wǎng)數(shù)層想層教講問(wèn)操授題章4第習(xí)巧學(xué)技帔練222{課#)學(xué)率len)>t與流其3k;gg.li應(yīng)om等吧想本及m系y.plnhmall適Mmop思彳，Ise聯(lián)riyopateormon自習(xí)—tunDr的具程與EE的EastBaNC>ati失；5;LL的區(qū)；t段以后消逋outRe系^化OU階乘背因度￡axoR關(guān)與則質(zhì)OP試重?cái)?shù)原梯問(wèn)M與的LL正本別Dr測(cè)權(quán)系的深基者好合由和的些識(shí)答手講前明的學(xué)太擬并練好一知回動(dòng)程皓業(yè)說(shuō)試初不過(guò)，訓(xùn)不的內(nèi)生際課涸例先測(cè)明果于的對(duì)果用堂學(xué)實(shí)時(shí)瞠刑首和說(shuō)效罪性針效使課內(nèi)合學(xué)障課:練并練歸面別的薦：堂結(jié)5wm路訓(xùn)，訓(xùn)就片分段推式課并L學(xué)學(xué)思習(xí)程在候其出階而。模和，；兀22;學(xué)學(xué)流易時(shí)有引試題巧學(xué)授題作;0;教度本容的是此測(cè)問(wèn)技教講問(wèn)操授題章5第422{課內(nèi)實(shí)的仁屬VN框積的細(xì)秘隱學(xué)的M沁CN另卷妣術(shù)揭N砂容去CN尙#;的黒利技也CN藏內(nèi)加秘隱學(xué)方職體靈用所的CN具的運(yùn)職層容；對(duì)務(wù)揭ch藏內(nèi)法針任活使餉引以這性黒積在解訥之識(shí)答手講響。介勾由匡池的3紹節(jié)各羽冬亠也內(nèi)生陌課:C實(shí)先磋并柑和備述介細(xì)紹宏及⑴堂學(xué)實(shí)時(shí)瞠相首雞，斷積具上再體介今口以NN課內(nèi)合學(xué)朋課:粗因館卷所應(yīng)后具，隱，C:堂結(jié)5wm路原釘中塊對(duì)最的上N法些式課并L學(xué)訓(xùn)思NN要NN架模何，化礎(chǔ)2N方一模和，；M2q學(xué)C主C框個(gè)如的池基C的的學(xué)授題作;0;教用個(gè)出及兩是因和此釋容外教講問(wèn)操授題章6第322

總學(xué)時(shí)教學(xué)難點(diǎn)講課（含研討）實(shí)踐入絡(luò){課內(nèi)實(shí)的詞的網(wǎng)的理取義；入原獲語(yǔ)理嵌本法語(yǔ)原絡(luò)基打較測(cè)詞、后引及最發(fā)前識(shí)答手講響野比預(yù)明程然系以，啟等知回動(dòng)程皓唸町過(guò)于說(shuō)流，關(guān)念用入入內(nèi)生際課細(xì)鵡<鳳雪，柿理的概應(yīng)嵌嵌堂學(xué)實(shí)時(shí)瞠相附再和法基原間的關(guān)詞絡(luò)課內(nèi)合學(xué)靂課量，的方的、之入相受網(wǎng)：堂結(jié)5wBt'觸念數(shù)入法構(gòu)詞嵌的紹的。式課并L學(xué)學(xué)tr概計(jì)嵌方結(jié)與系入介出點(diǎn)模和，；22ho本于詞入絡(luò)詞關(guān)嵌，提熱學(xué)授題作;0;1-基基的嵌網(wǎng)從入詞后而沿教講問(wèn)操授題章7第與碼口吝七冊(cè)碼自器扁變自可222{課#)自編碼器的原理編原絡(luò)自的網(wǎng)變器和計(jì)可碼理設(shè)比碼架通用器W反通自編識(shí)答手講祠過(guò)編的再應(yīng)碼6和，變自知回動(dòng)程皓唸通自器，的編與積后可用)0內(nèi)生際課伯務(wù)先和碼用器自過(guò)卷最出利型堂學(xué)實(shí)時(shí)膛內(nèi)首析扁作碼對(duì)通反，引種模課內(nèi)合學(xué)朋課:分話和編深并出念用一成：堂結(jié)5wm路分朋理自加，引概應(yīng){生式課并L學(xué)學(xué)思成明原紹來(lái)解合的體器的模和,;152學(xué)主說(shuō)、介景理結(jié)化具碼器學(xué)授題作;0;教較器構(gòu)過(guò)場(chǎng)的的池過(guò)編碼教講問(wèn)操授題章8第222{課外作<)徙型模遷體景區(qū)任和經(jīng)異遷類型層具場(chǎng)勺多習(xí)神的種習(xí)典；在用白；學(xué)進(jìn)絡(luò)各學(xué)的型徙應(yīng)下別務(wù)漸網(wǎng)同抗理徙對(duì)用靈甘的遷幷應(yīng)的用域練；習(xí)體景運(yùn)領(lǐng)訓(xùn)解學(xué)具場(chǎng)活什引概據(jù)有類4類識(shí)答手講為手本>否分類種。知可動(dòng)程從入基源是習(xí)分每型內(nèi)生際課先習(xí)的從集學(xué)習(xí)解模堂學(xué)實(shí)時(shí)首學(xué)習(xí)別據(jù)徙學(xué)講性課內(nèi)合學(xué):徙"分?jǐn)?shù)遷徙別表：堂結(jié)5路遷汚后標(biāo)為遷分代式課并L思要澀然目作將并的模和，?‘學(xué)需遷，和簽據(jù)，下學(xué)授題作教么出念集標(biāo)依類型教講問(wèn)操

總學(xué)時(shí)教學(xué)難點(diǎn)講課（含研討）實(shí)踐□n章9第222{課#)學(xué)念框構(gòu)的化概本結(jié)習(xí)構(gòu)的基；學(xué)法結(jié)習(xí)和架化算學(xué)法具場(chǎng)活化算對(duì)用靈構(gòu)的針應(yīng)的用結(jié)習(xí)和體景運(yùn)結(jié)和結(jié)，講建一模。識(shí)答手講響。紹念出架行絡(luò)進(jìn)性型知回動(dòng)程堆業(yè)介概給框進(jìn)網(wǎng)再線模內(nèi)生際課淚創(chuàng)先本后本例經(jīng)后的機(jī)堂學(xué)實(shí)時(shí)瞠刑首基然基案神最化量課內(nèi)合學(xué)喋彫:的，的體度，構(gòu)向：堂結(jié)5路習(xí)用習(xí)具深聯(lián)結(jié)持式課并L學(xué)學(xué)思學(xué)應(yīng)學(xué)過(guò)與關(guān)紹支模和，；22學(xué)化型化通并起介和學(xué)授題作;0;教構(gòu)典構(gòu)再解立步型教講問(wèn)操授題第10早422{課內(nèi)實(shí)的RNN的核心思想；LSTM的原理與學(xué)聯(lián)對(duì)用靈J化關(guān)幷應(yīng)的用VN構(gòu)的及體景運(yùn)“結(jié)習(xí)以具場(chǎng)活具必概一和然訓(xùn)的、RN通案與飯通具)0識(shí)答手講祠過(guò)的埔進(jìn)N>,在現(xiàn)USCR,誦何頓酈{的題知回動(dòng)程賂瓠血N隍上<N冷N出3RS著碰RRN諸聯(lián)中問(wèn)內(nèi)生際課淚、買(mǎi)先小的礎(chǔ)R噸小易GN>接咻解下碼關(guān)理簽堂學(xué)實(shí)時(shí)瞠相>-RN基向用R、孕出說(shuō)‘俱理一、的處標(biāo)課內(nèi)亠口學(xué)tw課:出說(shuō)此^基出中圧eR案的步一型習(xí)言列：堂結(jié)5路引R在以的指程引ds方N磯模學(xué)語(yǔ)序式課并L學(xué)學(xué)思例和并出M過(guò)過(guò)邈kw決型進(jìn)3力化然例模和，；M2q教體要念步LS后練問(wèn)0等過(guò)例最注結(jié)過(guò)體教講問(wèn)操授題Mil章學(xué)化強(qiáng)習(xí)深222{課#)習(xí)思度習(xí)之學(xué)本深學(xué)同化基；化不強(qiáng)的想強(qiáng)的處化練以具場(chǎng)活強(qiáng)訓(xùn)難對(duì)用靈度習(xí)困針應(yīng)的用深學(xué)的及體景運(yùn)一概戲強(qiáng)于者習(xí)識(shí)紹本游解基兩學(xué)知介基打理迂及化內(nèi)先的器步通以強(qiáng)。堂首習(xí)機(jī)后值種解課過(guò)進(jìn)然于三講：路汚通來(lái)，基的別式思化再例習(xí)、的分模學(xué)強(qiáng)，案學(xué)略合型學(xué)教下念寧化策結(jié)類教總學(xué)時(shí)教學(xué)難點(diǎn)卿罰朗實(shí)踐0nn□答手講響?；貏?dòng)程怡驗(yàn)||<杠內(nèi)合學(xué)m課堂結(jié)5wBt'啡并L劉學(xué)授題作;0;講問(wèn)操授題注：實(shí)踐包括實(shí)驗(yàn)、上機(jī)等五、實(shí)踐教學(xué)內(nèi)容和基本要求1．共享單車使用情況預(yù)測(cè)：根據(jù)給定的共享單車使用情況的數(shù)據(jù)集，利用前向神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)共享單車使用情況；基于CNN的物體識(shí)別：基于卷積神經(jīng)網(wǎng)絡(luò)編碼實(shí)現(xiàn)對(duì)圖像中的物體進(jìn)行識(shí)別；基于詞嵌入的語(yǔ)義分析：基于詞嵌入方法，根據(jù)給定的自然語(yǔ)言文本數(shù)據(jù)集，編碼實(shí)現(xiàn)對(duì)自然語(yǔ)言文本的語(yǔ)義聚類分析和詞語(yǔ)之間關(guān)系分析；基于RNN的機(jī)器翻譯：基于循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)給定的自然語(yǔ)言文本數(shù)據(jù)集，編碼實(shí)現(xiàn)中英文的機(jī)器翻譯功能。六、考核方式及成績(jī)?cè)u(píng)定根據(jù)課程類型、課程性質(zhì)、課程內(nèi)容及特點(diǎn)，確定適合的考核內(nèi)容、考核方式及成績(jī)?cè)u(píng)定?？己藘?nèi)容重點(diǎn)考核學(xué)生獲取知識(shí)的能力、應(yīng)用所學(xué)知識(shí)分析問(wèn)題和解決問(wèn)題能