深度學(xué)習(xí) 課件 第1章 引言

第一章引言深度學(xué)習(xí)深度學(xué)習(xí)的起源與發(fā)展12深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系3深度學(xué)習(xí)的基本概念與典型算法45目錄Contents本章人物深度學(xué)習(xí)的主要應(yīng)用概述26中英文術(shù)語(yǔ)對(duì)照深度學(xué)習(xí)的起源與發(fā)展1“深度學(xué)習(xí)（DeepLearning）”的概念是2006年由多倫多大學(xué)（UniversityofToronto）的GeoffreyHinton教授與他的同事們提出的，他也因此被稱(chēng)為“深度學(xué)習(xí)之父”。但是，由于深度學(xué)習(xí)與人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）息息相關(guān)，它的起源可以追溯到更早的時(shí)間。4深度學(xué)習(xí)的起源HintonGE,OsinderoSandTehY.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18:1527-1554.HintonGE,SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science,2006,313(5786):504-507.5深度學(xué)習(xí)的起源深度學(xué)習(xí)的起源6第一階段（1943-1969）1943年：WarrenMcCulloch和WalterPitts提出了M-P神經(jīng)元模型，模擬了人類(lèi)神經(jīng)元的結(jié)構(gòu)和工作原理。1949年：生理心理學(xué)家DonaldOldingHebb提出了Hebb學(xué)習(xí)規(guī)則，奠定了人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的基礎(chǔ)。1957年：FrankRosenblatt提出了由兩層神經(jīng)元組成的感知機(jī)（Perceptron）。1969年：MarvinMinsky和SeymourPapert指出感知器無(wú)法解決XOR運(yùn)算這樣的線(xiàn)性不可分問(wèn)題，導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。深度學(xué)習(xí)的起源7第二階段（1980-1998）1980年：KunihikoFukushima(福島邦彥)提出了模擬生物視覺(jué)傳導(dǎo)通路的神經(jīng)認(rèn)知機(jī)，被認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)的原始模型。1982年：JohnHopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)，有連續(xù)型和離散型兩種類(lèi)型，分別用于優(yōu)化計(jì)算和聯(lián)想記憶。1986年：DavidRumelhart、GeoffreyHinton和RonaldWilliams重新獨(dú)立提出了誤差反向傳播算法（ErrorBackPropagation,BP）（1974年P(guān)aulWerbos首次提出了BackPropagation算法），并指出多層感知機(jī)可以解決異或操作（XOR）這樣的線(xiàn)性不可分問(wèn)題。1986年與1990年，分別出現(xiàn)了JordanNetwork與ElmanNetwork兩種循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN）。深度學(xué)習(xí)的起源8第二階段（1980-1998）1995年：CorinnaCortes和VladimirVapnik提出了支持向量機(jī)（SupportVectorMachine，SVM），除了其簡(jiǎn)單的訓(xùn)練方法與優(yōu)越的性能超過(guò)了人工神經(jīng)網(wǎng)絡(luò)之外，其良好的可解釋性使得人工神經(jīng)網(wǎng)絡(luò)研究再次進(jìn)入低谷期。1997年：JurgenSchmidhuber和SeppHochreiter提出了長(zhǎng)短期記憶網(wǎng)絡(luò)（Long-ShortTermMemory，LSTM），極大地提高了循環(huán)神經(jīng)網(wǎng)絡(luò)的效率和實(shí)用性。1998年：YannLeCun提出了稱(chēng)作LeNet-5的卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN），率先將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識(shí)別任務(wù)，但在當(dāng)時(shí)也沒(méi)有引起大的轟動(dòng)。深度學(xué)習(xí)的起源9第三階段（2006-）2006年：GeoffreyHinton和他的同事們提出了一種稱(chēng)作深度信念網(wǎng)絡(luò)（DeepBeliefNetworks，DBN）的多層網(wǎng)絡(luò)并進(jìn)行了有效的訓(xùn)練，同時(shí)提出了一種通過(guò)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)降維的方法，正式提出了深度學(xué)習(xí)的概念。深度學(xué)習(xí)在2012年之后在業(yè)界引起了巨大的反響。深度學(xué)習(xí)的發(fā)展10深度學(xué)習(xí)的發(fā)展112012年：FrankSeide等人使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)音識(shí)別，相比于傳統(tǒng)的GMM和HMM，識(shí)別錯(cuò)誤率下降了20%-30%，取得了突破性的進(jìn)展。2012年：AlexKrizhevsky等人提出了AlexNet，它引入了ReLU激活函數(shù)，并使用GPU進(jìn)行加速。在著名的ImageNet圖像識(shí)別大賽中，AlexNet使得圖像識(shí)別錯(cuò)誤率從26%左右下降到了15%左右，并奪得2012年的冠軍。在隨后幾年的ImageNet圖像識(shí)別大賽中，又出現(xiàn)了一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，如VGGNet、GoogleNet、ResNet和SENet等，圖像識(shí)別錯(cuò)誤率繼續(xù)下降。2017年：SENet的圖像識(shí)別錯(cuò)誤率已經(jīng)下降到了2.25%，由于錯(cuò)誤率已經(jīng)到了極限，這也導(dǎo)致ImageNet圖像識(shí)別大賽從2018年開(kāi)始不再舉辦。深度學(xué)習(xí)的發(fā)展122014年起：R-CNN、FastR-CNN、FasterR-CNN等一系列目標(biāo)檢測(cè)模型的提出，極大地提升了目標(biāo)檢測(cè)的精度，但是它們需要兩個(gè)階段才能完成，模型訓(xùn)練效率較低。2016年：YOLO目標(biāo)檢測(cè)模型被提出，由于它是一個(gè)端到端的模型，大大提高了模型訓(xùn)練與推理效率，但模型的精度不如R-CNN系列高，之后YOLO的后續(xù)版本陸續(xù)被推出，目前已經(jīng)到了第八版。2014年：生成對(duì)抗網(wǎng)絡(luò)由當(dāng)時(shí)還在蒙特利爾大學(xué)讀博士的IanJ.Goodfellow提出，由于它無(wú)需標(biāo)注大量的數(shù)據(jù)即可進(jìn)行訓(xùn)練，在學(xué)術(shù)界迅速掀起了研究熱潮。深度學(xué)習(xí)的發(fā)展13在自然語(yǔ)言處理領(lǐng)域，LSTM、門(mén)限循環(huán)單元（GatedRecurrentUnit，GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)在語(yǔ)言模型、機(jī)器翻譯等任務(wù)上也取得了很大的進(jìn)展。特別是隨著Transformer的出現(xiàn)，使得BERT、GPT等預(yù)訓(xùn)練大模型進(jìn)入人們的視野，這些大模型在自然語(yǔ)言處理領(lǐng)域多個(gè)任務(wù)上都超越了已有方法。2022年以來(lái)：ChatGPT、GPT4.0的相繼問(wèn)世更是使得大型通用語(yǔ)言模型達(dá)到了前所未有的高度，被譽(yù)為信息技術(shù)領(lǐng)域里程碑式的突破。2023年：百度公司在國(guó)內(nèi)也率先推出了大型通用語(yǔ)言模型“文心一言”，之后清華大學(xué)、復(fù)旦大學(xué)、華為公司、阿里公司、科大訊飛也都發(fā)布了自己的大模型，開(kāi)啟了大型中文語(yǔ)言模型的新時(shí)代。深度學(xué)習(xí)的發(fā)展14當(dāng)前，深度學(xué)習(xí)仍然是人工智能領(lǐng)域關(guān)注度最高的主題之一，研究如火如荼，應(yīng)用也是多點(diǎn)開(kāi)花。在研究方面：基于AI的內(nèi)容生成、多模態(tài)數(shù)據(jù)分析、深度強(qiáng)化學(xué)習(xí)等工作正在火熱進(jìn)行。在應(yīng)用方面：深度學(xué)習(xí)已經(jīng)在安防、醫(yī)療、金融、智能制造、無(wú)人駕駛等多個(gè)領(lǐng)域取得了顯著的成果。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系FromNvidia16深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系17人工智能人工智能定義“人工智能”的概念最早在1956年的美國(guó)達(dá)特茅斯會(huì)議（DartmouthConference）上提出，當(dāng)時(shí)會(huì)議的主題是“用機(jī)器來(lái)模仿人類(lèi)學(xué)習(xí)以及其它方面的智能”。因此，1956年被認(rèn)為是人工智能的元年。一般認(rèn)為，人工智能是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新興學(xué)科。18人工智能已實(shí)現(xiàn)基本實(shí)現(xiàn)未來(lái)熱點(diǎn)19人工智能分類(lèi)人工智能人工智能技術(shù)搜索理論、知識(shí)表示與推理方法、機(jī)器學(xué)習(xí)算法、感知、決策與控制技術(shù)等。參考書(shū)史忠植.高級(jí)人工智能.北京:科學(xué)出版社.[美]史蒂芬·盧奇（StephenLucci）,丹尼·科佩克（DannyKopec）著,林賜譯.人工智能（第2版）.北京:人民郵電出版社,2018.20機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)定義讓計(jì)算機(jī)具有像人一樣的學(xué)習(xí)和思考能力的技術(shù)的總稱(chēng)。具體來(lái)說(shuō)是從已知數(shù)據(jù)中獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的技術(shù)。一個(gè)簡(jiǎn)單的例子：利用機(jī)器學(xué)習(xí)算法對(duì)往年的天氣預(yù)報(bào)數(shù)據(jù)進(jìn)行學(xué)習(xí)，就能夠預(yù)測(cè)未來(lái)的天氣預(yù)報(bào)數(shù)據(jù)。21機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)分類(lèi)有監(jiān)督學(xué)習(xí)（跟學(xué)師評(píng)）：有老師（環(huán)境）的情況下，學(xué)生（計(jì)算機(jī)）從老師（環(huán)境）那里獲得對(duì)錯(cuò)指示、最終答案的學(xué)習(xí)方法。包含線(xiàn)性回歸、多項(xiàng)式回歸、決策樹(shù)和隨機(jī)森林等回歸算法，以及KNN、邏輯回歸、貝葉斯和支持向量機(jī)等分類(lèi)算法。無(wú)監(jiān)督學(xué)習(xí)（自學(xué)標(biāo)評(píng)）：沒(méi)有老師（環(huán)境）的情況下，學(xué)生（計(jì)算機(jī)）自學(xué)的過(guò)程，一般使用一些既定標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)，或無(wú)評(píng)價(jià)。包含K-Means聚類(lèi)、主成分分析、關(guān)聯(lián)分析和密度估計(jì)等算法。弱監(jiān)督學(xué)習(xí)：僅有少量環(huán)境提示（教師反饋）或者少量數(shù)據(jù)（試題）標(biāo)簽（答案）的情況下，機(jī)器（學(xué)生）不斷進(jìn)行學(xué)習(xí)的方法。包含強(qiáng)化學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和多示例學(xué)習(xí)等算法。2223有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)24強(qiáng)化學(xué)習(xí)25機(jī)器學(xué)習(xí)常見(jiàn)算法26機(jī)器學(xué)習(xí)參考書(shū)周志華.機(jī)器學(xué)習(xí).北京:清華大學(xué)出版社,2016.李航.統(tǒng)計(jì)學(xué)習(xí)方法（第2版）.北京:清華大學(xué)出版社,2019.深度學(xué)習(xí)的基本概念與典型算法3為什么需要深度學(xué)習(xí)？28深度學(xué)習(xí)基本概念29深度學(xué)習(xí)定義深度學(xué)習(xí)是指通過(guò)構(gòu)建多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)學(xué)習(xí)數(shù)據(jù)的特征，以便于進(jìn)行數(shù)據(jù)分類(lèi)、回歸與生成。深度學(xué)習(xí)與淺層學(xué)習(xí)相比，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)更多（一般大于或等于4層），通過(guò)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以學(xué)習(xí)得到更豐富的數(shù)據(jù)特征。深度學(xué)習(xí)基本概念30淺層前饋神經(jīng)網(wǎng)絡(luò)和深度前饋神經(jīng)網(wǎng)絡(luò)典型深度學(xué)習(xí)算法31典型深度學(xué)習(xí)算法32有監(jiān)督學(xué)習(xí)的淺層學(xué)習(xí)算法：決策樹(shù)、支持向量機(jī)、感知機(jī)和Boosting等。無(wú)監(jiān)督學(xué)習(xí)的淺層學(xué)習(xí)算法：自編碼器、受限玻爾茲曼機(jī)、高斯混合模型和稀疏自編碼器等有監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)算法：深度前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer、膠囊網(wǎng)絡(luò)和深度森林等。無(wú)監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)算法：深度自編碼器、生成對(duì)抗網(wǎng)絡(luò)、深度玻爾茲曼機(jī)和深度信念網(wǎng)絡(luò)等。典型深度學(xué)習(xí)算法33深度前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)典型深度學(xué)習(xí)算法34循環(huán)神經(jīng)網(wǎng)絡(luò)Transformer典型深度學(xué)習(xí)算法35生成對(duì)抗網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)與深度玻爾茲曼機(jī)典型深度學(xué)習(xí)算法36深度自編碼器深度學(xué)習(xí)的主要應(yīng)用概述4深度學(xué)習(xí)的主要應(yīng)用38計(jì)算機(jī)視覺(jué)領(lǐng)域主要應(yīng)用（基礎(chǔ)任務(wù)）圖像分類(lèi)：整幅圖像的分類(lèi)或識(shí)別。目標(biāo)檢測(cè)：檢測(cè)圖像中物體的位置進(jìn)而識(shí)別物體。圖像分割：對(duì)圖像中的特定物體按邊緣進(jìn)行分割，并識(shí)別物體類(lèi)別或個(gè)體。圖像回歸：預(yù)測(cè)圖像中物體或者物體組成部分的坐標(biāo)。細(xì)化深度學(xué)習(xí)的主要應(yīng)用39圖像分類(lèi)圖像分割目標(biāo)檢測(cè)圖像回歸深度學(xué)習(xí)的主要應(yīng)用40計(jì)算機(jī)視覺(jué)領(lǐng)域主要應(yīng)用（高級(jí)任務(wù)）人臉識(shí)別：首先通過(guò)目標(biāo)檢測(cè)提取人的正臉，然后通過(guò)人臉識(shí)別人員身份。行人重識(shí)別：檢測(cè)視頻序列中的行人，并識(shí)別特定人員的身份。目標(biāo)跟蹤：在連續(xù)的視頻幀中定位某一行人或者其他運(yùn)動(dòng)目標(biāo)。動(dòng)作識(shí)別：識(shí)別視頻中人體的動(dòng)作/行為。產(chǎn)品缺陷檢測(cè)：檢測(cè)工業(yè)產(chǎn)品存在的缺陷。深度學(xué)習(xí)的主要應(yīng)用41語(yǔ)音識(shí)別領(lǐng)域主要應(yīng)用語(yǔ)音識(shí)別：將人類(lèi)說(shuō)話(huà)的語(yǔ)音轉(zhuǎn)換成文字。聲紋識(shí)別：根據(jù)說(shuō)話(huà)人的聲波特性進(jìn)行身份識(shí)別，又稱(chēng)為說(shuō)話(huà)人識(shí)別。語(yǔ)音合成：將文本轉(zhuǎn)換為語(yǔ)音。深度學(xué)習(xí)的主要應(yīng)用42自然語(yǔ)言處理領(lǐng)域主要應(yīng)用（基礎(chǔ)任務(wù)）詞法分析：以詞為單位進(jìn)行分析，包括詞性標(biāo)注、拼寫(xiě)校正等。句法分析：以句子為單位進(jìn)行分析，主要包括句法結(jié)構(gòu)分析和依存句法分析等。語(yǔ)義分析：分析自然語(yǔ)言的深層含義，包括詞匯級(jí)語(yǔ)義分析、句子級(jí)語(yǔ)義分析和篇章級(jí)語(yǔ)義分析。信息抽?。簭淖匀徽Z(yǔ)言中抽取出結(jié)構(gòu)化信息，包括實(shí)體抽取、事件抽取等。語(yǔ)言模型：根據(jù)之前的單詞預(yù)測(cè)下一個(gè)單詞。深度學(xué)習(xí)的主要應(yīng)用43自然語(yǔ)言處理領(lǐng)域主要應(yīng)用（高級(jí)任務(wù)）情感分析：分析文本體現(xiàn)的情感，可包含正負(fù)向、正負(fù)中或多態(tài)度等類(lèi)型。神經(jīng)機(jī)器翻譯：基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的多語(yǔ)種互譯。神經(jīng)自動(dòng)摘要：根據(jù)單文檔或者多文檔自動(dòng)生成文檔摘要。機(jī)器閱讀理解：通過(guò)閱讀文本回答問(wèn)題、完成選擇題或完型填空。自動(dòng)問(wèn)答：用戶(hù)給出問(wèn)題，機(jī)器可以進(jìn)行回答，也稱(chēng)單輪對(duì)話(huà)。人機(jī)對(duì)話(huà)：通過(guò)訓(xùn)練大量語(yǔ)料，支持人與機(jī)器之間的自由對(duì)話(huà)，通常指的是多輪對(duì)話(huà)。深度學(xué)習(xí)主要應(yīng)用44多模態(tài)處理領(lǐng)域的應(yīng)用圖像描述：機(jī)器可以根據(jù)圖像給出描述圖像的句子，也稱(chēng)看圖說(shuō)話(huà)?？梢晢?wèn)答：機(jī)器可以回答特定圖像或視頻相關(guān)的問(wèn)題。圖像生成：機(jī)器可以根據(jù)文本描述生成相應(yīng)的圖像。視頻生成：機(jī)器可以根據(jù)文字描述自動(dòng)生成相應(yīng)的視頻。虛擬主播：自動(dòng)播報(bào)新聞的虛擬人物。本章人物5本章人物46GeoffreyHinton多倫多大學(xué)杰出教授，英國(guó)皇家科學(xué)院院士，美國(guó)國(guó)家工程院外籍院士，美國(guó)藝術(shù)與科學(xué)院外籍院士，2018圖靈獎(jiǎng)獲得者。在BP算法、玻爾茲曼機(jī)、時(shí)間延遲神經(jīng)網(wǎng)絡(luò)、變分學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域做出杰出文獻(xiàn)，被譽(yù)為“深度學(xué)習(xí)之父”。個(gè)人主頁(yè)：/~hinton/。中英文術(shù)語(yǔ)對(duì)照6中英文術(shù)語(yǔ)對(duì)照48深度學(xué)習(xí)：DeepLearning人工神經(jīng)網(wǎng)絡(luò)：ArtificialNeuralNetworks，ANNM-P神經(jīng)元模型：McCulloch-PittsNeuronModel感知機(jī)：Perceptron神經(jīng)認(rèn)知機(jī)：Neocognitron反向傳播算法：BackPropagation，BP循環(huán)神經(jīng)網(wǎng)絡(luò)：RecurrentNeuralNetworks，RNN支持向量機(jī)：SupportVectorMachine，SVM長(zhǎng)短期記憶網(wǎng)絡(luò)：Long-ShortTermMemory，LSTM中英文術(shù)語(yǔ)對(duì)照49卷積神經(jīng)網(wǎng)絡(luò)：ConvolutionalNeuralNetworks，CNN深度信念網(wǎng)絡(luò)：DeepBeliefNetworks，DBN高斯混合模型：GaussianMixtureModel，GMM隱馬爾可夫模型：HiddenMarkovModel，HMM生成對(duì)抗網(wǎng)絡(luò)：GenerativeAdversarialNetworks，GAN門(mén)限循環(huán)單元：GatedRecurrentUnit，GRU基于Transformer的雙向編碼器表示模型：BidirectionalEncoderR