深度學習基礎(chǔ)與實踐 教案1.4任務實施（操作參考）

.4任務實施1.4.1任務書學會自主檢索相關(guān)案例和內(nèi)容，理清人工智能中機器學習和深度學習的發(fā)展和關(guān)系，理解深度學習的應用，掌握神經(jīng)元、感知器和神經(jīng)網(wǎng)絡的架構(gòu)，梳理要點并繪制思維導圖，錄制小組匯報視頻并上交，同時根據(jù)教學內(nèi)容制定本書小組學習計劃。1.4.2任務分組表1-4學生任務分配表班級組號指導老師組長學號成員數(shù)量組長任務組員姓名學號任務分工1.4.3獲取信息引導問題1：自主學習人工智能、機器學習、深度學習的關(guān)系人工智能：機器展現(xiàn)的人類智能。機器學習：計算機利用已有的數(shù)據(jù)(經(jīng)驗)，得出了某種模型，并利用此模型預測未來的一種方法。機器學習是人工智能的一個分支，被大量地應用于解決人工智能的問題。深度學習：實現(xiàn)機器學習的一種技術(shù)。深度學習是機器學習的一個分支，由人工神經(jīng)網(wǎng)絡算法衍生，形式通常為多層神經(jīng)網(wǎng)絡。引導問題2：上網(wǎng)查閱人工智能技術(shù)的主要應用領(lǐng)域，至少寫出15個領(lǐng)域人工智能技術(shù)的主要應用領(lǐng)域：企業(yè)技術(shù)集成與方案、智慧商業(yè)和零售、智能機器人、智能硬件、科技金融、智慧醫(yī)療、智能制造、新媒體和數(shù)字內(nèi)容、智慧教育、關(guān)鍵技術(shù)研發(fā)和應用平臺、智能網(wǎng)聯(lián)汽車、智能家居、智慧城市、智慧交通、智慧物流、智能安防、智慧政務、網(wǎng)絡安全、智慧農(nóng)業(yè)、智慧能源等。引導問題3：上網(wǎng)查閱國內(nèi)外知名人工智能企業(yè)，并請寫出5個國外企業(yè)和5個國內(nèi)企業(yè)的應用領(lǐng)域、涉及的人工智能技術(shù)、所屬國家和成立時間。企業(yè)名稱應用領(lǐng)域涉及的人工智能技術(shù)所屬國家成立時間Microsoft（微軟）辦公計算機視覺技術(shù)、自然語言處理技術(shù)等美國1975年Google（谷歌）綜合計算機視覺技術(shù)、自然語言處理技術(shù)等美國1998年Facebook（臉書）社交人臉識別、深度學習等美國2004年百度綜合 計算機視覺技術(shù)、自然語言處理技術(shù)、知識圖譜等中國2001年大疆無人機創(chuàng)新 圖像識別技術(shù)、智能引擎技術(shù)等中國 2006年商湯科技 安防計算機視覺技術(shù)、深度學習中國2014年曠視科技安防計算機視覺技術(shù)等中國2011年科大訊飛 綜合智能語音技術(shù)中國 1999年AutomationAnywhere企業(yè)管理 自然語言處理技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)認知美國2003年IBMWatson（IBM沃森）計算機 深度學習、智適應學習技術(shù) 美國1911年松鼠AI1對1教育 智適應學習技術(shù)、機器學習中國2015年字節(jié)跳動 資訊跨媒體分析推理技術(shù)、深度學習、自然語言處理、圖像識別中國2012年Netflix（網(wǎng)飛）媒體及內(nèi)容視頻圖像優(yōu)化、劇集封面圖片個性化、視頻個性化推薦美國1997年Graphcore芯片智能芯片技術(shù)、機器學習英國2016年NVIDIA（英偉達）芯片 智能芯片技術(shù)美國1993年Brainco教育、醫(yī)療、智能硬件腦機接口 美國2015年Waymo交通自動駕駛美國2016年ABBRobotics機器人機器人及自動化技術(shù)瑞士1988年Fanuc（發(fā)那科）制造 機器人技術(shù)日本1956年P(guān)referredNetworks 物聯(lián)網(wǎng)深度學習、機器學習技術(shù)日本2016年引導問題4：查閱相關(guān)資料，繪制深度學習發(fā)展時間簡圖發(fā)展簡圖：1950年，AlanTuring發(fā)表關(guān)于人工智能的文章，提出了“圖靈測試”的概念。1957年，F(xiàn)rankRosenblatt發(fā)明了最早的人工神經(jīng)網(wǎng)絡——感知機。1986年，Hinton等人發(fā)明了反向傳播算法，深度學習的訓練變得更加高效。1997年，Hinton等人在圖像識別方面取得突破性進展，深度學習成為當時最有前途的人工智能技術(shù)之一。2006年，Hinton等人發(fā)明了深度信念網(wǎng)絡（DBN），深度學習在計算機視覺和自然語言處理領(lǐng)域取得巨大進步。2012年，AndrewNg在谷歌工作時使用了深度學習技術(shù)，在ImageNet圖像識別比賽中取得巨大成功，深度學習成為當今人工智能的領(lǐng)先技術(shù)。2016年，GoogleDeepMind的AlphaGoAI擊敗世界圍棋冠軍，掀起人工智能和深度學習的熱潮。2016年，谷歌推出開源的機器學習框架TensorFlow。2017年，英偉達推出最強大的人工智能芯片Volta，深度學習訓練變得更快、更高效。2018年，谷歌推出預訓練語言模型BERT，在自然語言處理領(lǐng)域取得了巨大成功。2019年，OpenAI推出了自然語言生成模型GPT-2，性能超過了人類水平。2020年，OpenAI推出了預訓練語言模型GPT-3，性能比前一代模型有了巨大提升。2022年，人工智能研究實驗室OpenAI發(fā)布的全新聊天機器人模型ChatGPT。引導問題5：查閱相關(guān)資料，舉例機器學習和深度學習的應用場景舉例機器學習的應用場景：機器學習在指紋識別、特征物體檢測等領(lǐng)域的應用基本達到了商業(yè)化的要求。舉例深度學習的應用場景：深度學習主要應用于文字識別、人臉技術(shù)、語義分析、智能監(jiān)控等領(lǐng)域。目前在智能硬件、教育、醫(yī)療等行業(yè)也在快速布局。引導問題6：上網(wǎng)查閱卷積神經(jīng)網(wǎng)絡LeNet、AlexNet、VGG16網(wǎng)絡，完成簡介和模型理解網(wǎng)絡結(jié)構(gòu)簡介模型理解LeNet最早發(fā)布的卷積神經(jīng)網(wǎng)絡，推動了深度學習領(lǐng)域的發(fā)展。1989年，AT&T貝爾實驗室的研究員YannLeCun提出，目的是用來做手寫數(shù)字識別，知名度最高的就是MNIST數(shù)據(jù)集。處理復雜數(shù)據(jù)的能力有限，目前很少使用在實際應用上。在計算機視覺任務中的性能高效。先用卷積層來學習圖片的空間信息，通過池化層降低圖片的敏感度；然后使用全連接層來轉(zhuǎn)換到類別空間；兩個卷積層再加一個多層感知機，最終得到從圖片到類別的映射。AlexNet2012年ImageNet競賽冠軍獲得者Hinton和他的學生設計的，首次在大規(guī)模圖像數(shù)據(jù)集實現(xiàn)了深層卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，在CNN中成功應用了ReLU、Dropout和LRN等，同時使用GPU進行運算加速。使得計算機視覺從業(yè)者從繁重的特征工程中解脫出來，轉(zhuǎn)向思考從數(shù)據(jù)中自動提取需要的特征，做到數(shù)據(jù)驅(qū)動。AlexNet有5層卷積層，3個全連接層。卷積層C1處理流程：卷積->ReLU->池化->歸一化。卷積層C2處理流程是：卷積->ReLU->池化->歸一化。卷積層C3處理流程是：卷積->ReLU。卷積層C4處理流程是：卷積->ReLU。卷積層C5處理流程為：卷積->ReLU->池化。全連接層FC6流程為：（卷積）全連接->ReLU->Dropout。全連接層FC7流程為：全連接->ReLU->Dropout。VGG162014年，牛津大學在ImageNet挑戰(zhàn)賽本地和分類追蹤采用VGG獲獎，模型適用于分類和定位任務。解決了Alexnet容易忽略小部分的特征。通過增加深度能有效地提升性能；VGG16是最佳的模型，從頭到尾只有3x3卷積與2x2池化，簡潔優(yōu)美；卷積可代替全連接，可適應各種尺寸的圖片。隨著層數(shù)的不斷提高，準確率卻不斷下降，通過殘差網(wǎng)絡解決。VGG16共有16層（不包括池化層），13個卷積層和3個全連接層，第一次經(jīng)過64個卷積核的兩次卷積后，采用一次pooling，第二次經(jīng)過兩次128個卷積核卷積后，采用pooling；再經(jīng)過3次256個卷積核卷積后，采用pooling；再經(jīng)過3次512個卷積核卷積，采用pooling；再經(jīng)過3次512個卷積核卷積，采用pooling，最后經(jīng)過三次全連接。引導問題7：查閱相關(guān)資料，簡述并分析遷移學習、多任務學習、端到端學習及其特點。學習方式簡述遷移學習遷移學習(TransferLearning)是一種機器學習技術(shù)，旨在利用已有的機器學習模型來解決新的問題。遷移學習的核心思想是利用預先訓練的模型的知識，以減少解決新問題所需的訓練數(shù)據(jù)和時間。遷移學習通常用于解決數(shù)據(jù)規(guī)模較小的問題，因為這些問題很難收集到足夠的訓練數(shù)據(jù)。通過使用已有的機器學習模型，可以減少訓練數(shù)據(jù)的需求，并加快模型的訓練速度。遷移學習可以通過以下幾種方式實現(xiàn)：（1）固定特征提?。汗潭ㄒ延心Ｐ偷奶卣魈崛?，并使用新的分類器來解決新問題。（2）微調(diào)預訓練模型：通過調(diào)整預訓練模型的參數(shù)，使其適應新問題。（3）訓練一個新模型：使用已有模型的權(quán)重作為初始化，并訓練新模型以解決新問題。遷移學習在計算機視覺、自然語言處理等領(lǐng)域得到了廣泛的應用，并取得了許多令人矚目的成果。多任務學習多任務學習(Multi-TaskLearning)是一種機器學習技術(shù)，旨在同時解決多個相關(guān)任務。多任務學習的核心思想是在解決一個任務時，利用其他相關(guān)任務的信息，以提高模型的性能。多任務常見的方法包括：（1）共享模型：在多個任務中共享一個模型，以利用其他任務的信息。（2）分支模型：為每個任務設計一個獨立的模型，并從公共特征中分支出獨特的特征。（3）共享特征：在多個任務中共享相同的特征提取層，以利用其他任務的信息。多任務學習在許多領(lǐng)域，如計算機視覺、自然語言處理、生物信息學等，得到了廣泛的應用，并取得了很多令人矚目的成果。多任務學習的好處在于，它可以利用其他相關(guān)任務的信息，以提高模型的性能，并且通常需要更少的訓練數(shù)據(jù)，更快地訓練模型。端到端學習端到端學習(End-to-EndLearning)是一種機器學習方法，它將從數(shù)據(jù)輸入到輸出的完整過程封裝在一個單一的模型中。端到端學習省去了手動構(gòu)建特征的需要，因此是一種自動特征提取的方法。端到端學習的一個典型應用是神經(jīng)網(wǎng)絡，例如卷積神經(jīng)網(wǎng)絡CNN和循環(huán)神經(jīng)網(wǎng)絡RNN。這些網(wǎng)絡可以學習到輸入數(shù)據(jù)中的特征，并使用這些特征進行預測。端到端學習的優(yōu)點在于：簡化了模型的構(gòu)建和訓練過程，減少了手動特征提取的需要；提高了模型的魯棒性和靈活性，可以應對多種不同的數(shù)據(jù)和任務；可以充分利用數(shù)據(jù)中的信息，以提高模型的性能。但是，端到端學習也存在一些缺點：訓練數(shù)據(jù)需求較高，需要大量的標記數(shù)據(jù)；模型往往更復雜，難以解釋和理解；如果模型的訓練不當，很容易出現(xiàn)過擬合問題。1.4.4工作實施引導問題8：查閱相關(guān)資料，小組討論分析深度學習的特點深度學習的特點：區(qū)別于傳統(tǒng)的淺層學習，強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；明確了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更容易，與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)豐富的內(nèi)在信息。引導問題9：查閱相關(guān)資料，匯總組內(nèi)資料，討論并梳理主流的神經(jīng)網(wǎng)絡模型，繪制思維導圖，以小組為單位展示匯報。主流的神經(jīng)網(wǎng)絡模型思維導圖：引導問題10：為了應對日益復雜的應用，半導體公司不斷開發(fā)處理器和加速器，包括CPU、GPU和TPU，請詳述他們的功能與特性。處理器加速器功能特性CPU中央處理器(CPU)是存在于所有智能設備中的核心處理器，作為計算機大腦工作的處理單元，設計用于通用編程的理想選擇。CPU是一種通用處理器，設計有幾個強大的內(nèi)核和大容量緩存，使其能夠同時運行幾個軟件線程。有幾個核心；低延遲；專門從事串行處理；能夠一次執(zhí)行少數(shù)操作；，RNN（循環(huán)神經(jīng)網(wǎng)絡）的FLOPS利用率最高；內(nèi)存容量大，支持最大機型；對于不規(guī)則計算（例如，小批量非MatMul計算）更加靈活和可編程。GPUGPU（圖形處理單元）是一種專用處理器，與CPU一起用作性能加速器，可增強計算機圖形和AI工作負載。GPU有數(shù)千個內(nèi)核，可以將復雜的問題分解為數(shù)千或數(shù)百萬個單獨的任務，實現(xiàn)并行處理。GPU已成為深度學習開發(fā)的關(guān)鍵，通過在單個操作中加速大型矩陣運算和執(zhí)行混合精度矩陣計算的能力，實現(xiàn)高速加速深度學習。擁有數(shù)千個內(nèi)核；高吞吐量；專用于并行處理；能夠同時執(zhí)行數(shù)千個操作。TPUTPU代表張量處理單元，它是專用集成電路(ASIC)。TPU由Google定制開發(fā)的處理器，可使用（特定機器學習框架）TensorFlow加速機器學習工作負載。TPU可作為云或較小版本的芯片使用。CloudTPU在執(zhí)行密集向量和矩陣計算以加速TensorFlow軟件上的神經(jīng)網(wǎng)絡機器學習方面的速度非?？?。TPU最大限度地縮短了訓練大型復雜神經(jīng)網(wǎng)絡模型的準確時間。使用TPU，以前在GPU上訓練需要數(shù)周時間的深度學習模型現(xiàn)在在TPU上只需數(shù)小時。矩陣處理專用硬件；高延遲（與CPU相比）；非常高的吞吐量；極端并行計算。引導問題12：查閱以下希臘字母的中文讀音。大寫小寫中文讀音大寫小寫中文讀音Αα阿耳法Νν紐Ββ貝塔Ξξ可塞Γγ伽馬Οο奧密可戎Δδ德耳塔∏π派Εε艾普西隆Ρρ柔Ζζ截塔∑σ西格馬Ηη艾塔Ττ套Θθ西塔Υυ衣普西隆Ιι約塔Φφ斐Κκ卡帕Χχ喜∧λ蘭姆達Ψψ普西Μμ繆Ωω歐米引導問題13：請訪問GeoGebra圖形計算器網(wǎng)站，嘗試在線繪制簡單圖形和搜索函數(shù)。1、繪制：y=x+1，y=x+3，y=x-1，y=x2+x+1，y=-x2+x-22、搜索Sigmoid函數(shù)，并嘗試拖動參數(shù)和觀察圖形引導問題14：查閱本書目錄及內(nèi)容，編寫小組學期學習計劃及學習形式小組學期學習計劃：教師根據(jù)授課需求自行引導學生編寫。1.4.5評價反饋全面考核學生的專業(yè)能力和關(guān)鍵能力，采用過程性評價和結(jié)果評價相結(jié)合，定性評價與定量評價相結(jié)合的考核方法。注重學生動手能力和在實踐中分析問題、解決問題能力的考核，在學習和應用上有創(chuàng)新的學生給予特別鼓勵。表1-4考核評價表內(nèi)容目標方