人工智能基礎(chǔ)知識培訓(xùn)課件

人工智能基礎(chǔ)知識培訓(xùn)口人工智能的定義·

英文全稱：artificialintelligence(人工的、人造的智能),簡稱Al。·定義：人工智能，是研究、開發(fā)用于模擬、延伸和擴展人的智能行為的理論、方法、技術(shù)及應(yīng)用系統(tǒng)

的一門綜合性科學(xué)?！?/p>

目的：使計算機系統(tǒng)具備執(zhí)行“通常需要人類智能才能完成的任務(wù)”的能力。■

人工智能的基本概念■

人工智能的基本概念口人工智能的關(guān)鍵點·

屬于什么學(xué)科：AI的本質(zhì)屬性，是一門科學(xué)，是一個技術(shù)領(lǐng)域。它涉及到了計算機科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、哲學(xué)、心理學(xué)等多種學(xué)科的知識。但總體上，歸類于計算機學(xué)科之下?！?/p>

研究什么對象：AI

的研究目的，是讓一個“系統(tǒng)”具備智能。這個“系統(tǒng)”,可以是一套軟件程序，也可以是一

臺計算機，甚至是一個機器人?！?/p>

什么是智能：目前看來，能夠像人一樣感知、理解、思考、判斷、決策，就是實現(xiàn)了人工智能?！?/p>

人工智能的基本概念口智能的維度認(rèn)知能力：理解、學(xué)習(xí)、推理、記憶等適應(yīng)能力：解決問題、應(yīng)對環(huán)境變化等HELL0

自主能力：獨立完成任務(wù)、自主決策等■

人工智能的基本概念口人工智能的學(xué)派·

符號主義學(xué)派：認(rèn)為人類認(rèn)知和思維的基本單元是符號，而認(rèn)知過程就是在符號表示上的一種運算。致力于使用某種符號來描述人類的認(rèn)知過程，并把這種符號輸入到能處理符號的計算機中，從而模擬人類的認(rèn)知過程?！?/p>

聯(lián)結(jié)主義學(xué)派：模擬人腦的工作方式，使用神經(jīng)網(wǎng)絡(luò)來模擬人腦神經(jīng)元的連接方式和學(xué)習(xí)算法。·

行為主義學(xué)派：強調(diào)從行為的角度來理解智能。認(rèn)為智能體應(yīng)該通過與環(huán)境的交互來學(xué)習(xí)和適應(yīng)，而不是僅僅通過符號處理?！?/p>

進化學(xué)派：對生物進化進行模擬，使用遺傳算法和遺傳編程。·

貝葉斯學(xué)派：使用概率規(guī)則及其依賴關(guān)系進行推理。·

類推學(xué)派符號主義人工智能

聯(lián)結(jié)主義三大學(xué)派行為主義基于知識的方法·專家系統(tǒng)：基于規(guī)則、“知識+推理”·知識圖譜：結(jié)構(gòu)化的知識表示、存儲基于學(xué)習(xí)的方法·機器學(xué)習(xí)：通過數(shù)據(jù)進行訓(xùn)練，建立自動學(xué)習(xí)模型

·深度學(xué)習(xí)：基于神經(jīng)網(wǎng)絡(luò)，構(gòu)建自動學(xué)習(xí)方法基于仿生的方法·行為主義：模擬生物行為，進行學(xué)習(xí)·進化計算：模擬生物的進化過程，進行優(yōu)化■

人工智能的基本概念口人工智能的研究方法0203口人工智能的分類(按智能水平)·弱人工智能

(Weak

Al)

:只專精于單一任務(wù)或一組相關(guān)的任務(wù)，不具備通用智能能力。目前，人類就處于這個階段?！娙斯ぶ悄?/p>

(Strong

Al)

:具有一定的通用智能能力，能夠理解、學(xué)習(xí)并應(yīng)用于各種不同的任務(wù)。

目前，這個還處于理論和研究階段，還沒落地。·超人工智能

(SuperAl)

:在幾乎所有方面都超過人類智能，包括創(chuàng)造力、社交技能等。超人工智能■

人工智能的基本概念是未來的終極形態(tài)，我們假設(shè)它能夠?qū)崿F(xiàn)?？诿妊侩A段·17世紀(jì)，萊布尼茨、托馬斯·霍布斯和笛卡兒等率先提出：是否可以將人類理性的思考系統(tǒng)，轉(zhuǎn)化為代數(shù)學(xué)或幾何學(xué)體系?·在查爾斯·

巴貝奇(Charles

Babbage)的分析機、赫爾曼·何樂禮(HermanHollerith)的制表機、阿蘭·

圖靈(AlanTuring)的圖

靈機，以及Z3、珍妮機、MarkI

、ENIAC等一系列發(fā)明的接力推動下，人類終于進入了數(shù)字電子計算機時代?！?/p>

1950年，阿蘭·

圖靈在《心靈(Mind)》雜志上發(fā)表了一篇非常重要的論文，名叫《計算機器與智能(ComputingMachineryand

Intlligence)》。圖靈在論文中仔細(xì)討論了創(chuàng)造“智能機器”的可能性。由于“智能”一詞很難定義，他提出了著名的圖靈測試?！?/p>

人工智能的發(fā)展歷程口萌芽階段(圖靈測試)圖靈測試：多名評委在隔開的情況下，通過設(shè)備向一個機器人和一名人類隨意提問。多次問答后，若超過30%的人不能確定被測者是人還是機器，那么,該機具備人類智能?！?/p>

人工智能的發(fā)展歷程計算機應(yīng)答

真人提問

真人應(yīng)答向應(yīng)答者提問給發(fā)問者應(yīng)答口正式誕生·

1955年9月，約翰·麥卡錫(J.McCarthy)、

馬文·

明斯基(M.L.Minsky)、

克勞德·香農(nóng)(C.E.Shannon)、納撒尼爾·

羅切斯特

(N.Rochester)共同提出了一個關(guān)于機器智能的研究項目，首次引入了“ArtificialIntelligence”這個詞，也就是人工智能?！?/p>

1956年6月，在剛才那4個人的召集下，十余位來自不同領(lǐng)域的專家，聚集在美國新罕布什爾州漢諾威鎮(zhèn)的達(dá)特茅斯學(xué)院，召開了一場為期將近兩月的人工智能學(xué)術(shù)研討會，就是著名的達(dá)特茅斯會議

(Dartmouthworkshop)?！?/p>

達(dá)特茅斯會議，標(biāo)志著人工智能作為一個研究領(lǐng)域正式誕生，也被后人視為現(xiàn)代人工智能的起點?！?/p>

人工智能的發(fā)展歷程口第一次浪潮·1955年，赫伯特西蒙(Herbert

A.Simon,也譯為司馬賀)和艾倫紐維爾(Alen

Newell)開發(fā)的一個名為“邏輯理論家(Logic

Theorist)”的程序。

·

1957年，赫伯特·西蒙等人在“邏輯理論家”的基礎(chǔ)上，又推出了通用問題解決器(General

Problem

Solver,GPS)?！?957年，美國康奈爾大學(xué)的心理學(xué)家和計算機科學(xué)家弗蘭克羅森布拉特(Frank

Rosenblatt),在一臺IBM-704計算機上，模擬實現(xiàn)了一種叫感知機(Perceptron)”的神經(jīng)網(wǎng)絡(luò)模型。·1958年，約翰·麥卡錫正式發(fā)布了自己開發(fā)的人工智能編程語言—LISP(LISTPROCESSING,意思是“表處理”)?！?/p>

1959年，IBM科學(xué)家亞瑟·塞繆爾在自家首臺商用計算機IBM701上，成功編寫了一套西洋跳棋程序?！?959年，美國發(fā)明家喬治德沃爾(George

Devol)與約瑟夫英格伯格(Joseph

Engelberger)發(fā)明了人類首臺工業(yè)機器人—Unimate。

·

1966年，美國麻省理工學(xué)院的魏澤鮑姆

(Joseph

Weizenbaum),發(fā)布了世界上第一個聊天機器人

ELIZA?！?/p>

1966年，查理·

羅森(Charlie

Rosen)領(lǐng)導(dǎo)的美國斯坦福研究所(SRI),

研發(fā)成功了首臺人工智能機器人—Shakey?！?969年，馬文·

明斯基和西蒙派珀特(SeymourPapert)寫了一本書《感知機：計算幾何學(xué)導(dǎo)論》的書，對羅森布萊特的感知器提出了質(zhì)疑?！?973年，數(shù)學(xué)家萊特希爾(Lightil)向英國政府提交了一份關(guān)于人工智能的研究報告(著名的《萊特希爾報告》)。報告對當(dāng)時的機器人技術(shù)、語言

處理技術(shù)和圖像識別技術(shù)進行了嚴(yán)厲且猛烈的批評，指出人工智能那些看上去宏偉的目標(biāo)根本無法實現(xiàn)，研究已經(jīng)徹底失敗。隨后，人工智能進入了第

一個發(fā)展低谷，也被稱為“AI

Winter(AI之冬)”?！?/p>

人工智能的發(fā)展歷程口第二次浪潮·

1968年，美國科學(xué)家愛德華·費根鮑姆(Edward

Feigenbaum)提出了第一個專家系統(tǒng)——DENDRAL,并對知識庫給出了初步的定義。這標(biāo)志著專家系統(tǒng)的誕生?！?972年，美國醫(yī)生兼科學(xué)家愛德華-H肖特利夫

(Edward

H.Shortife)創(chuàng)建了可以幫助進行醫(yī)學(xué)診斷的專家系統(tǒng)—

MYCIN?！?980年，卡耐基梅隆大學(xué)研發(fā)的專家系統(tǒng)XCON(eXpertCONfigurer)正式商用，為當(dāng)時的計算機巨頭公司DEC每年省下數(shù)干萬美金?！?981年，日本經(jīng)濟產(chǎn)業(yè)省撥款8.5億美元，支持第五代計算機項目?！?983年，美國國防部高級研究計劃局(DARPA)

通過戰(zhàn)略計算促進會

(Strategic

Computing

Initiative)”,重啟對人工智能研究的資助。

·1984年，由美國微電子與計算機技術(shù)公司發(fā)起的Cyc項目(“超級百科全書”項目)正式啟動?！?/p>

1987年，蘋果和IBM

公司生產(chǎn)的臺式機，在性能上已經(jīng)超過了

Symbolics的Al計算機，導(dǎo)致Al硬件市場需求土崩瓦解·到了80年代晚期，戰(zhàn)略計算促進會大幅削減對AI的資助。DARPA

的新任領(lǐng)導(dǎo)也認(rèn)為AI并非“下一個浪潮”,削減了對其的投資。Al,進入了第二次低谷階段。■

人工智能的發(fā)展歷程樣本輸入建議非專家用戶知識庫專家規(guī)則引擎專家系統(tǒng)■

人工智能的發(fā)展歷程口第二次浪潮(專家系統(tǒng))用戶

界面口第三次浪潮(萌芽階段)·1982年，約翰·霍普菲爾德(JohnHopfield)在自己的論文中重點介紹了Hopfield網(wǎng)絡(luò)模型(模型原型早期由其他科學(xué)家提出)?！?986年，戴維·魯梅爾哈特(David

Rumelhart)、杰弗里：辛頓

(Geofrey

Hinton)和羅納德威廉姆斯(Ronald

Wiliams)

等人共同提出了一種適用于多層感知器

(MLP)

的算法，叫做反向傳播算法

(Backpropagation,

簡稱BP算法)?！?995年，克里娜柯爾特斯(Corinna

Cortes)和弗拉基米爾

·萬普尼克(Vladimir

Vapnik)開發(fā)了支持向量機(Support

Vector

Machine,SVM)?！?/p>

1988年，貝爾實驗室的Yann

LeCun(楊立昆)等人，提出了卷積神經(jīng)網(wǎng)絡(luò)?！?990年，美國認(rèn)知科學(xué)家、心理語言學(xué)家杰弗里艾爾曼(Jefrey

EIman)提出了首個遞歸神經(jīng)網(wǎng)絡(luò)——艾爾曼網(wǎng)絡(luò)模型。·1997年，德國計算機科學(xué)家瑟普·霍克賴特(Sepp

Hochreiter)及其導(dǎo)師于爾根施密德胡伯(Jurgen

Schmichuber)開發(fā)了用于遞歸神經(jīng)網(wǎng)絡(luò)的LSTM(長短期記憶網(wǎng)絡(luò))。·

1997年5月3日至11日，“深藍(lán)”以2勝1負(fù)3平的成績，險勝國際象棋世界冠軍卡斯帕羅夫，震驚了世界。■

人工智能的發(fā)展歷程口第三次浪潮(爆發(fā)階段)·2006年，多倫多大學(xué)的杰弗里·辛頓發(fā)表了重要的論文《Reducingthedimensionalityofdatawithneuralnetworks(用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù))》,提出深度信念網(wǎng)絡(luò)(Deep

Belief

Network)。深度學(xué)習(xí)

(Deeping

Learning),正式誕生了?！?009年，在斯坦福任教的華裔科學(xué)家李飛飛，正式發(fā)布了大型圖像數(shù)據(jù)集——ImageNet?！?012年，杰弗里辛頓和他的學(xué)生伊利亞蘇茨克沃(Ilya

Sutskever)和亞歷克斯克里切夫斯基(Alex

Kizhevsky)參加了ImageNet

的大規(guī)模視覺識別挑戰(zhàn)賽，以壓倒性優(yōu)勢獲得第一名?！?014年，蒙特利爾大學(xué)博士生伊恩·古德費洛

(lan

Goodfellow),提出了生成對抗網(wǎng)絡(luò)

(GANs,Generative

Adversarial

Networks)。·2016年3月，DeepMind開發(fā)的人工智能圍棋程序AIphaGo(阿爾法狗),對戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝，震驚了全

世界?！?/p>

2017年12月，

Google

機器翻譯團隊發(fā)表了論文《Attention

is

l

you

need(你所需要的，就是注意力)》,提出只使用“自我注意力(SelfAttention)”機制來訓(xùn)練自然語言模型，并將這種架構(gòu)命名為transformer。·2018年6月，OpenA

I

發(fā)布了第一版的GPT系列模型——GPT-1?！?022年11月，OpenA

I發(fā)布了基于GPT模型的人工智能對話應(yīng)用服務(wù)——ChatGPT?！?/p>

人工智能的發(fā)展歷程卷積神經(jīng)網(wǎng)絡(luò)

LSTMIBM

Watson

IBM深藍(lán)

模型SVM

(支持向量機)遞歸神經(jīng)網(wǎng)絡(luò)MYCIN

萊特希爾報告DENDRAL第一次低谷ImageNetSpaun

AlphaGoHinton深度學(xué)習(xí)ChatGPT第三次熱潮

Transformer■

人工智能的發(fā)展歷程19501960197019801990200020102020ELIZAShakey機器學(xué)習(xí)達(dá)特茅斯會議圖靈測試SNARC第二次熱潮BP

算法□整體發(fā)展過程CycHopfieldXCON生成對抗網(wǎng)絡(luò)OpenAl

AlexNetLISP誕生感知機第一次熱潮第二次低谷GPT-11860年代-19世紀(jì)中

19世紀(jì)中-20世紀(jì)初

20世紀(jì)40年代-現(xiàn)在

現(xiàn)在-未來■

人工智能的發(fā)展歷程第二次工業(yè)革命

電氣化時代第四次工業(yè)革命

智能時代第三次工業(yè)革命

信息化時代第一次工業(yè)革命

蒸汽時代口第四次工業(yè)革命電氣應(yīng)用

流水線出現(xiàn)

專業(yè)管理層機械應(yīng)用

工廠出現(xiàn)

工人階級人工智能新材料

清潔能源信息技術(shù)

原子能

空間技術(shù)第一次信息革命第二次信息革命■

機器學(xué)習(xí)和深度學(xué)習(xí)口機器學(xué)習(xí)的定義·機器學(xué)習(xí)的核心思想，是構(gòu)建一個可以從數(shù)據(jù)中學(xué)習(xí)的模型，并利用這個模型來進行預(yù)測或決策。

·

機器學(xué)習(xí)(MachineLearning),是人工智能的一個重要分支?？跈C器學(xué)習(xí)的類別機器學(xué)習(xí)不是一個具體的模型或算法。它包括了很多種類型，例如：·

監(jiān)督學(xué)習(xí)

(SupervisedLearning):

算法從帶有標(biāo)簽的數(shù)據(jù)集中學(xué)習(xí)，即每個訓(xùn)練樣本都有一個已知的結(jié)果。

·

非監(jiān)督學(xué)習(xí)

(UnsupervisedLeanring):

算法從沒有標(biāo)簽的數(shù)據(jù)集中學(xué)習(xí)?！?/p>

半監(jiān)督學(xué)習(xí)

(Semi-supervisedLeanring):結(jié)合了少量的帶標(biāo)簽數(shù)據(jù)和大量的未帶標(biāo)簽數(shù)據(jù)進行訓(xùn)練?！?/p>

強化學(xué)習(xí)

(ReinforcementLeanring)

:通過試錯的方式，學(xué)習(xí)哪些行為可以獲得獎勵，哪些行為會導(dǎo)致懲罰?！?/p>

機器學(xué)習(xí)和深度學(xué)習(xí)·

深度神經(jīng)網(wǎng)絡(luò)：CNN、RNN、LSTM等模型·

生成對抗網(wǎng)絡(luò)：GAN

模型·

強化學(xué)習(xí)：DQN、PPO等算法·

預(yù)訓(xùn)練模型：BERT、GPT

等2010-現(xiàn)在·

隨機森林：RF

算法·

集成學(xué)習(xí)：AdaBoost、XGBoost等算法

·特征工程：特征選擇、特征降維等2000-2010·

決策樹：ID3、C4.5

等算法

·

支持向量機：SVM

算法·

貝葉斯網(wǎng)絡(luò)：BN算法1980-2000■

機器學(xué)習(xí)和深度學(xué)習(xí)口機器學(xué)習(xí)的算法演變■

機器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)·深度學(xué)習(xí)，具體來說，是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)?！ど疃葘W(xué)習(xí)是機器學(xué)習(xí)的一個重要分支。機器學(xué)習(xí)底下有一條“神經(jīng)網(wǎng)絡(luò)”路線，而深度學(xué)習(xí)，是加強人工智能(Artificial

Intelligence)機器學(xué)習(xí)(Machine

Learning)神經(jīng)網(wǎng)絡(luò)(Neural

Network

Learning)深度學(xué)習(xí)(Deep

Learning)版的“神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)。知識圖譜監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強化學(xué)習(xí)進化算法群體智能符號主義聯(lián)結(jié)主義統(tǒng)計主義行為主義專家系統(tǒng)機器學(xué)習(xí)■

機器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)人工智能神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)口神經(jīng)網(wǎng)絡(luò)·神經(jīng)網(wǎng)絡(luò)是聯(lián)結(jié)主義的代表?！ど窠?jīng)網(wǎng)絡(luò)是模仿人腦的工作原理，建立神經(jīng)元之間的聯(lián)結(jié)模型，以此實現(xiàn)人工神經(jīng)運算。軸突末梢軸突樹突細(xì)胞核■

機器學(xué)習(xí)和深度學(xué)習(xí)輸入層

輸出層隱藏層1

隱藏層2口深度學(xué)習(xí)深度學(xué)習(xí)所謂的“深度”,是指神經(jīng)網(wǎng)絡(luò)中“隱藏層”的層級更“深”:·經(jīng)典機器學(xué)習(xí)算法使用的神經(jīng)網(wǎng)絡(luò)，具有輸入層、一個或兩個“隱藏層”和一個輸出層?！ど疃葘W(xué)習(xí)算法使用了更多的“隱藏層”(數(shù)百個)。它的能力更加強大，讓神經(jīng)網(wǎng)絡(luò)能夠完成更困難的工作?！?/p>

機器學(xué)習(xí)和深度學(xué)習(xí)隱藏層口神經(jīng)網(wǎng)絡(luò)的幾大經(jīng)典模型·

卷積神經(jīng)網(wǎng)絡(luò)

(Convolutional

Neural

Network,CNN)

·

循環(huán)神經(jīng)網(wǎng)絡(luò)

(Recurrent

Neural

Network,RNN)·

生成對抗網(wǎng)絡(luò)

(Generative

Adversarial

Network,GAN)

·

長短期記憶網(wǎng)絡(luò)

(Long

Short-Term

Memory,LSTM)·Transformer

(轉(zhuǎn)換器)圖片來自網(wǎng)絡(luò)O

BackfedlroutCellhput(ellNoisy

InoutCollHddenCell●Probablstic

HddenCall●

spling

Hodn

Cell0utputCellO

Match

inputOutputCellRecurentCell●

Memary

Cetloifferant

MemaryCell

KemelO

CorvolutionorPoodA

mostly

complete

chart

ofNeural

Networksc2016FodorwPerceptron(P)

feed

forward(F)Radial

Bass

Network(F9F)AecurentAordNetwork(8N?Lorg/ShtTemMemony(STM?GstedaecrentyhtfGA)DenoisingAE(DAE)■

機器學(xué)習(xí)和深度學(xué)習(xí)Deep

Convoutionat

Network(DCN)

Decornclutionsl

Network(DN)DeepComolutionstlnverse

Craphics

Network(0OCN)MarkovChain(MC)Hopfatd

Network0HN)Boltzmann

Machine(EM)Hesticted

BM(RSM)Deap

BaUaf

Network(DBN)Desp

Feed

Forward(0FF)VaiationalAE(VAE)AutoEncoder(AE)5parse

AE(5AE)■

機器學(xué)習(xí)和深度學(xué)習(xí)口卷積神經(jīng)網(wǎng)絡(luò)

(CNN)·是一種專門設(shè)計用于處理具有網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)(如圖像和視頻)的深度學(xué)習(xí)模型。·在計算機視覺領(lǐng)域取得了顯著的成功，尤其是在圖像分類、物體檢測、語義分割等任務(wù)中表現(xiàn)突出。

·基本組成部分：卷積層、激活函數(shù)、池化層、全連接層。向量特征圖池化特征圖輸入層

卷積層

池化層

卷積層池化層

全連接層輸

出向量化池化窗口池化特征圖池化

卷積和激活

池化輸入圖像

特征圖過濾器

卷積和激活特征圖口循環(huán)神經(jīng)網(wǎng)絡(luò)

(RNN)·一種特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，專門設(shè)計用于處理序列數(shù)據(jù)，例如時間序列數(shù)據(jù)、文本序列、語音信號等?！?/p>

與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，RNN

可以處理可變長度的輸入序列，并且能夠記住先前的輸入以影響后續(xù)的輸出?！ず诵乃枷胧窃诰W(wǎng)絡(luò)中引入循環(huán)連接，允許信息在不同的時間步之間流動。這樣，每個時間步的輸出不僅可以作為

下一個時間步的輸入，還可以影響當(dāng)前時間步的輸出。這種設(shè)計使得RNN

能夠捕捉序列數(shù)據(jù)中的長期依賴關(guān)系?！鰴C器學(xué)習(xí)和深度學(xué)習(xí)圖片來自網(wǎng)絡(luò)Wht+1[uWht-1[uWhtUWh|uUnfoldVVV真實樣本隱空間判別器Discriminator生成器Generator生成假樣本微調(diào)訓(xùn)練口生成對抗網(wǎng)絡(luò)

(GAN)·采用了一種對抗式的訓(xùn)練方法，其中兩個神經(jīng)網(wǎng)絡(luò)相互競爭：一個稱為生成器(Generator),另一個稱為判別器

(Discriminator)

。

這兩個網(wǎng)絡(luò)的目標(biāo)是相反的，但最終它們共同協(xié)作以生成高質(zhì)量的數(shù)據(jù)樣本。

·非常適用于圖片生成、圖像分割、視頻預(yù)測、風(fēng)格遷移等?！?/p>

機器學(xué)習(xí)和深度學(xué)習(xí)圖片來自網(wǎng)絡(luò)隨機噪聲D是否正確?OutputProbabilities

SoftmaxLinearAdd

&

NormFeedForwardAdd&NormMulti-HeadAttention

N×Add&NormMaskedMulti-HeadAttentionPositionalEncodingInputEmbeddingInputs(shiftedright)□Transformer(轉(zhuǎn)換器)·一種基于自注意力機制的深度學(xué)習(xí)模型，最初由Google

研

究人員在2017年提出，用于處理序列數(shù)據(jù)?！?/p>

通過自注意力機制，允許模型在處理序列的任何元素時，同時考慮序列中的所有其他元素并給出不同元素的重要程度，從而極大地提高了模型在語言理解、情感分析、語音識別等復(fù)雜任務(wù)中的表現(xiàn)。·Transformer

模型因其高效和強大的性能，已經(jīng)成為自然語

言處理領(lǐng)域的標(biāo)準(zhǔn)架構(gòu)之一?！?/p>

機器學(xué)習(xí)和深度學(xué)習(xí)OutputEmbeddingOutputsAdd&NormMulti-HeadAttention圖片來自網(wǎng)絡(luò)Add&NormFeedForwardPositionalEncodingNxNVIDIA.CUDANVIDIA

GPU昇騰開發(fā)框架TensorFlowPyTorchKerasMXNetCaffeTheanoChainerMindSpore

(昇思)

PaddlePaddle(飛槳)cuDNNCUDA

Deep

Neural

NetworkCANN統(tǒng)一異構(gòu)計算架構(gòu)程序語言PythonJuliaRJavaC/C++JavaScriptSwiftMATLABScala■

機器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)的框架■

大模型和AIGC口大模型

(Large

Model)

的定義·大模型，是具有龐大參數(shù)規(guī)模和復(fù)雜計算結(jié)構(gòu)的機器學(xué)習(xí)模型。

·絕大多數(shù)大模型的基礎(chǔ)核心結(jié)構(gòu)，都是Transformer及其變體?！?/p>

目前常說的大模型，主要是大語言模型

(Large

Language

Model)。口大模型的工作機制·大模型在通用性、精度和效率等方面具有顯著優(yōu)勢?！?/p>

它可以通過預(yù)訓(xùn)練或其它方式，在大型數(shù)據(jù)集上進行學(xué)習(xí)。再通過微調(diào)，高效處理計算機視覺、自然語言處理等復(fù)雜任務(wù)?；谏疃葘W(xué)習(xí)架構(gòu)Transformer通過海量數(shù)據(jù)進行預(yù)訓(xùn)練面向應(yīng)用場景進行微調(diào)服務(wù)于不同類型用戶■

大模型和AIGC預(yù)訓(xùn)練模型訓(xùn)練數(shù)據(jù)微調(diào)特定任務(wù)

數(shù)據(jù)模型口預(yù)訓(xùn)練和微調(diào)·

預(yù)訓(xùn)練：使用大量無標(biāo)注數(shù)據(jù)訓(xùn)練語言模型的過程。賦予了模型一定的通用性，適應(yīng)多種不同下游任務(wù)的能力?！?/p>

微調(diào)：在預(yù)訓(xùn)練的基礎(chǔ)上，使用標(biāo)注數(shù)據(jù)(即特定任務(wù)的數(shù)據(jù))進一步訓(xùn)練模型，使其適應(yīng)特定的應(yīng)用或任務(wù)?！?/p>

大模型和AIGC特定任務(wù)

數(shù)據(jù)特定任務(wù)

數(shù)據(jù)模型模型對比大模型小模型參數(shù)量與規(guī)模數(shù)十億乃至數(shù)萬億個參數(shù)幾百萬到幾千萬之間訓(xùn)練與運行速度訓(xùn)練和運行時間較長，需要更多的計算資源訓(xùn)練和運行速度較快，需要的計算資

源相對較少準(zhǔn)確性和能力通常能夠達(dá)到更高的準(zhǔn)確率在某些簡單任務(wù)上也能達(dá)到不錯的準(zhǔn)確率，但處理復(fù)雜模式時可能會受限應(yīng)用場景適用于對準(zhǔn)確性和復(fù)雜性要求高的場景，如文本生成、對話系統(tǒng)、機器翻譯等更適合資源有限的環(huán)境，比如移動設(shè)備、嵌入式系統(tǒng)等，或者對于實時性有較高要求的應(yīng)用可解釋性由于結(jié)構(gòu)復(fù)雜，往往難以解釋其決策過程通常更容易理解和解釋，便于調(diào)試和維護借助知識蒸餾等技術(shù)，大模型的能力可以傳給小模型。作為樣本價值判斷模型，小模型可以幫助大模型快速學(xué)習(xí)。■

大模型和AIGC口大模型和小模型口大模型的類別·

語言大模型(以文本數(shù)據(jù)進行訓(xùn)練)·

視覺大模型(以圖像數(shù)據(jù)進行訓(xùn)練)·

多模態(tài)大模型(文本和圖像都有)NLP自然語言處理大模型語言大模型視覺大模型

多模態(tài)大模型transformer

注意力機制■

大模型和AIGC口大模型的類別·行業(yè)大模型：訓(xùn)練數(shù)據(jù)集更加廣泛，覆蓋的領(lǐng)域更加全面。·

通用大模型：訓(xùn)練數(shù)據(jù)來自特定行業(yè)，應(yīng)用于專門的領(lǐng)域(例如金融、醫(yī)療、法律、工業(yè))。性價比更高專業(yè)性更強

數(shù)據(jù)更安全參數(shù)規(guī)模大泛化能力強

支持多模態(tài)行業(yè)大模型通用大模型■

大模型和AIGC應(yīng)

用

層金融醫(yī)療教育傳媒工業(yè)法律模型層GPTLLaMAPaLM文心一言通義干問混元軟件層操作系統(tǒng)數(shù)據(jù)庫中間件程序語言開發(fā)框架異構(gòu)框架硬件層AI芯片存儲芯片服務(wù)器磁陣電源設(shè)備散熱設(shè)備■

大模型和AIGC口大模型的產(chǎn)業(yè)鏈■

大模型和AIGC口大模型的商業(yè)模式·

訂閱模式·API

服務(wù)模式·

平臺服務(wù)模式·

定制化服務(wù)模式·

廣告和推廣模式·

數(shù)據(jù)授權(quán)模式CV

大模型

科學(xué)計算大模型模型管理模型部署干億參數(shù)超大模型

圖算融合策略昇騰NLP

大模型

多模態(tài)大模型模型訓(xùn)練

數(shù)據(jù)處理混合自動并行

集群調(diào)試調(diào)優(yōu)工具鯤鵬盤古大模型ModeIArts

AI開發(fā)平臺Mindspore人工智能框架Al算力資源■

大模型和AIGC口盤古大模型(舉例)算法深度學(xué)習(xí)強化學(xué)習(xí)遷移學(xué)習(xí)預(yù)訓(xùn)練模型數(shù)據(jù)數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)標(biāo)注數(shù)據(jù)存儲算力GPUTPUNPUFPGA口模型

(Al)

的發(fā)展要素■

大模型和AIGC口模型的分類·分析式AI

(決策式AI)

:利

用Al來輔助或自動化決策過程，能識別數(shù)據(jù)中的隱藏規(guī)律，指導(dǎo)基于數(shù)據(jù)

洞察的決策過程?！ど墒紸I:

通過已有數(shù)據(jù)的學(xué)習(xí)和識別，以適當(dāng)?shù)姆夯芰?，生成文本、圖片、代碼、音頻和視頻等

相關(guān)內(nèi)容。■

大模型和AIGC■

大模型和AIGC□

AIGC的定義·AIGC

(人工智能生成內(nèi)容):使用人工智能技術(shù)來自動創(chuàng)建或生成內(nèi)容。·生成的內(nèi)容可以包括文本、代碼、圖像、音樂、視頻等?！?/p>

大模型和AIGC□

AIGC的發(fā)展前提·深度學(xué)習(xí)技術(shù)的出現(xiàn)和崛起，使得AIGC開始成為可能?！AN的發(fā)明，是AIGC發(fā)展的一個重要里程碑，尤其在圖像和視頻生成方面。

·GPT系列、BERT等模型的出現(xiàn)，極大地推動了文本生成技術(shù)的發(fā)展。口內(nèi)容生成的方式·

PGC:Professional

Generated

Content

(

專業(yè)生成內(nèi)容),由專業(yè)的內(nèi)容創(chuàng)作者或團隊進行創(chuàng)作、編輯和發(fā)布的內(nèi)容?！?/p>

UGC:User

Generated

Content(用戶生成內(nèi)容),由普通用戶或受眾參與創(chuàng)作、編輯和發(fā)布的內(nèi)容。·

AIGC:

ArificialIntelligenceGeneratedContent(人工智能生成內(nèi)容),利用人工智能技術(shù)和自然語言處理技術(shù)來生成

內(nèi)容。內(nèi)容生產(chǎn)方式PGCUGCAIGC互聯(lián)網(wǎng)形態(tài)Web1.0Web2.0Web3.0生產(chǎn)主體專業(yè)人非專業(yè)人人工智能核心特點內(nèi)容質(zhì)量高內(nèi)容豐富度高生產(chǎn)效率高■

大模型和AIGC類型大模型名稱生成文本GPT系列、文心一言、通義千問、盤古、Claude3、Diffusion-LM、Chinchilla等文生圖DALL

·E2、StableDiffusion、Midjourney、Pixeling千象、DreamGaussian

百度AI作畫、通義萬相等文生音頻MusicLM、ElevenLabs、Wondershare

Filmora、Reecho睿聲、天工SkyMusic、琴樂大模型、FunAudioLLM、MusicGen等文生視頻Sora、Stable

Video

Diffusion、Vidu等■

大模型和AIGC口大模型GPT版本發(fā)布時間參數(shù)特點GPT-12018.61.17億最初的GPT模型，主要展示Transformer架構(gòu)在文本生成任務(wù)中的應(yīng)用。GPT-22019.215億引入了更大的模型規(guī)模和更多的層，顯著提升了文本生成的質(zhì)量和多樣性。GPT-32020.51250-1750億參數(shù)量是GPT-2的100多倍。它展示了在多種自然語言處理任務(wù)上的強

大能力，包括文本生成、翻譯、摘要等。GPT-3.52022.31540-1750億引入了更多的訓(xùn)練數(shù)據(jù)和優(yōu)化算法，提升了模型的性能和多樣性。InstructGPT2022.3未公開代碼數(shù)據(jù)訓(xùn)練和人類偏好對齊。ChatGPT2022.11未公開