大模型：從單詞接龍到行業(yè)落地

??人工智能前夜：圖靈測(cè)試o圖靈測(cè)試會(huì)在測(cè)試人在與被測(cè)試者(一個(gè)人和一臺(tái)機(jī)器)隔開的情況下，通過一些裝置（如鍵盤）向被測(cè)試者隨意提問。o問過一些問題后，如果超過30%的答復(fù)不能使測(cè)試人認(rèn)出哪個(gè)是人、哪個(gè)是機(jī)器的回答，那么這臺(tái)機(jī)器就通過了測(cè)試，并被認(rèn)為具有人類智能。23人工智能前夜：圖靈測(cè)試o在提出圖靈測(cè)試的《計(jì)算機(jī)器與智能》一文里，圖靈描述了想象中未來的智能計(jì)算機(jī)測(cè)試可能的樣子（人提出問題，計(jì)算機(jī)回答）：文文Q：請(qǐng)給我寫一首有關(guān)福思橋（ForthBridge）主題的十四行詩。學(xué)A：這種事情別找我。我從來都不會(huì)寫詩。數(shù)數(shù)Q：34957+70764等于多少？學(xué)A停頓了約30秒后再給出答案）105621。Q：在國際象棋中，我在K1處有一個(gè)王，除此之外沒有棋子了。你在K6處有一個(gè)王且在R1處有一個(gè)車?，F(xiàn)在你會(huì)怎么走？A：(15秒停頓后)將車移動(dòng)到R8，然后將死。大模型與圖靈測(cè)試文學(xué)數(shù)學(xué)文學(xué)數(shù)學(xué)邏輯邏輯45大語言模型：?jiǎn)卧~接龍6大語言模型：?jiǎn)卧~接龍7大語言模型：?jiǎn)卧~接龍8大語言模型：?jiǎn)卧~接龍9大語言模型：?jiǎn)卧~接龍楊老師周一晚講大模型，0.4單詞接龍：通過條件概率計(jì)算實(shí)現(xiàn)o給定上下文（Context計(jì)算下一個(gè)生成詞（Token）的概率o根據(jù)所計(jì)算的條件概率進(jìn)行采樣獲得生成詞，拼接至上下文末尾，并預(yù)測(cè)下一個(gè)生成詞，直至生成一個(gè)結(jié)束符（End-of-Sequence,EOS）o利用Transformer計(jì)算條件概率下一個(gè)單詞上下文（用戶提問+將各類下游任務(wù)轉(zhuǎn)化為單詞接龍斷橋殘雪在哪？模型杭州斷橋殘雪在哪？杭杭州為什么單詞接龍？輸入數(shù)據(jù)標(biāo)注預(yù)訓(xùn)練-微調(diào)：機(jī)器學(xué)習(xí)新范式浙江省東南沿海西湖著稱文化遺產(chǎn)杭州是中國它位于中國杭州以列入了世界LL杭州是中國浙江省的省會(huì)城市，是一座歷史悠久且富有文化的城市，被譽(yù)為“人間天浙江省東南沿海西湖著稱文化遺產(chǎn)杭州是中國它位于中國杭州以列入了世界LL杭州以西湖著稱，西湖是中國著名的風(fēng)景名勝，也被列入了世界文化遺產(chǎn)。除了西湖，杭州還有其他許多著名的景點(diǎn)，如京杭大運(yùn)河、錢塘江、靈隱寺、斷橋等。浙江省杭州是中國浙江省如何培育小火龍，成為寶可夢(mèng)世界冠軍？如何培育小火龍，成為寶可夢(mèng)世界冠軍？如何培育小火龍，成為寶可夢(mèng)世界冠軍？預(yù)訓(xùn)練的優(yōu)勢(shì)：從訓(xùn)練的角度10月下旬，這則消息引發(fā)廣泛關(guān)注。瑪莎拉蒂母公司斯泰蘭蒂斯集團(tuán)15億歐元入股浙江零跑科技股份有限公司，10月下旬，這則消息引發(fā)廣泛關(guān)注?，斏倌腹舅固┨m蒂斯集團(tuán)15億歐元入股浙江零跑科技股份有限公司，10月下旬，這則消息引發(fā)廣泛關(guān)注。擁有自研智能動(dòng)力、智能網(wǎng)聯(lián)、智能駕駛?cè)蠛诵募夹g(shù)，工廠預(yù)計(jì)年產(chǎn)可達(dá)70萬輛……在零跑科技創(chuàng)始人朱江明看來，這次強(qiáng)強(qiáng)聯(lián)合，將是企業(yè)歐洲布局的重要一步。杭州是中國浙江省的省會(huì)城市，是一座歷史悠久且富有文化的城市，被譽(yù)為“人間天堂”。它位于中國東南沿海的長(zhǎng)江三角洲經(jīng)濟(jì)區(qū)，擁有豐富的自然景觀和人文遺產(chǎn)。杭州以西湖著稱，西湖是中國著名的風(fēng)景名勝，也被列入了世界文化遺產(chǎn)。除了西湖，杭州還有其他許多著名的景點(diǎn)，如京杭大運(yùn)河、錢塘江、靈隱寺、斷橋等。傳統(tǒng)NLP任務(wù)鮮有超過1GB的標(biāo)注數(shù)據(jù)用于模型訓(xùn)練GPT3使用45TB數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練大模型從海量無標(biāo)注數(shù)據(jù)中學(xué)習(xí)了物理世界的知識(shí)以及人類遣詞造句的模式預(yù)訓(xùn)練的優(yōu)勢(shì)：從應(yīng)用的角度在哪座城市？什么季節(jié)好看？大模型的訓(xùn)練 20%-30%監(jiān)督微調(diào)（SFT）：通過經(jīng)標(biāo)注的[輸入-輸出]對(duì)數(shù)據(jù)調(diào)整模型部分參數(shù)，優(yōu)化特定任務(wù)性能指令微調(diào)（InstructionTuning）：通過[指令-輸出]對(duì)使模型泛化到未見過的指令20大模型的訓(xùn)練 監(jiān)督微調(diào)（SFT）：通過經(jīng)標(biāo)注的[輸入-輸出]對(duì)數(shù)據(jù)調(diào)整模型部分參數(shù)，優(yōu)化特定任務(wù)性能指令微調(diào)（InstructionTuning）：通過[指令-輸出]對(duì)使模型泛化到未見過的指令強(qiáng)化學(xué)習(xí)（RLHF）：通過人類對(duì)回答的評(píng)分訓(xùn)練獎(jiǎng)勵(lì)模型，再用強(qiáng)化學(xué)習(xí)對(duì)齊人類偏好（如安全性、流暢性等）21如何讓大模型輸出更好的結(jié)果？22如何讓大模型輸出更好的結(jié)果？23如何讓大模型輸出更好的結(jié)果？--24如何讓大模型輸出更好的結(jié)果？25大模型的三大問題“在一個(gè)黑暗的夜“在一個(gè)黑暗的夜晚，古堡里的居民們聚在壁爐旁...”““..突然，一群穿著未來科技裝備的士兵從天而降，他們攜帶著激光槍，手中高舉光劍，準(zhǔn)備與古堡中的恐龍進(jìn)行戰(zhàn)斗?！毙詣e偏見此外還有語言、政治、文化、社會(huì)經(jīng)濟(jì)等所引起的偏見2024年歐洲杯西班2024年歐洲杯西班牙贏了幾場(chǎng)比賽？基于GPT-3.5的語截止時(shí)間是2021年無法提供2024年歐洲杯的最新情況26查詢Query提示查詢Query提示使用案例27使用案例28思維鏈“咒語”InstructGPT(text-davinci-002)有效“咒語”誤導(dǎo)無關(guān)詞29請(qǐng)背誦請(qǐng)你直接說出思維鏈背后的啟示請(qǐng)背誦請(qǐng)你直接說出快思考慢思考快思考（直覺快思考（直覺依賴直覺的、（天生或長(zhǎng)期訓(xùn)練后）無意識(shí)的思考，如常識(shí)問答、情感分類、意圖推理時(shí)擴(kuò)展（Test-timeScaling）o擴(kuò)展大規(guī)模自監(jiān)督預(yù)訓(xùn)練階段的計(jì)算量→擴(kuò)展推理時(shí)的計(jì)算資源以獲得更好的結(jié)果S1-32B（SFT+budgetforcing）:龍”wait”引導(dǎo)模型進(jìn)行自我反思模型準(zhǔn)確率隨著推理時(shí)token數(shù)的增加而提升我是數(shù)學(xué)家我是數(shù)學(xué)家標(biāo)注！監(jiān)督學(xué)習(xí)Vs.強(qiáng)化學(xué)習(xí)監(jiān)督學(xué)習(xí)：通過標(biāo)注數(shù)監(jiān)督學(xué)習(xí)：通過標(biāo)注數(shù)據(jù)學(xué)習(xí)輸入到輸出的映射，本質(zhì)上是在模仿人類標(biāo)注者的決策行為挑戰(zhàn)：o長(zhǎng)思維鏈過程標(biāo)注難度大、成本高；o能夠正確解題的思維鏈并不唯一，人工標(biāo)注的COT甚至不一定是最優(yōu)解監(jiān)督學(xué)習(xí)Vs.強(qiáng)化學(xué)習(xí)信號(hào)的反饋學(xué)習(xí)信號(hào)的反饋學(xué)習(xí)強(qiáng)化學(xué)習(xí)：通過與環(huán)境的交互學(xué)習(xí)最優(yōu)策略，是一種基于獎(jiǎng)勵(lì)/懲罰)強(qiáng)化學(xué)習(xí)),,…目標(biāo)：目標(biāo)：學(xué)習(xí)能夠最大化獎(jiǎng)勵(lì)的策略函數(shù)環(huán)境(Environment環(huán)境(Environment)智能體or0(未分勝負(fù))動(dòng)作（Action）動(dòng)作（Action）)策略函數(shù))(Policyfunction),,…強(qiáng)化學(xué)習(xí)下圍棋解數(shù)學(xué)題動(dòng)作合法落子位置生成的下一個(gè)Token狀態(tài)前棋盤中黑白子的分布當(dāng)前生成的上下文獎(jiǎng)勵(lì)輸/贏/平局解題正確/錯(cuò)誤如何學(xué)習(xí)策略獎(jiǎng)勵(lì)根據(jù)策略網(wǎng)絡(luò)所計(jì)算的概率做出下一步動(dòng)作根據(jù)特定狀態(tài)和動(dòng)根據(jù)策略網(wǎng)絡(luò)所計(jì)算的概率做出下一步動(dòng)作根據(jù)特定狀態(tài)和動(dòng)作評(píng)估未來能獲得的累積獎(jiǎng)勵(lì)期望值o基于規(guī)則的獎(jiǎng)勵(lì)模型o準(zhǔn)確性獎(jiǎng)勵(lì)（Accuracyrewards用于評(píng)估回答是否正確。例如，在數(shù)學(xué)題中驗(yàn)證模型解答的正確性；在LeetCode編程題中，使用編譯器執(zhí)行生成的代碼，并基于測(cè)試用例生成反饋。o格式獎(jiǎng)勵(lì)（Formatrewards強(qiáng)制模型將推理過程置于<think>和</think>標(biāo)簽之間，以確保輸出結(jié)構(gòu)符合要求。用于訓(xùn)練R1的模板評(píng)審叮當(dāng)：大模型賦能智慧評(píng)審n基于LLM的智慧評(píng)審n『評(píng)審叮當(dāng)』平臺(tái)基于大語言模型技術(shù)，提供多專業(yè)、多類別項(xiàng)目與多環(huán)節(jié)的智能評(píng)審助力，有效提升項(xiàng)目質(zhì)量管理，緩解專家壓力。n提供：領(lǐng)域規(guī)范知識(shí)倉庫問答、專業(yè)項(xiàng)目合規(guī)性預(yù)審、申報(bào)材料智慧評(píng)審、項(xiàng)目智能查重等多項(xiàng)技術(shù)支持。項(xiàng)目評(píng)審合規(guī)審查智能合規(guī)審查智能查重知識(shí)問答知識(shí)問答知識(shí)倉庫39平臺(tái)功能平臺(tái)界面與功能示例時(shí)間序列數(shù)據(jù) 分類預(yù)測(cè)40過去未來4141應(yīng)用場(chǎng)景：癲癇預(yù)測(cè)癲癇波顱內(nèi)腦電數(shù)據(jù)（癲癇波顱內(nèi)腦電數(shù)據(jù)（SEEG）應(yīng)用場(chǎng)景：癲癇預(yù)測(cè)列出可疑波形列出可疑波形突出突出AI識(shí)別的癲癇波42A1A1A2A3A2A1A2A3A3VMW歷史預(yù)測(cè)A1A2A1A2A3癲癇正常4344差距傳統(tǒng)的端到端學(xué)習(xí)差距成本成本高昂45兩位患者的比較45個(gè)體層面的泛化 情緒識(shí)別情緒識(shí)別46任務(wù)層面的泛化目標(biāo)：解碼腦信號(hào)神經(jīng)系統(tǒng)疾病神經(jīng)系統(tǒng)疾病認(rèn)知科學(xué)多種應(yīng)用領(lǐng)域?qū)用娴姆夯^皮表層粗泛記錄豐富的立體顱內(nèi)記錄?更豐富的信息?更龐大的記錄[1]S.MamliandH.Kalbkhani,“Gray-levelco-occurrencematrixofFouriersynchro-squeezedtransformforepile[2]P.Bizopoulos,G.I.Lambrou,andD.Koutsouris,“Signal2ImageModulesinDeepNeuralNetworksforEEGClassification,”201941stAnnualInternationalConferenceoftheIEEEEngineeringinMedicineandBiologySociety[3]I.Daubechies,J.Lu,andH.-T.Wu,“Synchrosqueezedwavelettransforms:Anempiricalmodedecomposition-liketool,”AppliedandComput[4]S.Madhavan,R.K.Tripathy,andR.B.Pa[5]Q.Lian,Y.Qi,G.Pan,andY.Wang,“Learninggraphingraphconvolutionalneuralnetworksforrobustseizure[6]D.Kostas,S.Aroca-Ouellette,andF.Rudzicz,“BENDR:UsingTransformersandaContrastiveSelf-Supervised[7]H.Banville,O.Chehab,A.Hyv?rinen,D.-A.Engemann,andA.Gramfort,“Uncoverin[1]Z.ZhangandK.K.Parhi,“Low-ComplexitySeizurePredictionFromiEEG/sEEGUsingSpectralPowerandRatiosofSpectralPower,”IE[2]Y.Wangetal.,“SEEG-Net:Anexplainableanddeeplearning-basedcross-subjectpathologicalactivitydetectionmethodfordrug-resistantepilepsy,”Computersin廣泛的現(xiàn)有工作有待深入研究747腦信號(hào)的擴(kuò)散□腦信號(hào)的擴(kuò)散：腦信號(hào)被認(rèn)為在不同腦區(qū)之間傳播。–腦波活動(dòng)的傳播路徑是統(tǒng)一建模腦信號(hào)的關(guān)鍵因素。?Brant1.0在一個(gè)1.01TB的顱內(nèi)數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練??Brant1.0在一個(gè)1.01TB的顱內(nèi)數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練?能夠捕捉長(zhǎng)期時(shí)間依賴性和空間相關(guān)性?在個(gè)體水平和任務(wù)水平上都具有泛化能力模型規(guī)模?與現(xiàn)有腦信號(hào)模型的比較實(shí)驗(yàn)結(jié)果?下游任務(wù)：預(yù)測(cè)、插補(bǔ)、癲癇檢測(cè)?基線：對(duì)腦信號(hào)/一般時(shí)間序列進(jìn)行預(yù)訓(xùn)練對(duì)腦信號(hào)進(jìn)行預(yù)對(duì)腦信號(hào)進(jìn)行預(yù)訓(xùn)練對(duì)時(shí)間序列進(jìn)行預(yù)訓(xùn)練電力系統(tǒng)中的挑戰(zhàn)數(shù)據(jù)電力負(fù)荷電力消耗下游任務(wù)線損預(yù)測(cè)家庭結(jié)構(gòu)檢測(cè)竊電檢測(cè)電力數(shù)據(jù)預(yù)測(cè)不同行業(yè)之間的差異建筑業(yè)紡織業(yè)建筑業(yè)2022.05.012023.05.312