ChatGLM部署、微調(diào)與開發(fā) 課件 04大模型未來發(fā)展趨勢及挑戰(zhàn)

第4章大模型未來發(fā)展趨勢及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢一大模型產(chǎn)業(yè)應(yīng)用趨勢二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五大模型技術(shù)發(fā)展趨勢引言大模型技術(shù)，作為人工智能領(lǐng)域的前沿方向，正日新月異，推動著各行各業(yè)的變革技術(shù)發(fā)展趨勢分為：大模型的幻覺修復定義：大模型生成無意義或與用戶提示詞不對應(yīng)的內(nèi)容思維鏈定義：通過讓大模型逐步參與將一個復雜問題分解為一步一步的子問題并依次進行求解多模態(tài)大模型定義：能夠處理和理解多種不同模態(tài)數(shù)據(jù)的人工智能模型智能體走向具身化定義：能夠自主感知環(huán)境、做出決策并執(zhí)行相應(yīng)行動的軟件或硬件實體。軟件工程理論基于大模型增強而重新定義大模型帶動軟件工程變換科研范式全更新大模型帶動科研范式的變換4.1大模型技術(shù)發(fā)展趨勢大模型幻覺定義定義：大模型生成無意義或與用戶提示詞不對應(yīng)的內(nèi)容幻覺的分類大模型的幻覺分為事實性幻覺和忠實性幻覺事實性幻覺：

定義：模型生成的內(nèi)容與可驗證的現(xiàn)實世界事實不一致分類：事實不一致事實捏造忠實性幻覺：定義：生成的內(nèi)容與用戶的指令或上下文不一致分類：指令不一致上下文不一致邏輯不一致4.1.1大模型的幻覺修復幻覺產(chǎn)生的三大來源：數(shù)據(jù)源數(shù)據(jù)質(zhì)量不夠高訓練過程

訓練的時候有沖突知識，以及訓練不充分推理過程推理模型不夠強大解決幻覺問題的方法數(shù)據(jù)篩選：剔除引入幻覺的數(shù)據(jù)技術(shù)手段：可控文本生成、強化學習多任務(wù)學習、輸出后處理大模型幻覺攻擊實例4.1.1大模型的幻覺修復思維鏈定義定義：通過讓大模型逐步參與將一個復雜問題分解為一步一步的子問題并依次進行求解，這一系列推理的中間步驟思維鏈優(yōu)勢提升大模型性能增強大模型推理能力降低忽視關(guān)鍵細節(jié)的現(xiàn)象例子4.1.2思維鏈“將總共有多少葵花籽”分解為一顆大向日葵的種子數(shù)量與一顆小向日葵的種子數(shù)量之和，通過將復雜問題分解為多步驟的子問題然后進行實現(xiàn)4.增強可解釋性5.提高可控性多模態(tài)大模型定義指能夠同時處理多種不同類型的數(shù)據(jù)（如文本、圖像、音頻、視頻等）的大型深度學習模型。這些模型通常具有多個輸入通道，可以對各種模態(tài)的數(shù)據(jù)進行聯(lián)合學習和特征提取，從而實現(xiàn)跨模態(tài)的信息融合和知識遷移。國內(nèi)外研究進展國外：OpenAI的Sora國內(nèi)智譜AI的CogVLM關(guān)鍵技術(shù)數(shù)據(jù)對齊：確保不同模態(tài)的數(shù)據(jù)在時間和內(nèi)容上的一致性???????數(shù)據(jù)融合：將多模態(tài)數(shù)據(jù)整合在一起，以充分利用各模態(tài)的信息???????統(tǒng)一標識：構(gòu)建一個統(tǒng)一的表示空間，使得不同模態(tài)的數(shù)據(jù)能夠互相理解和結(jié)合4.1.3多模態(tài)大模型Sora文生視頻大模型4.1.3多模態(tài)大模型OpenAI2024年2月15日發(fā)布能夠根據(jù)用戶的文本提示創(chuàng)建最長60秒的逼真視頻能夠深度模擬真實物理世界，生成具有多個角色、包含特定運動的復雜場景Sora的思路是將輸入的訓練數(shù)據(jù)轉(zhuǎn)換為具備時序特征的向量，然后由Sora中的Transformer預測下一個向量。無論是文本還是視頻，都需要轉(zhuǎn)化為高維向量組成的序列才能正常參與計算。對于GPT而言，這一向量中的這個最小單位是Token，對于Sora等文生視頻模型來說，這個最小單位就是時空圖塊（SpacetimeLatentPatches）。4.1.3多模態(tài)大模型字幕獲取圖像的描述圖像問答與圖像進行問答交互3D點云構(gòu)建3維世界關(guān)鍵信息增強Agent給Agent提供視覺信息多模態(tài)技術(shù)在AGI發(fā)展中的應(yīng)用4.1.4智能體走向具身化與全方位交互智能體定義定義：自主感知環(huán)境、做出決策并執(zhí)行相應(yīng)行動的軟件或硬件實體智能體基本特征感知環(huán)境：智能體能夠通過傳感器或其他輸入方式工具收集關(guān)于周圍環(huán)境的信息。決策制定：基于收集到的信息和內(nèi)部算法或模型，智能體能夠分析情況并做出決策。行動執(zhí)行：智能體能夠?qū)ν饨缡┘佑绊懀ㄟ^輸出指令或直接操作來改變環(huán)境狀態(tài)。目標導向：通常具有明確的目標或任務(wù)，指導其行為和決策過程。學習與適應(yīng)：許多智能體還具備學習能力，能從經(jīng)驗中學習并優(yōu)化其行為策略，以更好地達成目標。智能體的基本框架4.1.4智能體走向具身化與全方位交互分類虛擬智能沒有實體的智能體具身智能是指研究在環(huán)境中具有實體的智能體（如現(xiàn)實或仿真環(huán)境下的機器人，能夠直接與環(huán)境進行物理交互）具身智能的研究方法模仿學習（ImitationLearning）就是要訓練機器能夠復制人類的連續(xù)動作，進而達到模仿的目的。強化學習（ReinforcementLearning）4.1.4智能體走向具身化與全方位交互具身智能的應(yīng)用實例PaLM-E：實體化多模態(tài)語言模型多模態(tài)語言模型，它不僅能夠理解和生成自然語言，還能直接整合來自真實世界的連續(xù)傳感器數(shù)據(jù)，如圖像和狀態(tài)估計，從而在語言模型與感知之間建立了直接聯(lián)系，這使得PaLM-E能夠在模擬和現(xiàn)實世界中控制不同的機器人，執(zhí)行復雜的實體推理任務(wù)。大模型在軟件工程中的應(yīng)用設(shè)計、需求、測試、發(fā)布和運維等環(huán)節(jié)大模型催生的新軟件工程強大的表示能力和泛化性能顛覆性的研發(fā)模式改變持續(xù)漸進的過程大模型對研發(fā)工作流的影響逐漸加深的影響程度開發(fā)者需擁抱變化，找到切入點認識大模型的潛在問題和限制4.1.5軟件工程理論大模型在跨學科領(lǐng)域的應(yīng)用創(chuàng)新超級計算機系統(tǒng)重塑云計算重構(gòu)分布式系統(tǒng)大模型帶來的機遇與挑戰(zhàn)機遇：研究方法與實踐的改變挑戰(zhàn)：學科理論基礎(chǔ)的工具和方法增強4.1.5軟件工程理論大模型時代的科研背景大規(guī)模數(shù)據(jù)和端到端學習多任務(wù)學習能力的展現(xiàn)傳統(tǒng)科研模式的特點小規(guī)模數(shù)據(jù)集手工特征工程時間和精力的投入大模型帶來的科研范式變革簡化研究流程提高研究效率改變數(shù)據(jù)處理和分析方式4.1.6科研范式全更新4.1.6科研范式全更新大模型的未來角色在科研范式中扮演更為重要的角色研究者需學習和應(yīng)用大模型技術(shù)推動科學研究的進步和發(fā)展大模型在科研中的應(yīng)用數(shù)據(jù)的直接利用端到端學習實現(xiàn)強大的通用任務(wù)解決能力第4章大模型未來發(fā)展趨勢及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢一大模型產(chǎn)業(yè)應(yīng)用趨勢二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.2.1生成式AI改變?nèi)藱C交互方式人機交互的歷史變革圖靈機的打孔帶：人機交互的起點第一臺電子計算機：交互方式轉(zhuǎn)變Windows圖形界面：界面友好化多點觸控技術(shù)：簡化用戶界面，縮小數(shù)字鴻溝語音交互與智能音響：接近自然交流GLM視頻通話生成式AI技術(shù)的進展提升大模型理解能力更好地理解人類表達和意圖生成符合人類價值觀的回答未來展望功能強大的個人助手回答多樣化問題人機協(xié)作新模式：機器生成內(nèi)容與人類判斷結(jié)合4.2.2模型即服務(wù)（ModelasaService）AI的工業(yè)化發(fā)展大模型推動AI逐漸工業(yè)化，商業(yè)模式發(fā)生轉(zhuǎn)變ModelasaService）的生態(tài)未來AI領(lǐng)域?qū)⒊尸F(xiàn)出以模型即服務(wù)為核心的生態(tài)格局模型即服務(wù)系統(tǒng)的組成大模型公司提供AI技術(shù)基礎(chǔ)設(shè)施?；诖竽Ｐ蜕蓤鼍盎€性化的小模型，實現(xiàn)工廠化生產(chǎn)模式。將大模型與個人用戶需求結(jié)合，形成面向最終用戶的AI模型服務(wù)和應(yīng)用4.2.2模型即服務(wù)（ModelasaService）模型即服務(wù)的未來展望以大模型為核心，打造新一代人工智能應(yīng)用的基礎(chǔ)設(shè)施。有望成為AI領(lǐng)域的新興商業(yè)模式，推動行業(yè)創(chuàng)新和增長。4.2.3大模型的垂直領(lǐng)域應(yīng)用生成式AI技術(shù)的發(fā)展大模型在多個領(lǐng)域創(chuàng)造新的商業(yè)價值大模型的行業(yè)定制化應(yīng)用功能和特性與特定行業(yè)或領(lǐng)域需求緊密相關(guān)4.2.3大模型的垂直領(lǐng)域應(yīng)用國際案例微軟365Copilot集成GPT-4，Klarna集成ChatGPT插件，智能家務(wù)機器人TidyBot等應(yīng)用中國案例華為盤古大模型應(yīng)用于多個領(lǐng)域，國網(wǎng)-百度·文心大模型，釘釘接入通義大模型，騰訊會議接入混元大模型等。大模型的未來作用將在更多行業(yè)中發(fā)揮關(guān)鍵作用，推動數(shù)字化和智能化的實現(xiàn)4.2.4大模型將助力個體成為超級生產(chǎn)者大模型技術(shù)的發(fā)展快速進步，推動個人生產(chǎn)力革命智能化工具的作用提供智能化建議自動化繁瑣任務(wù)釋放個人創(chuàng)造力創(chuàng)作能力的擴展與效率提升普通人也能生成復雜內(nèi)容學習新技能，編寫代碼創(chuàng)造精美視覺作品提升工作效率4.2.4大模型將助力個體成為超級生產(chǎn)者日常生活的應(yīng)用場景文本生成學習輔助編程開發(fā)圖像和視頻編輯個人生產(chǎn)力的變革深入日常生活，改變工作方式和創(chuàng)作過程未來工作環(huán)境的變化智能化、個性化借助AI實現(xiàn)潛能創(chuàng)造豐富多樣的作品和解決方案第4章大模型未來發(fā)展趨勢及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢一大模型產(chǎn)業(yè)應(yīng)用趨勢二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.3人工智能倫理與安全人工智能倫理問題

隨著模型能力的增強和應(yīng)用范圍的擴大，倫理問題變得更為復雜和緊迫，帶來了人工智能倫理更多的挑戰(zhàn)。人工智能倫理與安全國際規(guī)約

人工智能的快速發(fā)展為社會帶來前景，同時也帶來個人安全風險。各國政府正通過加強立法、建立技術(shù)標準和安全規(guī)范、優(yōu)化資源配置等措施，解決立法和執(zhí)法不足、程序框架不完善及資源短缺問題，保障人工智能健康發(fā)展。人工智能倫理與安全國內(nèi)規(guī)約

國家強調(diào)人工智能是引領(lǐng)科技革命和產(chǎn)業(yè)變革的關(guān)鍵技術(shù)，并指出需防范其潛在風險，保障人民利益和國家安全，確保人工智能的安全可控。我國正積極推動人工智能健康發(fā)展，以造福全球人民4.3.1人工智能倫理問題數(shù)據(jù)隱私與保護定義：大模型訓練數(shù)據(jù)包含用戶隱私信息、醫(yī)療、金融、社交媒體等敏感領(lǐng)域風險解決方法：加強數(shù)據(jù)匿名化技術(shù)、加強數(shù)據(jù)訪問權(quán)限控制、制定嚴格的數(shù)據(jù)保護法規(guī)算法偏見與公平性定義：歷史數(shù)據(jù)可能存在偏見、模型放大偏見導致不公平?jīng)Q策解決方法：確保訓練數(shù)據(jù)多樣化和平衡、進行公平性和偏見測試責任與歸責定義：大模型錯誤決策責任歸屬難以確定解決方法：制定新的法律框架、明確開發(fā)者、使用者及其他相關(guān)方責任透明度與可解釋性定義：大模型決策過程黑盒化、降低人們對模型的信任度解決方法：開發(fā)新技術(shù)和方法提高透明度、提高模型可解釋性安全與控制定義：大模型可能被用于惡意目的解決方法：加強模型對人類價值觀的對齊、確保模型不被濫用就業(yè)與經(jīng)濟影響定義：AI發(fā)展對就業(yè)和社會結(jié)構(gòu)的影響、大模型可能取代某些工作崗位解決方法：平衡技術(shù)進步與社會福祉、避免失業(yè)和社會不穩(wěn)定國際合作與全球治理定義：AI發(fā)展具有全球性特點解決方法：建立全球性AI倫理標準、建立全球性監(jiān)管機制、確保AI技術(shù)健康、有序發(fā)展4.3.2人工智能倫理與安全國際規(guī)約1《人工智能倫理問題建議書》2021年11月23日、教科文組織強調(diào)：人工智能要體現(xiàn)出尊重、保護和提升人權(quán)及人類尊嚴，促進環(huán)境與生態(tài)系統(tǒng)的發(fā)展2《人工智能權(quán)利法案藍圖》2022年10月4日、美國白宮科技政策辦公室強調(diào)：五項原則為：(1)安全有效的系統(tǒng)；(2)算法歧視保護；(3)數(shù)據(jù)隱私；(4)通知和解釋；(5)人工替代3《支持創(chuàng)新的人工智能監(jiān)管規(guī)則》2023年3月29英國強調(diào)：指導人工智能在英國的運用，推動負責任的創(chuàng)新，4《人工智能法案》2024年3月13日、歐盟強調(diào)：保護基本權(quán)利、民主、法治和環(huán)境可持續(xù)性免受高風險人工智能的侵害，同時促進創(chuàng)新并確立歐洲在該領(lǐng)域的領(lǐng)導者地位。5《以人為本的人工智能治理》2023年12月12日、聯(lián)合國強調(diào)：人工智能對人類可能帶來的潛在益處及其推動因素；同時，也強調(diào)了人工智能在當前和未來一段時間內(nèi)可能帶來的風險和挑戰(zhàn)4.3.3人工智能倫理與安全國內(nèi)規(guī)約1.《新一代人工智能倫理規(guī)范》2021年9月25日新一代人工智能治理專業(yè)委員會強調(diào)：倫理道德融入人工智能全生命周期2.《關(guān)于加強人工智能倫理治理的立場文件》2022年11月16特定常規(guī)武器公約大會上強調(diào)：加強國際人工智能倫理治理，從人工智能技術(shù)監(jiān)管、研發(fā)、使用及國際合作等方面3.《生成式人工智能服務(wù)管理暫行辦法》2023年5月23日互聯(lián)網(wǎng)信息辦公室規(guī)定了生成式人工智能服務(wù)的適用范圍、管理原則、技術(shù)發(fā)展、服務(wù)規(guī)范、監(jiān)督和法律責任等多個方面4.《全球人工智能治理倡議》2023年10月18日“一帶一路”國際合作高峰論壇該倡議圍繞人工智能發(fā)展、安全、治理三方面系統(tǒng)闡述了人工智能治理的中國方案，第4章大模型未來發(fā)展趨勢及挑戰(zhàn)大模型技術(shù)發(fā)展趨勢一大模型產(chǎn)業(yè)應(yīng)用趨勢二人工智能倫理與安全三大模型面臨的挑戰(zhàn)四本章小結(jié)五4.4大模型面臨的挑戰(zhàn)技術(shù)挑戰(zhàn)計算資源與成本限數(shù)據(jù)質(zhì)量與多樣性問題模型透明度與可解釋性社會倫理挑戰(zhàn)數(shù)據(jù)隱私與安全性模型偏見與公平性技術(shù)霸凌與智能鴻溝道德倫理規(guī)范制定商業(yè)挑戰(zhàn)盈利與商業(yè)化落地難題市場競爭與資金時間投入技術(shù)創(chuàng)新與市場政策挑戰(zhàn)應(yīng)對策略技術(shù)創(chuàng)新與政策引導行業(yè)內(nèi)外共同努力服務(wù)