華為：大模型與智能汽車的預見-2025-02-智能網(wǎng)聯(lián)

大模型與智能汽車的預見萬蕾博士9ASBU政策與標準專利部部長目錄·大模型在智能汽車的潛在應用·大模型與Al治理2萬維網(wǎng)開放全球互聯(lián)網(wǎng)全球智能機AI大模型全球有效專利1400萬全球聯(lián)網(wǎng)汽車全球移動用戶神經(jīng)網(wǎng)絡CNN算法用于圖像識別深度學習興起圖像分類突破戰(zhàn)勝人類谷歌A3谷歌A3超算：一首個手機一并行計算并行計算分布式計算云計算云計算問題回筆對話機器人3產(chǎn)業(yè)應用原子能力產(chǎn)業(yè)應用原子能力智能檢索意圖理解專業(yè)教育智能感知預訓練通識教育預訓練通識教育海量無標注數(shù)據(jù)智能計算4月活達1億等等API問答、檢測、翻譯、文本理解、編排…專業(yè)教育場景模型·基于GPT-3,提升代碼生成GPT-1GPT-2預訓練通識教育基礎模型閱讀理解等·1750億·1750億數(shù)據(jù)：>7.7萬人工標注數(shù)據(jù)：>7.7萬人工標注·遷移：零樣本學習+少樣本學習勵模型加入規(guī)則最大長度擴展8倍52019.22019.21.17億15億1750億HUAWEI$20/月$0.002/干token2022.1121億5400億3400億2023.22023.2被迫開源4個規(guī)格：70/130/330/650億6連續(xù)對話算法屏蔽◎連續(xù)對話能力·Transformer采用注意力機制，在處理上下文關聯(lián)性上比CNN表現(xiàn)·Transformer采用注意力機制，在處理上下文關聯(lián)性上比CNN表現(xiàn)更好。·訓練數(shù)據(jù)中連續(xù)對話和代碼含蘊含更多邏輯信息。NormalizedScoreNormalizedScore0會寫文章會推理會編代碼會寫文章會推理會編代碼不會聊天不知哪些是人類認敢于質(zhì)疑注意力機制雙向單向單向自回歸自回歸書籍、wiki·控制瀏覽器就是控制流量入口·Copilot集成進windows,升市場OS的統(tǒng)治地位Al辦公助手智能水平·Teams:團隊協(xié)作，如語音轉(zhuǎn)寫，自動生成會議紀要；實時內(nèi)容摘要生成等；·提供面向銷售、客服、市場、運維和供應鏈的AI工具·Vivasales:Al提升銷售的工作效率，場景化郵件生成，如定價；及客戶跟進等·幫助開發(fā)者構(gòu)建自己的Copilot·構(gòu)建全生命周期低成本Al開發(fā)工具統(tǒng)一開發(fā)框架和開發(fā)流水線Dnys的d·LLM賦能，用自然語言交互滿足數(shù)據(jù)分析需求，留存用戶生態(tài)數(shù)據(jù)8谷歌開始第二步和第三步的嘗試多模態(tài)具身語言模型(VLM)成就一理解圖形理解/生成語言結(jié)合圖形和語言理解，生成機器人指令，處理物理世界任務·5620億個參數(shù)指指通用Al的愿景模型能力凍結(jié)，抗遺忘與損害，讓單一的多功能模型應用在不同場景。T非凍結(jié)模型如何減少遺忘的第二條路徑：加大參數(shù)量啟示操作機器人能力在語言大模型中涌現(xiàn)，且不損失語言和視覺能力9HUAWEIHUAWEI大模型：工業(yè)化AI大模型：工業(yè)化AI多個場景一個模型數(shù)據(jù)自動生成增廣開發(fā)周期天級智能對話智能問答目標檢測智能創(chuàng)作文檔理解圖像分割從0開始→獨立調(diào)優(yōu)→艱難迭代→推倒重來┌一個場景一個模型數(shù)據(jù)質(zhì)量差、樣本少模型精度差開發(fā)周期月級大模型應用開發(fā)范式智能檢素智能客服工業(yè)質(zhì)檢智能推薦大模型應用開發(fā)范式智能檢素智能客服工業(yè)質(zhì)檢智能推薦智能審核智能錄入工業(yè)化開發(fā)場景1工業(yè)化開發(fā)場景1場景2泛化復制泛化復制折微調(diào)&部署NLP大模型CV大模型多節(jié)電預測案件復議|工業(yè)質(zhì)檢|服裝生成節(jié)電預測|輔助客服|倉庫監(jiān)控|圖文檢索|智能投研工地Re-ID電力巡檢3D孿生空間中國家庭數(shù)160萬人550萬人中國0.1%滲透率全球0.1%滲透率160萬人550萬人中國0.1%滲透率全球0.1%滲透率4.7億多模態(tài)大模型CV+NLP模型HUAWEI目錄HUAWEI大模型催熟AIGC→智能座艙&智能駕駛智能座艙智能駕駛智能座艙智能駕駛計算決策大模型·信息檢索，意圖理解，內(nèi)容生成，智能控制文本生成特定語音，語音克隆，音樂生成·ADS訓練：復雜場景生成，自動化標注·人機共駕/影子駕駛：智能算法迭代升級PofA數(shù)字孿生文字/圖像相互轉(zhuǎn)換O代碼補全、檢視、修復非交互式文本，交互式文本游戲模型、劇本等素材生成視頻編輯/剪輯多模態(tài)大模型NLP大模型多模態(tài)大模型智能汽車語音交互場景·自然語言理解的準確性和靈活性智能汽車語音交互場景智能駕駛場景·持續(xù)學習和不斷提升駕駛體驗智能駕駛場景實時性需求和性能優(yōu)化的挑戰(zhàn)數(shù)據(jù)隱私保護的解決方案提高模型可解釋性的方法挑戰(zhàn)與解決方案模型優(yōu)化和效率改進傳感器融合與駕駛決策的結(jié)合協(xié)同駕駛的潛力未來發(fā)展方向未來發(fā)展方向囂囂HUAWEI座艙情景智能HUAWEI座艙情景智能給媽媽音、視頻設備獨立感知音、視頻設備獨立感知座艙監(jiān)控行車記錄分布式麥克駕駛員監(jiān)控360環(huán)視…感知手工控制&音頻指令式控制手工控制&音頻指令式控制儀表分布式MIC,揚聲器空調(diào)控制視覺感知丫開右后門視覺感知丫開右后門導航啟動去哈根達斯導航啟動去哈根達斯聲源定位意圖理解內(nèi)容生成智能控制意圖理解內(nèi)容生成智能控制融合大模型啟動后排娛樂屏融合大模型啟動后排娛樂屏關閉后排屏原生智能原生智能大模型在智能駕駛應用——場景數(shù)據(jù)管理HUAWEI組合泛化數(shù)據(jù)篩選合理可預見場景集管理組合泛化數(shù)據(jù)篩選理解軌跡數(shù)據(jù)集數(shù)據(jù)數(shù)據(jù)時空m車輛動力模型集m大模型在智能駕駛應用——海量仿真數(shù)據(jù)生成大模型在智能駕駛應用——海量仿真數(shù)據(jù)生成HUAWEI仿真數(shù)據(jù)集需求：交通參與者傳感器參數(shù)交通參與者解耦/重傳感器數(shù)據(jù)動靜態(tài)場景參數(shù)建傳感器數(shù)據(jù)動靜態(tài)場景參數(shù)場景生成大模型幾何/紋場景生成大模型自動化標注參與者駕駛模型自動化標注參與者駕駛模型環(huán)境，光照傳感器環(huán)境，光照實施案例D預訓練大模型預訓練大模型全局/局部規(guī)劃地圖大模型◎白聯(lián)合表征控制決策樹泛化能力泛化能力強(可支持Zero-shot/Few-shot)參數(shù)量?。簙億量級算力算力要求低：-訓練：~48Nets@8萬GPUhours(FSD1.0)算力要求高：-訓練：遠高于~3億GPUho-實時推理(未壓縮):~10萬TOPs海量多模態(tài)數(shù)據(jù)：PB~EB量級自駕/人駕模式切換的HMI需單獨設計自駕/人駕模式切換可自然語言交互HUAWEIHUAWEI多模態(tài)數(shù)據(jù)訓練嘉傳感器其他HUAWEIHUAWEI·大模型技術趨勢·大模型在智能汽車的潛在應用業(yè)界呼吁Al安全監(jiān)管：Al比管理不善的飛機設計、生產(chǎn)維護、糟糕的汽車生產(chǎn)更危險；它有破壞文明的潛力GeoffreyHinton圖靈獎得主，“神經(jīng)網(wǎng)絡之父”onBBC我得出的結(jié)論是，我們正在開發(fā)的智能與我們所擁有的智能大不相同；當它們比我們更聰明時，會出現(xiàn)威脅人類生存的風險2023.3眾科技大咖聯(lián)名簽署《2023.3眾科技大咖聯(lián)名簽署《暫停大型人工智能研究》,暫停時間至少為6個月·沒有人——甚至連它們(大模型)的創(chuàng)造者——能夠理解、預測或可靠地控制·...我們呼吁所有人工智能實驗室立即暫停至少6個月的大模型人工智能系統(tǒng)的訓練，比GPT-4更強大·……人工智能研究和開發(fā)應該重新專注于使當今強大、最先進的系統(tǒng)更加準確、安全、可解釋、透明、健壯、一致、可信和忠誠建議對Al進行監(jiān)管，應該參考核武器的監(jiān)管方式SamAltman的建議或是“出逃(擺脫人類控制)”各國Al治理法規(guī)進展2019年4月7日，歐盟人工智能高級專家組(AIHLEG)發(fā)布《可信Al倫理指南》提出AI系統(tǒng)必須以人為本，并致力于將其用于服務人類和共同利益，以改善人類福祉和自由為目標。尋求最大程度地發(fā)揮AI系統(tǒng)的優(yōu)勢，同時預防和降低其風險。人類的能動性和監(jiān)督技術穩(wěn)健性和安全隱私和數(shù)據(jù)治理透明性多樣性、非歧視和公平社會和環(huán)境福祉問責制lungungocdigitenLodi/llo/2020.1,聯(lián)邦政府發(fā)布《人工智能應用的監(jiān)管指南》,提出十大監(jiān)管原則：公眾對Al的信任公眾參與科研操守和信息質(zhì)量風險評估與管理2023.1NIST發(fā)布《人工智能風險管理框架1.0》2019年6月17日，國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》旨在更好協(xié)調(diào)人工智能發(fā)展與治理的關系，確保人工智能安全可控可靠，推動經(jīng)濟、社會及生態(tài)可持續(xù)發(fā)展，共建人類命運共同體。和諧友好安全可控包容共享開放協(xié)作尊重隱私和諧友好安全可控包容共享開放協(xié)作尊重隱私敏捷治理共擔責任2021年9月25日，發(fā)布《新一代人工智能倫理規(guī)范》,旨在將倫理道德融入人工智能全生命周期，為從事人工智能相關活動的自然人、法人和其他相關機構(gòu)等提供倫理指引提供倫理指引.基本倫理要求人類福祉促進公平公正保護隱私安全確?？煽乜尚艔娀熑螕斕嵘齻惱硭仞B(yǎng)管理規(guī)范推動敏捷治理積極實踐示范正確行權(quán)用權(quán)加強風險防范促進包容開放使用規(guī)范提倡善意使用避免誤用濫用禁止違規(guī)惡用及時主動反饋提高使用能力供應規(guī)范尊重市場規(guī)則加強質(zhì)量管控保障用戶權(quán)益強化應急保障研發(fā)規(guī)范強化自律意識提升數(shù)據(jù)質(zhì)量增強安全透明避免偏見歧視2023.4《生成式人工智能服務管理辦法(征求意見)》為促進生成式人工智能技術健康發(fā)展和規(guī)范應用ISO-PAS8800ISO-PAS8800數(shù)據(jù)管理要求：·數(shù)據(jù)集的管理應涵蓋需求開發(fā)、設計、實施、驗證確認、安全分·應識別數(shù)據(jù)