人工智能與科學(xué)研究

++十大前沿觀察+++++++均授予了AI深度參與其中的研究。物理學(xué)獎(jiǎng)授予了科學(xué)家JohnJ.Hop?eld和GeoffreyE.Hinton，以表彰他們?cè)谑褂萌斯ど窠?jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)方面的基礎(chǔ)性發(fā)現(xiàn)和開(kāi)創(chuàng)性貢獻(xiàn)。諾貝爾化學(xué)獎(jiǎng)則頒發(fā)給了科學(xué)家DavidBaker、DemisHassabis和JohnM.Jumper，以表彰他們?cè)谟?jì)算機(jī)蛋白設(shè)計(jì)及蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)領(lǐng)域的杰出成o+o...SNISTIANCH'天池阿里云旗下平臺(tái)Part1序章1.1AIforScience61.1.2氣象預(yù)測(cè)大模型61.1.3AI可控核聚變1.2ScienceforAI71.2.1Hop?eld網(wǎng)絡(luò)與受限Boltzmann機(jī)81.2.2視覺(jué)架構(gòu)啟發(fā)的CNN網(wǎng)絡(luò)81.2.3等變神經(jīng)網(wǎng)絡(luò)9Part2十大前沿觀察AIforScience2.1基于LLM的科學(xué)研究122.1.2研究進(jìn)展跨學(xué)科知識(shí)的整合與創(chuàng)新13基于LLM的科研流程重構(gòu)13革新人機(jī)協(xié)同科研模式142.1.3挑戰(zhàn)與展望152.1.4參考文獻(xiàn)2.2垂直領(lǐng)域科學(xué)大模型172.2.1背景介紹2.2.2研究進(jìn)展18生命科學(xué)基礎(chǔ)模型18醫(yī)學(xué)基礎(chǔ)模型19氣象預(yù)測(cè)基礎(chǔ)模型21物質(zhì)科學(xué)基礎(chǔ)模型22.1分子動(dòng)力學(xué)模擬22.2物理模擬232.2.3挑戰(zhàn)與展望242.2.4參考文獻(xiàn)24232.3融入先驗(yàn)知識(shí)的AI模型272.3.1背景介紹272.3.2研究進(jìn)展28神經(jīng)符號(hào)人工智能28幾何圖神經(jīng)網(wǎng)絡(luò)29物理啟發(fā)的圖神經(jīng)網(wǎng)絡(luò)312.3.3挑戰(zhàn)與展望312.3.4參考文獻(xiàn)322.4AI科學(xué)家362.4.1背景介紹362.4.2研究進(jìn)展36AI科學(xué)家與自主科研智能體36科學(xué)家助手402.4.3挑戰(zhàn)與展望422.4.4參考文獻(xiàn)432.5復(fù)雜世界的多智能體建模452.5.1背景介紹452.5.2研究進(jìn)展46基于LLM的多智能體系統(tǒng)研究宏觀經(jīng)濟(jì)學(xué)46基于LLM的多智能體系統(tǒng)研究社會(huì)群體行為47基于多智能體系統(tǒng)的未來(lái)城市治理492.5.3挑戰(zhàn)與展望502.5.4參考文獻(xiàn)502.6AI仿真器與系統(tǒng)模擬532.6.1背景介紹532.6.2研究進(jìn)展53AIforPDE(人工智能求解偏微分方程)53因果數(shù)字孿生54AI驅(qū)動(dòng)的多尺度數(shù)字有機(jī)體建模55生物-環(huán)境閉環(huán)智能仿真系統(tǒng)57具身生成式物理模擬引擎582.6.3挑戰(zhàn)與展望582.6.4參考文獻(xiàn)59Scienceforai2.7物理世界的第一性原理622.7.1背景介紹622.7.2研究進(jìn)展63自由能原理:智能的第一性原理63泊松流模型:物理啟發(fā)的深度生成模型64范疇論:刻畫大模型的能力邊界652.7.3挑戰(zhàn)與展望652.7.4參考文獻(xiàn)6646868696968686969707072737475777778787980828386868888899093942.8.1背景介紹2.8.2研究進(jìn)展KomogorovArnoldNetworks(KAN)脈沖神經(jīng)網(wǎng)絡(luò)儲(chǔ)備池計(jì)算機(jī)械神經(jīng)網(wǎng)絡(luò)傅里葉神經(jīng)算子2.8.3挑戰(zhàn)與展望2.8.4參考文獻(xiàn)AIS基礎(chǔ)設(shè)施AIS基礎(chǔ)設(shè)施2.9.1背景介紹2.9.2研究進(jìn)展合成數(shù)據(jù)生成:從序列數(shù)據(jù)到復(fù)雜數(shù)據(jù)科學(xué)數(shù)據(jù)表示:從圖神經(jīng)網(wǎng)絡(luò)到多模態(tài)數(shù)據(jù)表征模型自我改進(jìn):通過(guò)合成數(shù)據(jù)提升AI系統(tǒng)性能數(shù)據(jù)基礎(chǔ)設(shè)施:人體蛋白質(zhì)組計(jì)劃2.9.3挑戰(zhàn)與展望2.9.4參考文獻(xiàn)2.10新型智能計(jì)算2.10.2研究進(jìn)展凡人計(jì)算光學(xué)計(jì)算量子計(jì)算2.10.3挑戰(zhàn)與展望2.10.4參考文獻(xiàn)Part3展望3.1特殊挑戰(zhàn)983.1.1ScienceforAl:AI如何與人類共享知識(shí)983.1.2AlforScience:Al如何具備實(shí)驗(yàn)思維983.2科學(xué)世界模型框架993.2.1數(shù)據(jù)驅(qū)動(dòng)模型993.2.2深思者1003.2.3AI與現(xiàn)實(shí)的交互1003.2.4人類專家與AI系統(tǒng)的對(duì)齊101PART1AIXScience6合，具體包括兩方面：將AI技術(shù)應(yīng)用于領(lǐng)域?qū)W科的新）；2024年諾貝爾物理學(xué)獎(jiǎng)授予的是將物理學(xué)用于化學(xué)獎(jiǎng)授予的是人工智能算法用于解決化學(xué)領(lǐng)域重要1.1AIforScience科學(xué)家自身的信息處理能力已經(jīng)成為了制約某些學(xué)科快速發(fā)展的瓶頸。而越來(lái)越多的科學(xué)研究領(lǐng)域在面對(duì)復(fù)雜問(wèn)題的挑戰(zhàn)時(shí)難以利用傳統(tǒng)的數(shù)學(xué)和物理方法，例如蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)、新材料的設(shè)計(jì)、復(fù)雜流體系統(tǒng)另一方面，隨著大數(shù)據(jù)時(shí)代的降臨和算力的提升，人工智能技術(shù)正飛速發(fā)展。以ChatGPT為代表LLM）是AI發(fā)展史上的重大突破，而近期推理模型異強(qiáng)大的學(xué)習(xí)能力和推理能力，甚至可以成為科研人員如何將AI先進(jìn)技術(shù)用于具體的科學(xué)領(lǐng)域，加速科學(xué)研1.1.1AIphaFoId斬獲2024年諾貝爾化學(xué)獎(jiǎng)的Baker、Hassabis和Jumper的研究工作就是將深度學(xué)習(xí)技術(shù)應(yīng)用于蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)與設(shè)計(jì)這一經(jīng)典領(lǐng)域。蛋白質(zhì)是生命的機(jī)制，還可以調(diào)控基因表達(dá)，運(yùn)輸生命必需物質(zhì)以及用于抵抗病毒、細(xì)菌入侵等重要功能。Hassabis與Jumper開(kāi)發(fā)的AlphaFold系列工作，可以精準(zhǔn)預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)，準(zhǔn)確度已經(jīng)接近專家水平，速度則遠(yuǎn)超人類。最新版本的AlphaFold則可以預(yù)測(cè)幾乎所有分子類型的蛋白質(zhì)復(fù)合物結(jié)構(gòu)。J.，Adler，J.，Dunger，J.etal.Accuratestructure3.Nature630，493–500(2024).1.1.2氣象預(yù)測(cè)大模型GraphCast：用于更快速、更準(zhǔn)確的全球天氣預(yù)報(bào)的人工智能medium-rangeglobalweatherforecast展進(jìn)行準(zhǔn)確預(yù)測(cè)，特別是防患極端天氣的到來(lái)越來(lái)越成為意義重大的科學(xué)問(wèn)題。然而，傳統(tǒng)的氣象學(xué)研究受限于數(shù)據(jù)的缺乏、人類知識(shí)和經(jīng)驗(yàn)的局限以及氣象系統(tǒng)內(nèi)在的不確定性因素等影響，無(wú)法給出較長(zhǎng)期而精準(zhǔn)的預(yù)測(cè)。因此，如何將大模型等最新的AI技術(shù)引大模型、英偉達(dá)的FourCastNet、復(fù)旦大學(xué)-上?？茖W(xué)智能研究院的伏羲氣象大模型等都取得了顯著進(jìn)展。1.1.3AI可控核聚變化石燃料相比，聚變能的使用可以顯著減少對(duì)環(huán)境的影響，有助于應(yīng)對(duì)氣候變化。核聚變反應(yīng)需要在極高溫度和壓力下進(jìn)行，因此等離子體的穩(wěn)定性是實(shí)現(xiàn)可控核聚變的關(guān)鍵。AI技術(shù)可以用于實(shí)時(shí)監(jiān)測(cè)和控制等離子體狀態(tài)，預(yù)測(cè)不穩(wěn)定性并及時(shí)調(diào)整實(shí)驗(yàn)參數(shù)，以保持等離子體的穩(wěn)定。2024年初，普林斯頓大學(xué)和普林斯頓等離子體物理實(shí)驗(yàn)室的研究人員在可控核聚變領(lǐng)域取得突破，他們發(fā)現(xiàn)了一種方法，可以利用AI預(yù)測(cè)這種潛在的不穩(wěn)定性，并且實(shí)時(shí)防止實(shí)驗(yàn)中斷。相關(guān)研究成果發(fā)表在了2024年2月份的Nature1.2ScienceforAI即使已獲重大突破，但AI技術(shù)仍然面臨數(shù)據(jù)稀通過(guò)深度強(qiáng)化學(xué)習(xí)控制聚變等離子體以避免撕裂不穩(wěn)定性的模型框架|來(lái)源：Seo，J.，Kim，S.，Jalalvand，A.etal.Avoidingfusionplasmatea78另一方面，人類科學(xué)家已經(jīng)積累了各個(gè)學(xué)科領(lǐng)域的海量知識(shí)。如何將科學(xué)家的經(jīng)驗(yàn)和知識(shí)，甚至一些不成人類專家能夠更好地互動(dòng)、協(xié)作，構(gòu)成了Science1.2.1Hop?eld網(wǎng)絡(luò)與受限Boltzmann機(jī)本次諾貝爾物理學(xué)獎(jiǎng)授予的兩名學(xué)者，Hop?eld于神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，從而大大提升了機(jī)器學(xué)習(xí)問(wèn)題Hop?eld所提出的Hop?eld網(wǎng)絡(luò)模型是在統(tǒng)計(jì)物理的ISING模型的基礎(chǔ)上改進(jìn)而得到的，它可以通過(guò)回憶起這些模式。在Hop?eld網(wǎng)絡(luò)模型的基礎(chǔ)上，大量數(shù)據(jù)的訓(xùn)練，學(xué)習(xí)數(shù)據(jù)的壓縮表征，并可以通過(guò)拼接多層的方式，獲得數(shù)據(jù)在多個(gè)尺度上的深層次表/p1.2.2視覺(jué)架構(gòu)啟發(fā)的CNN網(wǎng)絡(luò)對(duì)真實(shí)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究有助于人們提出更先進(jìn)的人工智能系統(tǒng)架構(gòu)。例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的提出就受到了生物神經(jīng)網(wǎng)絡(luò)研究的啟發(fā)，尤其是對(duì)視覺(jué)系統(tǒng)的理解。早在20世紀(jì)60年過(guò)對(duì)貓的視覺(jué)皮層進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)了視覺(jué)神經(jīng)元的不同反應(yīng)特性。他們觀察到，某些神經(jīng)元對(duì)特定方向的邊緣或圖案表現(xiàn)出強(qiáng)烈的反應(yīng)，稱為簡(jiǎn)單細(xì)胞；而另有反應(yīng)，稱為復(fù)雜細(xì)胞。這種對(duì)視覺(jué)神經(jīng)元功能的理了生物視覺(jué)系統(tǒng)中的層次結(jié)構(gòu)，通過(guò)多層網(wǎng)絡(luò)逐步提取特征。最初的卷積層相當(dāng)于簡(jiǎn)單細(xì)胞，負(fù)責(zé)檢測(cè)圖像中的基本特征，如邊緣和角落；而后續(xù)的層則類似于復(fù)雜細(xì)胞，能夠識(shí)別更高層次的特征，如形狀和物體。此外，CNN中的卷積操作和池化操作也受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)。卷積操作通過(guò)局部感受野的方式，模擬了生物神經(jīng)元對(duì)局部區(qū)域的敏感性，而池化tionwithDeepLearning9操作則通過(guò)下采樣減少特征圖的維度，增強(qiáng)了模型對(duì)位置變化的魯棒性。這種設(shè)計(jì)不僅提高了計(jì)算效率，1.2.3等變神經(jīng)網(wǎng)絡(luò)在分子建模、蛋白質(zhì)預(yù)測(cè)、計(jì)算機(jī)視覺(jué)和機(jī)器人等領(lǐng)域中，很多數(shù)據(jù)都具備幾何空間上的對(duì)稱性，如一組點(diǎn)云在旋轉(zhuǎn)、平移或縮放變換下會(huì)保持一定的不變性。如果用普通的神經(jīng)網(wǎng)絡(luò)技術(shù)處理數(shù)據(jù)就很難捕獲到這種幾何對(duì)稱性。于是，人們提出了等變神經(jīng)網(wǎng)術(shù)，可以將幾何上的對(duì)稱性作為一個(gè)先驗(yàn)偏置編碼進(jìn)神經(jīng)網(wǎng)絡(luò)的架構(gòu)中，使得網(wǎng)絡(luò)在輸入經(jīng)過(guò)某種變換時(shí)，輸出能夠以相應(yīng)的方式變化，從而保持對(duì)稱性和不變性。等變神經(jīng)網(wǎng)絡(luò)在建模分子結(jié)構(gòu)、模擬多體物理系統(tǒng)、計(jì)算機(jī)視覺(jué)、機(jī)器人等領(lǐng)域具有廣泛的應(yīng)用場(chǎng)景，是將幾何學(xué)、群論和剛體運(yùn)動(dòng)等數(shù)學(xué)、物理學(xué)盡管剛剛起步，人工智能和科學(xué)研究的深度融合融入自己的研究，同時(shí)科學(xué)領(lǐng)域的研究者也在關(guān)注人工智能發(fā)展，力求理解其工作原理，以期實(shí)現(xiàn)更好的改進(jìn)。為了梳理這一快速發(fā)展的全新領(lǐng)域，上海科學(xué)智能研究院、集智科學(xué)研究中心和阿里云共同發(fā)起了提煉這一新興領(lǐng)域的最新發(fā)展動(dòng)態(tài)。在與上?？茖W(xué)智能研究院、復(fù)旦大學(xué)和大量集智俱樂(lè)部社區(qū)中的從事前沿研究的學(xué)者深度訪談基礎(chǔ)三個(gè)維度包括：AIforScience、LLM的科學(xué)研究、垂直領(lǐng)域科學(xué)大模型、融入先驗(yàn)沿方向則覆蓋了物理世界的第一性原理和科學(xué)啟發(fā)的AI新架構(gòu)；基礎(chǔ)設(shè)施前沿方向包括合成數(shù)據(jù)和數(shù)據(jù)基礎(chǔ)設(shè)施、新型智能計(jì)算。在十個(gè)具體方向上，我們梳理出共計(jì)35個(gè)研究前沿。需要指出的是：這十個(gè)方向的具體研究案例未必都是共識(shí)的權(quán)威成果，但在科學(xué)問(wèn)題設(shè)定、方法論建構(gòu)、精度和效率的提升等方面，這些研究不僅效果顯著，且令人耳目一新。展望2024年11月發(fā)布的研究報(bào)告所預(yù)見(jiàn)，一個(gè)科學(xué)發(fā)現(xiàn)PART2AIXScienceAIforScience2.1基于LLM的科學(xué)研究近年來(lái)，大語(yǔ)言模型(LargeLangLLMs)正在深刻影響科學(xué)研究的方式。正如Nature從本質(zhì)上看，LLM之所以能帶來(lái)深遠(yuǎn)影響，在于它提供了一個(gè)統(tǒng)一的符號(hào)系統(tǒng)來(lái)重構(gòu)科研活動(dòng)的不同維度。具體而言，這種重構(gòu)體現(xiàn)在三個(gè)深層次的維第一個(gè)層次是知識(shí)重構(gòu)維度。傳統(tǒng)的科學(xué)知識(shí)是分散在各個(gè)專業(yè)領(lǐng)域的，不同學(xué)科之間存在著“知識(shí)框架，正在打破這些壁壘。例如，Galactica[2]通過(guò)整合海量科學(xué)文獻(xiàn)，重新定義了科學(xué)知識(shí)的組織方突破。這些工作為科學(xué)發(fā)現(xiàn)提供了新的認(rèn)知基礎(chǔ)，使第二個(gè)層次是過(guò)程抽象維度。科研過(guò)程傳統(tǒng)上高度依賴研究者的專業(yè)經(jīng)驗(yàn)和直覺(jué)判斷，這種經(jīng)驗(yàn)難以形式化和傳承。LLM通過(guò)將科研流程抽象為可計(jì)算的任務(wù)序列，實(shí)現(xiàn)了科研活動(dòng)的形式化和自動(dòng)化。在化學(xué)領(lǐng)域，ChemCrow[4]展示了復(fù)雜實(shí)驗(yàn)流程的自動(dòng)化執(zhí)行，在生物領(lǐng)域，BioMedLM[5]展示了在生物醫(yī)學(xué)任務(wù)中的多任務(wù)學(xué)習(xí)能力。這些工作不僅提高了研究效率，更重要的是為科研方法的系統(tǒng)化和標(biāo)準(zhǔn)第三個(gè)層次是界面創(chuàng)新維度，體現(xiàn)為用自然語(yǔ)言重構(gòu)人機(jī)物理系統(tǒng)的交互方式。傳統(tǒng)上，科研人員需要掌握復(fù)雜的專業(yè)操作界面來(lái)使用科研設(shè)備，這種非自然的交互方式不僅限制了研究效率，也阻礙了創(chuàng)新思維的發(fā)揮。VISION[7]通過(guò)模塊化架構(gòu)實(shí)現(xiàn)了科研設(shè)備的自然語(yǔ)言控制，Med-PaLM[8]在醫(yī)學(xué)圖像分析中實(shí)現(xiàn)了直觀的人機(jī)對(duì)話，這些創(chuàng)新不僅降低了使用專業(yè)設(shè)備的門檻，更重要的是實(shí)現(xiàn)了人與設(shè)備之間這三個(gè)維度的變革是遞進(jìn)和互補(bǔ)的：知識(shí)重構(gòu)提供了認(rèn)知基礎(chǔ)，過(guò)程抽象實(shí)現(xiàn)了方法創(chuàng)新，界面創(chuàng)新則打通了實(shí)踐環(huán)節(jié)。這種多維度的系統(tǒng)性變革也帶來(lái)度上推動(dòng)科學(xué)研究的進(jìn)步。本報(bào)告將重點(diǎn)分析幾個(gè)代表性工作，展示當(dāng)前在應(yīng)對(duì)這些挑戰(zhàn)方面的最新進(jìn)2.1.2研究進(jìn)展跨學(xué)科知識(shí)的整合與創(chuàng)新推薦理由：Galactica[2]是首個(gè)專門面向科學(xué)文獻(xiàn)訓(xùn)練的大規(guī)模語(yǔ)言模型，通過(guò)整合4800萬(wàn)篇科研論文、教材和知識(shí)庫(kù)的內(nèi)容，加上獨(dú)特的訓(xùn)練策略和模型設(shè)計(jì)展現(xiàn)了LLM在科學(xué)知識(shí)綜合理解與應(yīng)用方跨學(xué)科知識(shí)的整合與創(chuàng)新成為推動(dòng)科學(xué)進(jìn)步的關(guān)鍵動(dòng)力，然而，面對(duì)指數(shù)級(jí)增長(zhǎng)的科研文獻(xiàn)，研究人員往往難以全面把握不同領(lǐng)域的知識(shí)脈絡(luò)。能否構(gòu)建Galactica是一個(gè)非常重要的嘗試，Galactica通過(guò)創(chuàng)新的數(shù)據(jù)處理和訓(xùn)練策略，開(kāi)創(chuàng)了專業(yè)領(lǐng)域大模型的新范式。它的核心突破在于提出了“高質(zhì)量數(shù)科研文獻(xiàn)進(jìn)行4.25輪深度訓(xùn)練，驗(yàn)證了這一方法優(yōu)多模態(tài)數(shù)據(jù)（如數(shù)學(xué)公式、化學(xué)結(jié)構(gòu)、蛋白質(zhì)序列并創(chuàng)新性地引入referencetoken和wo設(shè)計(jì)讓Galactica在多個(gè)科學(xué)任務(wù)上取得了突破性進(jìn)展：LaTeX公式理解準(zhǔn)確率達(dá)68.2%（超GPT-3近20個(gè)百分點(diǎn)），數(shù)學(xué)推理準(zhǔn)確率達(dá)41.3%（超Chinchilla5.6個(gè)百分點(diǎn)），醫(yī)學(xué)問(wèn)答準(zhǔn)確率創(chuàng)下Galactica在實(shí)現(xiàn)科學(xué)知識(shí)的系統(tǒng)性整合的同時(shí)，是文本生成中的幻覺(jué)（hallucination），經(jīng)過(guò)三天盡管如此，Galactica通過(guò)將領(lǐng)域知識(shí)系統(tǒng)性地注入預(yù)訓(xùn)練過(guò)程，為構(gòu)建專業(yè)領(lǐng)域大模型提供了重要范式，其影響已超越科學(xué)領(lǐng)域，為其他垂直領(lǐng)域大模型的發(fā)展提供了有益借鑒，其中來(lái)自上海交通大學(xué)的團(tuán)隊(duì)，將這一頗具潛力的模型引入到了地球科學(xué)領(lǐng)域，完成了300億參數(shù)的地學(xué)大語(yǔ)言模型GeoGalacGalactica的產(chǎn)品頁(yè)面|來(lái)源：Galactica的官網(wǎng)（現(xiàn)已下基于LLM的科研流程重構(gòu)推薦理由：科學(xué)研究的過(guò)程抽象是一個(gè)根本性挑戰(zhàn)，它涉及如何將復(fù)雜的研究活動(dòng)分解為可計(jì)算、可執(zhí)行的任務(wù)序列。ChemCrow[4]通過(guò)創(chuàng)新性地將科學(xué)研究過(guò)程的形式化和自動(dòng)化一直是一個(gè)重要而困難的課題。傳統(tǒng)上，科研活動(dòng)高度依賴研究者的許多寶貴的研究經(jīng)驗(yàn)難以傳承和推廣。如何將專家的經(jīng)驗(yàn)和判斷轉(zhuǎn)化為明確的操作流程，如何確保復(fù)雜實(shí)驗(yàn)過(guò)程的可重復(fù)性，如何在保持靈活性的同時(shí)實(shí)現(xiàn)高ChemCrow為解決這些普遍性問(wèn)題提供了一個(gè)創(chuàng)新的范式。其核心思想是構(gòu)建一個(gè)“思考-行動(dòng)-觀業(yè)工具有機(jī)整合。具體而言，該系統(tǒng)包含三個(gè)關(guān)鍵創(chuàng)新：首先，它建立了一個(gè)基于自然語(yǔ)言的任務(wù)規(guī)劃框架，能將復(fù)雜的研究目標(biāo)分解為具體的操作步驟；其次，它設(shè)計(jì)了一套工具調(diào)用機(jī)制，使LLM能根據(jù)需要精確調(diào)用相應(yīng)的專業(yè)工具；最后，它實(shí)現(xiàn)了一個(gè)動(dòng)ChemCrow的成功意義遠(yuǎn)超化學(xué)領(lǐng)域。首先，它證明了將復(fù)雜的科研過(guò)程形式化是可行的，這為其他領(lǐng)域的過(guò)程自動(dòng)化提供了重要參考。其次，它展示了如何在保持系統(tǒng)靈活性的同時(shí)確保研究的可靠性和可重復(fù)性。最重要的是，它提供了一個(gè)可推廣的框架，這個(gè)框架可以根據(jù)不同學(xué)科的特點(diǎn)進(jìn)行調(diào)整和擴(kuò)重要轉(zhuǎn)變，預(yù)示著一個(gè)更加自動(dòng)化、規(guī)范化的科研新革新人機(jī)協(xié)同科研模式推薦理由：VISION[7]開(kāi)創(chuàng)性地將模塊化AI架構(gòu)引入科學(xué)實(shí)驗(yàn)，通過(guò)將不同的認(rèn)知模塊有機(jī)整合，實(shí)現(xiàn)了首個(gè)全面的自然語(yǔ)言實(shí)驗(yàn)控制系統(tǒng)。它為人機(jī)協(xié)科學(xué)實(shí)驗(yàn)設(shè)備的操作一直是一個(gè)專業(yè)性很強(qiáng)的領(lǐng)域,傳統(tǒng)上需要研究人員掌握復(fù)雜的專業(yè)操作界面和ChemCrow任務(wù)解決過(guò)程概述|來(lái)源：M.Bran,A.,命令。這不僅給研究人員帶來(lái)很大的學(xué)習(xí)負(fù)擔(dān)，也成為科研自動(dòng)化的重要障礙。如何讓科學(xué)家能夠用自然人員的意圖，這是一個(gè)具有重要意義但又充滿挑戰(zhàn)的化AI架構(gòu)。系統(tǒng)由多個(gè)功能模塊（CognitiveBlocks）組成,每個(gè)模塊都基于一個(gè)針對(duì)特定任務(wù)優(yōu)化的大語(yǔ)言模型。這些模塊協(xié)同工作,共同完成從語(yǔ)具體來(lái)說(shuō),系統(tǒng)包含轉(zhuǎn)錄器（Transcriber）、分類器（Classi?er）、操作員（Operator）和分析師?ow)的形式進(jìn)行組織和調(diào)度。當(dāng)用戶發(fā)出一個(gè)請(qǐng)求時(shí)，系統(tǒng)首先判斷其屬于數(shù)據(jù)采集、分析還是其他類型，然后調(diào)用相應(yīng)的工作流處理。最后，系統(tǒng)將生成提交給底層的實(shí)驗(yàn)控制平臺(tái)執(zhí)行。整個(gè)過(guò)程中，用戶通過(guò)自然語(yǔ)言與系統(tǒng)交互，無(wú)需了解復(fù)雜的技術(shù)細(xì)VISION的意義在于它開(kāi)創(chuàng)了一種全新的人機(jī)交互范式。通過(guò)模塊化的架構(gòu)設(shè)計(jì)，它充分利用了大語(yǔ)言模型在不同任務(wù)上的特長(zhǎng)，實(shí)現(xiàn)了全面的語(yǔ)言理解和任務(wù)執(zhí)行能力。同時(shí)，它將前沿的AI技術(shù)與傳統(tǒng)的科研工作流程巧妙結(jié)合，極大地提高了實(shí)驗(yàn)效率和合理但實(shí)際上不準(zhǔn)確的內(nèi)容，這在科學(xué)研究中尤其危AmodularAIassistantfornaturalhuman-instrumentinteractionatscienti?cuserfacilities.arXiv發(fā)現(xiàn)可能存在本質(zhì)差異；可重復(fù)性與可解釋性的矛盾，科學(xué)研究要求結(jié)果可重復(fù)、過(guò)程可追溯，但面向未來(lái)，大語(yǔ)言模型驅(qū)動(dòng)的科研創(chuàng)新亟需在以的科學(xué)研究不僅提供了新的研究工具，更重要的是開(kāi)創(chuàng)了一種新的認(rèn)知范式。這種范式將人類的創(chuàng)造力與AI的能力有機(jī)結(jié)合，有望加速科學(xué)發(fā)現(xiàn)的進(jìn)程。隨著技術(shù)的進(jìn)步和應(yīng)用的深入，這種新范式可能會(huì)重塑我2.1.4參考文獻(xiàn)家撰寫，全面討論了LLM在科學(xué)研究中的潛力和風(fēng)險(xiǎn)。文章不僅提供推薦理由:這是首個(gè)專門面向科學(xué)文獻(xiàn)訓(xùn)練的大規(guī)模語(yǔ)言模型的技術(shù)報(bào)告，詳細(xì)描述了模型架構(gòu)、訓(xùn)練策略和評(píng)估結(jié)果。雖然模型模型，展示了領(lǐng)域特定LLM的潛力，為其他垂直領(lǐng)域的模型開(kāi)發(fā)提供如何將LLM與專業(yè)工具結(jié)合，實(shí)現(xiàn)科研流程的自動(dòng)化。文章提供了詳細(xì)描述了模型訓(xùn)練過(guò)程和多任務(wù)學(xué)習(xí)能力，為生物醫(yī)學(xué)領(lǐng)域的AI應(yīng)用示了如何通過(guò)自然語(yǔ)言實(shí)現(xiàn)科研設(shè)備控制，為提高實(shí)驗(yàn)效率提供了新特別是在醫(yī)學(xué)知識(shí)理解和圖像分析方面的突破，為醫(yī)學(xué)AI的發(fā)展提供學(xué)領(lǐng)域，展示了專業(yè)領(lǐng)域大模型的發(fā)展?jié)摿?，為其他學(xué)科的模型開(kāi)發(fā)2.2垂直領(lǐng)域科學(xué)大模型2.2.1背景介紹性進(jìn)展。這類模型通過(guò)大規(guī)模預(yù)訓(xùn)練獲得了強(qiáng)大的表示學(xué)習(xí)能力和良好的遷移能力，為人工智能的發(fā)展開(kāi)辟了新方向。然而，在專業(yè)科學(xué)領(lǐng)域的應(yīng)用中，研究者們發(fā)現(xiàn)通用基礎(chǔ)模型往往難以直接應(yīng)用于特定科學(xué)問(wèn)題的解決。這主要源于科學(xué)研究對(duì)專業(yè)知識(shí)深度整合的需求、數(shù)據(jù)特點(diǎn)的差異性以及任務(wù)特征的特殊在科學(xué)研究領(lǐng)域，模型不僅需要具備強(qiáng)大的學(xué)習(xí)能力，更需要嚴(yán)格遵循物理規(guī)律，保持結(jié)果的可解釋性，并確保預(yù)測(cè)的物理合理性。例如，在分子設(shè)計(jì)中，模型需要確保預(yù)測(cè)結(jié)構(gòu)滿足化學(xué)鍵角和鍵長(zhǎng)的約束；在材料研究中，需要考慮晶體結(jié)構(gòu)的周期性和對(duì)稱性。這些特殊需求推動(dòng)了針對(duì)單一領(lǐng)域的基礎(chǔ)模型研究。以AlphaFold3[2]為代將基礎(chǔ)模型思想與領(lǐng)域?qū)I(yè)知識(shí)深度融合的巨大潛度整合了領(lǐng)域特定知識(shí)，包括物理規(guī)律、專業(yè)知識(shí)和領(lǐng)域約束。與通用基礎(chǔ)模型相比，領(lǐng)域基礎(chǔ)模型在數(shù)據(jù)特點(diǎn)、任務(wù)特征和應(yīng)用場(chǎng)景等方面都呈現(xiàn)出顯著的從發(fā)展歷程來(lái)看，領(lǐng)域基礎(chǔ)模型的演進(jìn)大致可分為三個(gè)階段。在早期探索階段(2017-2019)，研究主了幾個(gè)具有里程碑意義的突破，其中最具代表性的是進(jìn)入成熟應(yīng)用階段（2022-2023），我們看到了更多創(chuàng)新性的工作，如在物質(zhì)科學(xué)領(lǐng)域中針對(duì)分子動(dòng)力學(xué)模擬的GPTFF（Graph-basedPre-trainedTransformerForceField）[6]，以及UniversalPhysicsTransformer(UPT神經(jīng)算子的統(tǒng)一框架；還有生命科學(xué)領(lǐng)域的在scFoundation[8]和GMAI[9]和地球氣候系統(tǒng)領(lǐng)域這種發(fā)展過(guò)程始終都是圍繞著核心關(guān)鍵的問(wèn)題：能否將基礎(chǔ)模型的理念推廣到更廣泛的科學(xué)研究領(lǐng)域？特別是，能否構(gòu)建一個(gè)統(tǒng)一的科學(xué)基礎(chǔ)模型，來(lái)1.如何處理跨模態(tài)、跨尺度、跨領(lǐng)域的科學(xué)數(shù)2.如何將這些基本科學(xué)規(guī)律融入模型設(shè)計(jì)，使模3.如何設(shè)計(jì)模型架構(gòu)，使其能夠捕捉并利用這些雖然目前還沒(méi)有出現(xiàn)統(tǒng)一的科學(xué)基礎(chǔ)模型，但是物質(zhì)科學(xué)、生命科學(xué)、氣象預(yù)測(cè)等各個(gè)領(lǐng)域已經(jīng)涌現(xiàn)出一些創(chuàng)新性的工作，出現(xiàn)了大量的單一領(lǐng)域科學(xué)基礎(chǔ)模型，解決領(lǐng)域問(wèn)題。以下我們將重點(diǎn)介紹三個(gè)最2.2.2研究進(jìn)展生命科學(xué)基礎(chǔ)模型推薦理由：scFoundation[8]代表了生命科學(xué)領(lǐng)域基礎(chǔ)模型的重要突破。它實(shí)現(xiàn)對(duì)復(fù)雜生命系統(tǒng)的建模，不僅在技術(shù)上創(chuàng)新性地解決了單細(xì)胞測(cè)序數(shù)據(jù)的特殊挑戰(zhàn)，更為生命科學(xué)的智能化分析開(kāi)辟了新范得了前所未有的機(jī)會(huì)來(lái)觀察和理解細(xì)胞內(nèi)的基因表達(dá)模式。然而，如何從海量、異質(zhì)、存在技術(shù)噪聲的單細(xì)胞數(shù)據(jù)中學(xué)習(xí)到有意義的生物學(xué)知識(shí)，一直是該領(lǐng)域的核心挑戰(zhàn)。傳統(tǒng)的計(jì)算方法往往只能處理部分基因，或者需要針對(duì)特定任務(wù)單獨(dú)構(gòu)建模型，缺乏統(tǒng)一繼2023年Geneformer[14]首次驗(yàn)證基因表達(dá)數(shù)的基礎(chǔ)上，scFoundation[8]通過(guò)獨(dú)特的技術(shù)方案實(shí)現(xiàn)了對(duì)復(fù)雜生命系統(tǒng)的統(tǒng)一建模，標(biāo)志著生命科學(xué)正scFoundation通過(guò)創(chuàng)新的模型架構(gòu)設(shè)計(jì)和預(yù)在超過(guò)5000萬(wàn)個(gè)人類單細(xì)胞轉(zhuǎn)錄組數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。其核心創(chuàng)新在于：首先，設(shè)計(jì)了一個(gè)非對(duì)稱的transformer架構(gòu)(xTrimoGene)，通過(guò)將編碼器限制在非零表達(dá)基因上處理，而解碼器則覆蓋全基因組范圍，巧妙解決了數(shù)據(jù)稀疏性帶來(lái)的計(jì)算挑戰(zhàn)；其僅可以捕獲基因間的復(fù)雜共表達(dá)關(guān)系，還能自動(dòng)處理不同測(cè)序深度帶來(lái)的技術(shù)噪聲，實(shí)現(xiàn)了對(duì)細(xì)胞轉(zhuǎn)錄組在多個(gè)下游任務(wù)的實(shí)驗(yàn)中，scFoundation展現(xiàn)出了卓越的性能。在基因表達(dá)增強(qiáng)任務(wù)上，相比傳統(tǒng)方法將平均絕對(duì)誤差降低了一半；在藥物響應(yīng)預(yù)測(cè)中，無(wú)需針對(duì)性微調(diào)就達(dá)到了最先進(jìn)的預(yù)測(cè)準(zhǔn)確在細(xì)胞擾動(dòng)預(yù)測(cè)任務(wù)中，模型能夠準(zhǔn)確預(yù)測(cè)基因敲除后的表達(dá)變化。特別值得注意的是，scFoundation通過(guò)預(yù)訓(xùn)練獲得的細(xì)胞嵌入向量和基因上下文嵌入向量，展現(xiàn)出了優(yōu)異的生物學(xué)意義，可以用于細(xì)胞類型通過(guò)大規(guī)模預(yù)訓(xùn)練，scFoundation學(xué)習(xí)到了普遍的生物學(xué)知識(shí)，可以遷移到各種下游任務(wù)中。這種方法避免了傳統(tǒng)方法需要針對(duì)每個(gè)任務(wù)重新訓(xùn)練模型的低效率，為生命科學(xué)研究提供了一個(gè)統(tǒng)一的計(jì)算基scFoundation預(yù)訓(xùn)練框架概覽|來(lái)源：Hao,M.,Gong,J.,Zeng,X.etal此外，蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)在理解蛋白質(zhì)的結(jié)構(gòu)-功能關(guān)系、推動(dòng)生物學(xué)研究以及促進(jìn)制藥開(kāi)發(fā)和實(shí)驗(yàn)設(shè)計(jì)等方面具有關(guān)鍵意義。盡管日益成熟的深度學(xué)習(xí)技術(shù)以及豐富的實(shí)驗(yàn)三維蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)在很大程度上加速了結(jié)構(gòu)預(yù)測(cè)的發(fā)展，但蛋白質(zhì)的結(jié)構(gòu)動(dòng)力學(xué)特性尚未得到充分關(guān)注。然而，蛋白質(zhì)在功能過(guò)程中的構(gòu)象變化對(duì)于精準(zhǔn)藥物設(shè)計(jì)至關(guān)重要：通過(guò)納入動(dòng)態(tài)變化的因素，能夠顯著優(yōu)化藥物與蛋白質(zhì)的結(jié)合效率，從而提高靶向治療的有效性?；诖耍墨I(xiàn)[16]提出學(xué)（MD）模擬數(shù)據(jù)，旨在學(xué)習(xí)并模擬蛋白質(zhì)的動(dòng)態(tài)運(yùn)動(dòng)過(guò)程的生成，為蛋白質(zhì)結(jié)構(gòu)動(dòng)力學(xué)在藥物設(shè)計(jì)等醫(yī)學(xué)基礎(chǔ)模型表了醫(yī)療AI領(lǐng)域的范式轉(zhuǎn)變，從傳統(tǒng)的任務(wù)特定模型轉(zhuǎn)向了更加通用和靈活的基礎(chǔ)模型方法。這項(xiàng)發(fā)表和異質(zhì)性、預(yù)測(cè)任務(wù)的復(fù)雜性、以及領(lǐng)域知識(shí)的整合方式，不僅需要大量標(biāo)注數(shù)據(jù)，而且難以利用最新的20試上的表現(xiàn)，都展示了基礎(chǔ)模型在醫(yī)療領(lǐng)域的潛力，醫(yī)療數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，同時(shí)融入了結(jié)構(gòu)化的醫(yī)學(xué)知因組學(xué)和轉(zhuǎn)錄組學(xué)）等等許多不同類型的數(shù)據(jù)，以及能夠攝取醫(yī)學(xué)領(lǐng)域的知識(shí)方面的出版物、教科書、臨床節(jié)點(diǎn)的知識(shí)圖譜，還具有零樣本學(xué)習(xí)能力，根據(jù)幾這樣做的好處是通過(guò)自由地組合和交錯(cuò)不同的數(shù)據(jù)模態(tài)，能夠?qū)崿F(xiàn)動(dòng)態(tài)任務(wù)規(guī)范（dynamictaskspeci?cation），即根據(jù)這些指令即時(shí)解決任務(wù)。因此基本上是零樣本或少樣本的上下文類型學(xué)習(xí)。這些域知識(shí)進(jìn)行推理。例如，當(dāng)遇到一個(gè)復(fù)雜的病模型會(huì)首先分析各項(xiàng)檢查結(jié)果，然后檢索相關(guān)的醫(yī)學(xué)文獻(xiàn)和指南，最后通過(guò)邏輯推理給出診斷和治療建模態(tài)醫(yī)療診斷能力；RA-CM3[20]通過(guò)改進(jìn)檢索機(jī)的臨床輔助系統(tǒng)已經(jīng)在多家醫(yī)院開(kāi)展試點(diǎn)應(yīng)用，顯示這些領(lǐng)域也有很多挑戰(zhàn)，包括驗(yàn)證（valida-tion）、確認(rèn)（veri?cation）、社會(huì)偏見(jiàn)（socialbiases）以及非常重要的患者隱私問(wèn)題。即便如此，這項(xiàng)工作的意義遠(yuǎn)超技術(shù)創(chuàng)新，它開(kāi)啟了醫(yī)療AI的新紀(jì)元，也為其他領(lǐng)域基礎(chǔ)模型的發(fā)展提供了新的思ZahraShakeriHosseinAbad，etal.Foundationmodelsforgeneralistmedicalarti?cialintelligence.nature，2023，616(7956):氣象預(yù)測(cè)基礎(chǔ)模型推薦理由：氣象預(yù)測(cè)是最快能夠在現(xiàn)實(shí)生活應(yīng)用并對(duì)生產(chǎn)生活產(chǎn)生巨大影響的領(lǐng)域之一，氣礎(chǔ)模型在預(yù)測(cè)精度和效率上都實(shí)現(xiàn)了突破性進(jìn)展，為如何對(duì)未來(lái)天氣發(fā)展進(jìn)行準(zhǔn)確預(yù)測(cè)，特別是預(yù)測(cè)極端天氣，成為越來(lái)越成為意義重大的科學(xué)問(wèn)題。然而，傳統(tǒng)的氣象學(xué)研究受限于數(shù)據(jù)的缺乏、人類知識(shí)和經(jīng)驗(yàn)的局限以及氣象系統(tǒng)內(nèi)在的不確定性因素等影近年來(lái)，若干氣象預(yù)測(cè)大模型被陸續(xù)開(kāi)發(fā)出來(lái)，型[10]、英偉達(dá)的FourCastNet[22]、上?？茖W(xué)智能研究院和復(fù)旦大學(xué)的伏羲大模型等[11]都取得了顯全球首個(gè)基于人工智能的次季節(jié)氣候預(yù)測(cè)大模型標(biāo)桿——?dú)W洲中期天氣預(yù)報(bào)中心（ECMWF）的S2S模式。該模型涵蓋了13個(gè)氣壓層的5個(gè)高空大氣變量和11個(gè)地面變量，實(shí)現(xiàn)了兩個(gè)關(guān)鍵性技術(shù)突破：一是將熱帶大氣季節(jié)內(nèi)振蕩(MJO)這一次季節(jié)最重要的可預(yù)報(bào)性來(lái)源納入模型；二是創(chuàng)新性地設(shè)計(jì)了智能擾動(dòng)生成模塊，能夠在隱空間中刻畫氣候系統(tǒng)演變的概率特征。這些創(chuàng)新使得模型在多個(gè)關(guān)鍵指標(biāo)上超越了ECMWFS2S系統(tǒng)，特別是將MJO的有效預(yù)報(bào)期從30天延長(zhǎng)到36天。全球日平均預(yù)報(bào)，并在2023年成功預(yù)測(cè)了印度尼西亞特大暴雨事件，提前20天發(fā)出預(yù)警，為防災(zāi)減災(zāi)贏得了寶貴時(shí)間。并且在2024年11月，復(fù)旦大學(xué)和上?？茖W(xué)智能研究院也率先發(fā)布了PI@Climate模型[23]，該模型已經(jīng)實(shí)現(xiàn)了跨越46個(gè)學(xué)科的知識(shí)整FuXi-S2S模型的結(jié)構(gòu)示意圖|Chen，L.，Zhong，X.，Zhang，F(xiàn).eforecastingsystemfor15-dayglobalweatherf22合，通過(guò)多智能體建模提升了對(duì)復(fù)雜氣候系統(tǒng)的認(rèn)知物質(zhì)科學(xué)基礎(chǔ)模型.1分子動(dòng)力學(xué)模擬推薦理由：分子動(dòng)力學(xué)模擬是材料科學(xué)研究的基基于深度學(xué)習(xí)的新型力場(chǎng)模型為這一難題提供了突破分子動(dòng)力學(xué)模擬是研究材料微觀行為的重要方法，但其準(zhǔn)確性很大程度上依賴于所使用的力場(chǎng)模型。傳統(tǒng)的解析力場(chǎng)函數(shù)形式較為簡(jiǎn)單，難以準(zhǔn)確描雖然準(zhǔn)確但計(jì)算成本過(guò)高，這使得大規(guī)模原子針對(duì)這些問(wèn)題，GPTFF（Graph-based的通用人工智能力場(chǎng)模型被提出，該模型采用圖神經(jīng)網(wǎng)絡(luò)來(lái)表征晶體結(jié)構(gòu)，并引入transformer架構(gòu)來(lái)提升模型的學(xué)習(xí)能力。GPTFF模型的訓(xùn)練數(shù)據(jù)源自該數(shù)據(jù)庫(kù)包含近35萬(wàn)個(gè)無(wú)機(jī)材料數(shù)據(jù)，數(shù)據(jù)規(guī)模和質(zhì)量位于世界頂級(jí)水準(zhǔn)，知識(shí)產(chǎn)權(quán)自主可控，也是我國(guó)唯一可對(duì)標(biāo)歐美競(jìng)品的無(wú)機(jī)材料數(shù)據(jù)庫(kù)。通過(guò)利用包含3780萬(wàn)個(gè)單點(diǎn)能量、117億個(gè)原子力和3.402億個(gè)應(yīng)力張量的大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練，GPTFF在能量、力和應(yīng)力預(yù)測(cè)方面都達(dá)到了極高的精度，分別實(shí)現(xiàn)了32meV/atom、71meV/?和0.365GPa的force?eldforarbitraryinorganicmaterials，ScienceBulleti23深度勢(shì)能模型實(shí)現(xiàn)了對(duì)復(fù)雜體系的準(zhǔn)確描述，已成功應(yīng)用于二維材料的相變預(yù)測(cè)；PaiNN則創(chuàng)新性地引入等變性保持機(jī)制，在分子動(dòng)力學(xué)模擬中展現(xiàn)出優(yōu)異的穩(wěn)定性；Uni-Mol+創(chuàng)新性地提出了基于雙軌道象來(lái)逼近DFT平衡構(gòu)象，并在此基礎(chǔ)上實(shí)現(xiàn)量子化.2物理模擬推薦理由：物理模擬是科學(xué)研究和工程應(yīng)用的重要工具，但長(zhǎng)期面臨著不同物理系統(tǒng)需要不同建模方法的挑戰(zhàn)。UniversalPhysicsTransforme[7]通過(guò)創(chuàng)新的架構(gòu)設(shè)計(jì)，首次實(shí)現(xiàn)了對(duì)不同類型物理系統(tǒng)的統(tǒng)一處理，為發(fā)展統(tǒng)一的物理模擬基礎(chǔ)模型提供了重要范式，有望推動(dòng)物質(zhì)科學(xué)研究方法的革物理模擬對(duì)推動(dòng)材料科學(xué)研究至關(guān)重要，但長(zhǎng)期往往需要不同的模型和算法，這不僅增加了研究成本，也限制了模擬技術(shù)的廣泛應(yīng)用。例如，流體動(dòng)力學(xué)模擬中常需在拉格朗日方法與歐拉方法間權(quán)衡，網(wǎng)格模型與粒子模型也各有優(yōu)劣。這種方法的碎片化不僅增加了模型開(kāi)發(fā)和維護(hù)的成本，也限制了物理模擬新性地采用無(wú)網(wǎng)格/無(wú)粒子的潛在表示，通過(guò)分層靈活處理不同類型的輸入并壓縮到統(tǒng)一的潛在空間，近似器在潛在空間中進(jìn)行動(dòng)力學(xué)傳播，解碼器則支持多個(gè)具有挑戰(zhàn)性的任務(wù)上，如網(wǎng)格流體模擬、Reyn-等，UPT都展現(xiàn)出優(yōu)異的性能，同時(shí)保持了良好的ter，"UniversalPhysicsTransformers:AFrameworkForEf?cientlyScalingNeuralOp24UPT的工作為構(gòu)建通用的物理模擬基礎(chǔ)模型提供了重要范式。它不僅展示了如何通過(guò)巧妙的架構(gòu)設(shè)計(jì)實(shí)現(xiàn)不同物理系統(tǒng)的統(tǒng)一表示和處理，還為提升模型可擴(kuò)展性提供了新思路。這對(duì)于發(fā)展更通用、更高2.2.3挑戰(zhàn)與展望用潛力，同時(shí)也在朝著構(gòu)建統(tǒng)一科學(xué)基礎(chǔ)模型的宏偉目標(biāo)邁進(jìn)。這一進(jìn)程面臨著異構(gòu)數(shù)據(jù)融合、物理規(guī)律約束和可解釋性等重要挑戰(zhàn)，但近期的突破性進(jìn)展展在氣候科學(xué)領(lǐng)域，由復(fù)旦大學(xué)等機(jī)構(gòu)聯(lián)合開(kāi)發(fā)的PI@Climate模型[23]已經(jīng)實(shí)現(xiàn)了跨越46個(gè)學(xué)科的知識(shí)整合，通過(guò)多智能體建模提升了對(duì)復(fù)雜氣候系統(tǒng)的示了從微觀到宏觀的突破：女媧基因?qū)Ш酱竽Ｐ屯ㄟ^(guò)生命流體大模型實(shí)現(xiàn)了人體內(nèi)流體動(dòng)力學(xué)的精確模擬，而女媧生物結(jié)構(gòu)大模型則在蛋白質(zhì)動(dòng)態(tài)結(jié)構(gòu)預(yù)測(cè)型[23]，學(xué)習(xí)能量、力、結(jié)構(gòu)等量子力學(xué)產(chǎn)生的性質(zhì)，以及還結(jié)構(gòu)分布、熵、焓、自由能的變化，將類似分子動(dòng)力學(xué)模擬的過(guò)程融入大模型，快速預(yù)測(cè)物質(zhì)功案例證明，將基礎(chǔ)模型理念與領(lǐng)域?qū)I(yè)知識(shí)深度融來(lái)見(jiàn)證一個(gè)統(tǒng)一方法論的科學(xué)基礎(chǔ)模型的誕生。這個(gè)模型將不再局限于單一學(xué)科，而是能夠理解和運(yùn)用物理、化學(xué)、生物等多個(gè)領(lǐng)域的基本規(guī)律，實(shí)現(xiàn)跨學(xué)科的知識(shí)推理和創(chuàng)新發(fā)現(xiàn)。它將成為科學(xué)家的“數(shù)字智囊”，不僅能預(yù)測(cè)復(fù)雜系統(tǒng)的行為，更能主動(dòng)提出研究假設(shè)，設(shè)計(jì)實(shí)驗(yàn)方案。在材料研發(fā)、藥物設(shè)計(jì)、氣候預(yù)測(cè)等關(guān)乎人類福祉的重大領(lǐng)域，這種模型將顯著2.2.4參考文獻(xiàn)推薦理由：這篇論文為整個(gè)報(bào)告提供了基礎(chǔ)模型的重要背景和概推薦理由：這是AlphaFold系列最新的突破性成果，首次實(shí)現(xiàn)了統(tǒng)一的生物分子結(jié)構(gòu)預(yù)測(cè)框架。該工作將深度學(xué)習(xí)在結(jié)構(gòu)生物學(xué)領(lǐng)域25推薦理由：GPTFF被強(qiáng)調(diào)為分子動(dòng)力學(xué)模擬的創(chuàng)新力場(chǎng)模推薦理由：UPT被介紹為一個(gè)統(tǒng)一的框架，用于跨不同物理系統(tǒng)推薦理由：scFoundation被聚焦為將基礎(chǔ)模型應(yīng)用于單細(xì)胞轉(zhuǎn)推薦理由：GMAI被呈現(xiàn)為開(kāi)創(chuàng)性的通用醫(yī)療AI模型，代表了醫(yī)推薦理由：面向20日全球天氣預(yù)報(bào)的高分辨率通用模型盤古天推薦理由：FengWu是一種先進(jìn)的AI驅(qū)動(dòng)全球中期天氣預(yù)報(bào)系統(tǒng)，通過(guò)多模態(tài)與多任務(wù)學(xué)習(xí)方法顯著提升了天氣預(yù)報(bào)的精度和時(shí)效推薦理由：這篇文章全面概述了定制化領(lǐng)域?qū)Ｓ没A(chǔ)模型的方法論，介紹了基礎(chǔ)概念、通用架構(gòu)，并總結(jié)了構(gòu)建領(lǐng)域?qū)Ｓ媚Ｐ偷年P(guān)鍵推薦理由：CheXzero被指出是在放射學(xué)解讀中應(yīng)用醫(yī)療人工智26推薦理由：GPT-3在醫(yī)師資格考試中的表現(xiàn)，被引用為基礎(chǔ)模型推薦理由：Med-Flamingo模型在多模態(tài)醫(yī)療診斷推薦理由：RA-CM3是另一個(gè)基于GMAI的模型，具有改進(jìn)的知推薦理由：GraphCast是谷歌的一個(gè)天氣預(yù)測(cè)模型，被作為人工推薦理由：FourCastNet是英偉達(dá)的一個(gè)天氣預(yù)測(cè)模型，基于適/prl/abstract/10.1103/PhysRev-推薦理由：這是深度學(xué)習(xí)在分子動(dòng)力學(xué)領(lǐng)域的奠基性工作，首次實(shí)現(xiàn)了量子力學(xué)精度的大規(guī)模模擬。該方法為材料科學(xué)研究提供了強(qiáng)推薦理由：這項(xiàng)工作在分子性質(zhì)預(yù)測(cè)中引入了等變性機(jī)制推薦理由：這項(xiàng)工作提出了創(chuàng)新的雙軌道Transformer分子表示方法，實(shí)現(xiàn)了高精度的分子性質(zhì)預(yù)測(cè)。該模型在多個(gè)化學(xué)性質(zhì)預(yù)測(cè)任272.3融入先驗(yàn)知識(shí)的AI模型2.3.1背景介紹在構(gòu)建科學(xué)大模型的過(guò)程中，數(shù)據(jù)驅(qū)動(dòng)和先驗(yàn)知力和邏輯體系，從單獨(dú)的模式識(shí)別演進(jìn)出復(fù)雜認(rèn)知能上，通過(guò)融入人類積累的數(shù)學(xué)、邏輯、科學(xué)規(guī)律等系理，不同于歷史上符號(hào)主義具有明確的規(guī)則編碼，在現(xiàn)在的研究中，可以通過(guò)符號(hào)推理、知識(shí)圖譜與深度知識(shí)圖譜、數(shù)學(xué)公式等。下面將分別介紹其與深度學(xué)近年來(lái)，神經(jīng)符號(hào)人工智能（Neuro-symbolicAI）致力于將符號(hào)推理與連接主義學(xué)習(xí)相結(jié)合，以實(shí)現(xiàn)更接近人類認(rèn)知的AI系統(tǒng)。從知識(shí)形式的角度看，邏輯規(guī)則和概率圖都是符號(hào)推理的重要表現(xiàn)形式，它們通過(guò)顯式的符號(hào)化表示來(lái)捕獲和處理人類的先驗(yàn)知識(shí)，只是關(guān)注的側(cè)重點(diǎn)有所不同[1][2][3][4]。邏輯規(guī)則主要用于表達(dá)確定性的推理關(guān)系，能夠?qū)＜抑R(shí)和領(lǐng)域規(guī)律形式化為嚴(yán)格的推理規(guī)則[5]。概率圖則主要用于表達(dá)不確定性知識(shí)，通過(guò)圖結(jié)構(gòu)描述變量間題，即模型可能繞過(guò)預(yù)期的推理路徑，利用非預(yù)期的特征達(dá)到目標(biāo)。這一發(fā)現(xiàn)提醒我們?cè)谠O(shè)計(jì)神經(jīng)符號(hào)系統(tǒng)時(shí)，需要同時(shí)關(guān)注知識(shí)表示的語(yǔ)義完整性和模型推邏輯規(guī)則與概率圖的融合為神經(jīng)符號(hào)AI注入了強(qiáng)大的推理能力，通過(guò)與深度學(xué)習(xí)的結(jié)合，在可解釋性和性能上都取得了顯著進(jìn)展。隨著理論框架的完善和技術(shù)創(chuàng)新，這一方向?qū)⑦M(jìn)一步拓展AI系統(tǒng)的認(rèn)知邊（2）圖結(jié)構(gòu)先驗(yàn)知識(shí)的融入：從圖神經(jīng)網(wǎng)絡(luò)到地描述實(shí)體間的關(guān)系與交互。從知識(shí)表示的角度看，圖結(jié)構(gòu)通過(guò)節(jié)點(diǎn)和邊的形式提供了關(guān)系推理的基本框架。圖神經(jīng)網(wǎng)絡(luò)和知識(shí)圖譜作為圖結(jié)構(gòu)計(jì)算的兩個(gè)主要范式，體現(xiàn)了先驗(yàn)知識(shí)融入的不同層次。圖神經(jīng)網(wǎng)絡(luò)專注于從數(shù)據(jù)中學(xué)習(xí)結(jié)構(gòu)化表示，通過(guò)網(wǎng)絡(luò)架構(gòu)本身體現(xiàn)關(guān)系推理的偏置[11]；而知識(shí)圖譜則致力于構(gòu)建顯式的知識(shí)表達(dá)，通過(guò)實(shí)體關(guān)系的形式化描述來(lái)整在圖神經(jīng)網(wǎng)絡(luò)層面，關(guān)系歸納偏置為模型提供了結(jié)構(gòu)化學(xué)習(xí)能力。幾何圖神經(jīng)網(wǎng)絡(luò)進(jìn)一步強(qiáng)化了對(duì)物理規(guī)律的編碼[14]。在知識(shí)圖譜層面，圖結(jié)構(gòu)的表達(dá)從基礎(chǔ)的物理幾何約束提升到了高層的語(yǔ)義關(guān)聯(lián)，并28這兩種計(jì)算范式的發(fā)展揭示了圖結(jié)構(gòu)先驗(yàn)知識(shí)融入的基本規(guī)律：從隱式的結(jié)構(gòu)化學(xué)習(xí)到顯式的知識(shí)表達(dá)，從物理約束到語(yǔ)義關(guān)聯(lián)，構(gòu)建了AI系統(tǒng)獲取和（3）數(shù)學(xué)定律與物理規(guī)律作為先驗(yàn)知識(shí)的融數(shù)學(xué)定律和物理規(guī)律是人類認(rèn)知自然界最嚴(yán)謹(jǐn)?shù)南闰?yàn)知識(shí)。通過(guò)數(shù)理公式的形式化表達(dá)，這些知識(shí)可了堅(jiān)實(shí)的理論基礎(chǔ)。近年來(lái)，如何將這種嚴(yán)格的數(shù)理可解釋性和泛化能力的重要研究方向?；谖锢淼谝恍栽淼南闰?yàn)知識(shí)雖然具有可解釋性和樣本效率，但在實(shí)際應(yīng)用中常常需要強(qiáng)假設(shè)和復(fù)雜的數(shù)值計(jì)算[18][19][20]。相比之下，純數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)雖然提這一認(rèn)識(shí)推動(dòng)了物理引導(dǎo)的深度學(xué)習(xí)框架的發(fā)展，其在知識(shí)融入的模型架構(gòu)方面，物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)展現(xiàn)出獨(dú)特優(yōu)勢(shì)。該方法通過(guò)優(yōu)化網(wǎng)絡(luò)架構(gòu)和損失函數(shù)，將物理約束引入模型訓(xùn)練過(guò)程[21][22][23]。作為一種重要的先驗(yàn)知識(shí)形式，數(shù)理公式的融入正在推2.3.2研究進(jìn)展神經(jīng)符號(hào)人工智能了神經(jīng)網(wǎng)絡(luò)拓?fù)浜头?hào)推理的方法，來(lái)提高人工智能系統(tǒng)的準(zhǔn)確性、可解釋性和精度，并實(shí)現(xiàn)從更少的數(shù)NSAI模型中神經(jīng)網(wǎng)絡(luò)能從數(shù)據(jù)中提取復(fù)雜特征；符號(hào)推理模塊能夠結(jié)合物理世界的既定模型，增強(qiáng)可解釋性并減少對(duì)大量訓(xùn)練數(shù)據(jù)的依賴。神經(jīng)網(wǎng)絡(luò)和符號(hào)推理分別對(duì)應(yīng)于丹尼爾·卡尼曼（Daniel具有代表性的AlphaGeometry[24]是2024符號(hào)系統(tǒng)，它由神經(jīng)語(yǔ)言模型和符號(hào)推演引擎組成，用來(lái)尋找復(fù)雜幾何定理的證明。在訓(xùn)練中，它使用了綜合不同復(fù)雜程度的數(shù)百萬(wàn)個(gè)定理和證明的合成數(shù)據(jù)，通過(guò)引導(dǎo)符號(hào)推演引擎解決具有挑戰(zhàn)性的問(wèn)題以29625.7995(2024):476-482.的神經(jīng)向量符號(hào)架構(gòu)（NVSA）[25]能夠使用神經(jīng)網(wǎng)絡(luò)作為前端進(jìn)行感知和語(yǔ)義解析；神經(jīng)概率軟邏輯（NeuPSL）[9]能夠?qū)⒏邔哟畏?hào)推理與深度神經(jīng)網(wǎng)絡(luò)的低級(jí)感知相結(jié)合；邏輯張量網(wǎng)絡(luò)（LTNs）[5]可以使用邏輯公式來(lái)定義張量表示上的約束等模型；邏一階邏輯約束融合到任意深度學(xué)習(xí)網(wǎng)絡(luò)中實(shí)現(xiàn)高效準(zhǔn)幾何圖神經(jīng)網(wǎng)絡(luò)推薦理由：現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetwork，簡(jiǎn)稱GNN）模型僅考慮研究對(duì)象的拓?fù)淙S點(diǎn)云和分子結(jié)構(gòu)等，具有良好的可解釋性、泛化宏觀世界中的物體等進(jìn)行建模的時(shí)候，會(huì)根據(jù)其特定的空間幾何結(jié)構(gòu)，建模為幾何圖。其中幾何圖需要滿足物理對(duì)稱性的約束，這種幾何約束便可以通過(guò)幾何圖神經(jīng)網(wǎng)絡(luò)嵌入到機(jī)器學(xué)習(xí)的流程中，從而更好地刻畫數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和變化規(guī)律，提高算法能力。例如在分子動(dòng)力學(xué)模擬中，一個(gè)原子到另一個(gè)原子的空間方向信息在分子的經(jīng)驗(yàn)勢(shì)中發(fā)揮核心作用，GeoGNN中信息的傳遞就包含了空間信息，可以來(lái)提高在最新研究中，復(fù)旦大學(xué)和百奧幾何聯(lián)合推出了徑向邊等多種關(guān)系對(duì)先驗(yàn)知識(shí)進(jìn)行嵌入；在特征提取階段，在原子層、邊層、殘基層多層級(jí)進(jìn)行了信息傳遞，來(lái)全面了解蛋白質(zhì)界面上的復(fù)雜相互作用；在訓(xùn)30豐富的未標(biāo)記單鏈蛋白質(zhì)結(jié)構(gòu)，將側(cè)鏈扭轉(zhuǎn)角取到模型中，進(jìn)一步提升模型性能。通過(guò)多關(guān)系圖構(gòu)建、多層次幾何信息傳遞和大規(guī)模未標(biāo)記蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)的對(duì)比預(yù)訓(xùn)練，模型提高了抗體與其靶標(biāo)抗原的結(jié)合親和力，并成功增強(qiáng)了兩種不同格式和靶標(biāo)的抗體結(jié)合能力，顯著提升了抗體治療性開(kāi)發(fā)中的親和力性、因果性以及拓?fù)涞雀鞣N與結(jié)構(gòu)有關(guān)的先驗(yàn)知識(shí)轉(zhuǎn)化為圖結(jié)構(gòu)，從而融入到基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)框展。例如，結(jié)合物理化學(xué)約束的圖神經(jīng)網(wǎng)絡(luò)模型ONFLY[29]，等變圖擴(kuò)散模型Chroma[30]，晶體基于Gearbind的計(jì)算機(jī)抗體親和力成熟化的流程geometricgraphneuralnetworkforantibodyaf?nitymaturation."Naturecommunications物理啟發(fā)的圖神經(jīng)網(wǎng)絡(luò)子或網(wǎng)格之間的物理相互作用關(guān)系，既保持了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，又融入了先驗(yàn)物理規(guī)律約束，在在科學(xué)仿真過(guò)程中，我們首先關(guān)心的問(wèn)題是精確模擬?；诘谝恍栽砬蠼馄⒎址匠痰姆椒m然可解釋性高，但是需要已知具體的偏微分方程及其參數(shù)，而且運(yùn)算速度緩慢，難以大規(guī)模求解，更重要的而物理啟發(fā)的圖神經(jīng)網(wǎng)絡(luò)技術(shù)可以彌補(bǔ)這些不足，這里我們以一系列基于圖神經(jīng)網(wǎng)絡(luò)（Graph述GNN在科學(xué)仿真領(lǐng)域的進(jìn)展。首先是DeepMind提出了一種圖網(wǎng)絡(luò)模擬器（GraphNetworkSimula-tor，GNS）[34]，模擬粒子物理系統(tǒng)，可以應(yīng)用于流體力學(xué)或者計(jì)算圖形學(xué)等領(lǐng)域。具體架構(gòu)如下圖所示。首先，研究人員可以根據(jù)先驗(yàn)信息建立一個(gè)圖，然后基于消息傳遞（MessagePassing）機(jī)制更新節(jié)點(diǎn)的特征，這里的“消息”可以代表粒子之間的相互作用關(guān)系，通過(guò)神經(jīng)網(wǎng)絡(luò)的映射，實(shí)現(xiàn)粒子狀態(tài)的更新，最終實(shí)現(xiàn)模擬粒子通過(guò)相互作用發(fā)生運(yùn)動(dòng)的動(dòng)方法?；旌蠄D神經(jīng)網(wǎng)絡(luò)(HGNS)[35]通過(guò)引入多步預(yù)測(cè)機(jī)制顯著提升了長(zhǎng)期預(yù)測(cè)的準(zhǔn)確性，成功應(yīng)用于百萬(wàn)級(jí)網(wǎng)格規(guī)模的地下流體仿真，相比傳統(tǒng)求解器實(shí)現(xiàn)了18倍的加速。最新的GraphCast模型[36]更是將這一思路擴(kuò)展到全球天氣預(yù)報(bào)應(yīng)用上，通過(guò)巧妙設(shè)計(jì)的多尺度圖結(jié)構(gòu)，模型能夠同時(shí)捕捉從局部（幾十公里）到全球（幾千公里）尺度的大氣動(dòng)力學(xué)，將天氣預(yù)報(bào)的計(jì)算時(shí)間從小時(shí)級(jí)降低到分鐘級(jí)。此外，一系列的后續(xù)工作還進(jìn)一步將物理先驗(yàn)知識(shí)，例如對(duì)稱性[37]、方程先驗(yàn)信息[38]等嵌入神經(jīng)網(wǎng)絡(luò)架構(gòu)中，實(shí)2.3.3挑戰(zhàn)與展望題。一方面需要對(duì)傳統(tǒng)領(lǐng)域知識(shí)有深刻的理解，另一使用圖神經(jīng)網(wǎng)絡(luò)模擬復(fù)雜系統(tǒng)。|圖片來(lái)源:Sanchez-Gonzalezetal.Learning32方面需要對(duì)AI框架和能力有系統(tǒng)性的認(rèn)識(shí)。將領(lǐng)域知識(shí)融入到AI模型中，可以實(shí)現(xiàn)更有效率的學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)結(jié)合的嘗試仍處在初步階段，如何通過(guò)系統(tǒng)化的方式，將不同類型的知識(shí)、嵌一個(gè)統(tǒng)一的框架來(lái)設(shè)計(jì)算法，可以將神經(jīng)網(wǎng)絡(luò)、符號(hào)新的AI系統(tǒng)通常使用底層邏輯（如模糊邏輯、參數(shù)化和可微分結(jié)構(gòu)）來(lái)支持學(xué)習(xí)和推理能力。然而，目前大多數(shù)的AI系統(tǒng)的實(shí)現(xiàn)為所使用的特定邏輯創(chuàng)建了定制的軟件推理工具，這限制了模塊化和可擴(kuò)展性。因此，亟需解決能夠包含廣泛推理邏輯功能的語(yǔ)法和語(yǔ)義擴(kuò)展，同時(shí)具有快速且節(jié)省內(nèi)存特性的新軟件框架。此外，還需要新的編程模型、編譯器和運(yùn)行時(shí)，來(lái)簡(jiǎn)化和高效實(shí)現(xiàn)新的AI模型，并開(kāi)放其2.3.4參考文獻(xiàn)推薦理由：這篇文章為神經(jīng)符號(hào)人工智能的綜述，回顧了過(guò)去二十年文獻(xiàn)，展示了如何將符號(hào)推理與連接主義學(xué)習(xí)相結(jié)合，以構(gòu)建更[2]Dickens，Charles.AUnifyingMatSantaCruz，2024./openview/9cc4f4c12499-推薦理由：這篇文章提出了一個(gè)統(tǒng)一的數(shù)學(xué)框架，用于神經(jīng)-符號(hào)系統(tǒng)的研究，探討如何實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)與符號(hào)方法的協(xié)同。作者定義了實(shí)現(xiàn)有效NeSyAI的四個(gè)里程碑，并介紹了神經(jīng)符號(hào)能量基礎(chǔ)模型[3]Wan，Zishen，etal."TowardscognitiveaisystarXiv:2401.01040(2024).推薦理由：這篇文章探討了朝向認(rèn)知AI系統(tǒng)的進(jìn)展，強(qiáng)調(diào)神經(jīng)符號(hào)AI在提升AI系統(tǒng)可解釋性、魯棒性和信任度方面的潛力。文章系統(tǒng)性地回顧了NSAI的發(fā)展，分析了其性能特征和計(jì)算操作，提出改進(jìn)的必要性，并探討未來(lái)的挑戰(zhàn)和方向。NSAI為人機(jī)協(xié)作提供了新的視角，展現(xiàn)了在減少數(shù)據(jù)需求下的學(xué)習(xí)能力，是發(fā)展下一代AI系統(tǒng)的重[4]Marra，Giuseppe，etal."Fromneurosymbolicarti?cialintelligence:Asurvey."Arti?cial/science/arti-cle/pii/S0004370223002084推薦理由：這篇文章通過(guò)將神經(jīng)符號(hào)人工智能（NeSy）與統(tǒng)計(jì)關(guān)系人工智能（StarAI）進(jìn)行比較，探討了學(xué)習(xí)與推理融合的關(guān)鍵挑Spranger，M.Logictensornetworks.303:103649，2022./s04370221002009推薦理由：這篇文章提出了邏輯張量網(wǎng)絡(luò)（LTN）一種神經(jīng)符號(hào)框架，支持利用豐富的數(shù)據(jù)和關(guān)于世界的抽象知識(shí)進(jìn)行查詢、學(xué)習(xí)和推理。LTN提供了一種統(tǒng)一的語(yǔ)言有效地表示和完成了AI的任務(wù)，包括多標(biāo)簽分類、關(guān)系學(xué)習(xí)、數(shù)據(jù)分類、半監(jiān)督學(xué)習(xí)、回歸、嵌入學(xué)習(xí)[6]Wohlgemut，JaredM.，etal."Bayesianallowbetterperformanceandusability推薦理由：這篇文章展示了在醫(yī)療預(yù)測(cè)任務(wù)中，基于貝葉斯網(wǎng)絡(luò)的方法相比傳統(tǒng)的邏輯回歸模型具有更好的性能和可用性，特別是在33推薦理由：本文提出了一種統(tǒng)一的數(shù)學(xué)框架神經(jīng)符號(hào)能量基礎(chǔ)模），了一個(gè)模型范式的分類法，聚焦于神經(jīng)符號(hào)接口和推理能力，填補(bǔ)了推薦理由：這篇文章探索通過(guò)結(jié)合已有的定性空間演算與馬爾可夫邏輯網(wǎng)絡(luò)構(gòu)建具有不確定性證據(jù)的定性空間推理。文章提出了一種方法論，將不確定知識(shí)庫(kù)與確定的空間推理規(guī)則庫(kù)相結(jié)合，旨在自動(dòng)推薦理由：這篇文章介紹了神經(jīng)概率軟邏輯（NeuPSL）將先進(jìn)的符號(hào)推理和深度神經(jīng)網(wǎng)絡(luò)的低級(jí)感知結(jié)合起來(lái)，比獨(dú)立神經(jīng)網(wǎng)絡(luò)模(2024).https://proceedings.neurips.cc/paper_?les/pa-推薦理由：這篇文章分析了神經(jīng)符號(hào)預(yù)測(cè)模型中的推理捷徑問(wèn)而未能實(shí)現(xiàn)預(yù)期的優(yōu)勢(shì)。通過(guò)對(duì)推理捷徑的系統(tǒng)性特征化，作者確定了其產(chǎn)生的四個(gè)關(guān)鍵條件，并提出了多種針對(duì)性的緩解策略。這項(xiàng)研究為改進(jìn)NeSy模型的可信性提供了重要的見(jiàn)解，強(qiáng)調(diào)了解決推理捷徑推薦理由：這篇綜述文章深入探討了圖神經(jīng)網(wǎng)絡(luò)（GNN）在知識(shí)圖譜（KG）中的應(yīng)用，展示了其在解決多個(gè)關(guān)鍵任務(wù)的潛力。知識(shí)圖譜作為一種多關(guān)系圖，能夠有效表達(dá)各種實(shí)體之間的豐富事實(shí)信息，然而目前的知識(shí)圖譜仍面臨一些挑戰(zhàn)，這些問(wèn)題近年來(lái)已成為研推薦理由：這篇文章系統(tǒng)性回顧了知識(shí)圖譜在可解釋人工智能推薦理由：這篇文章對(duì)知識(shí)圖譜領(lǐng)域進(jìn)行了系統(tǒng)性的討論了知識(shí)圖譜的機(jī)遇與挑戰(zhàn)。作者指出，隨著人工智能和大數(shù)據(jù)的推薦理由：這篇文章全面綜述了幾何圖神經(jīng)網(wǎng)絡(luò)（GeometricGNN）的數(shù)據(jù)結(jié)構(gòu)、模型和應(yīng)用，強(qiáng)調(diào)了幾何圖在科學(xué)問(wèn)題建模中的推薦理由：這篇文章介紹了知識(shí)增強(qiáng)圖機(jī)器學(xué)習(xí)（KaGML）的概念，專注于其在藥物發(fā)現(xiàn)中的應(yīng)用。作者指出傳統(tǒng)人工智能模型在處理復(fù)雜生物醫(yī)學(xué)結(jié)構(gòu)時(shí)的局限，并提出通過(guò)整合外部生物醫(yī)學(xué)知識(shí)推薦理由：這篇綜述文章系統(tǒng)回顧了知識(shí)圖譜與多模態(tài)學(xué)習(xí)的結(jié)合，分析了知識(shí)圖譜在多模態(tài)任務(wù)中的支持作用及多模態(tài)知識(shí)圖譜的34推薦理由：這篇文章提出了將大型語(yǔ)言模型（LLMs）與知識(shí)圖推薦理由：這篇文章介紹了物理引導(dǎo)深度學(xué)習(xí)的框架，強(qiáng)調(diào)將物理知識(shí)融入數(shù)據(jù)驅(qū)動(dòng)方法的重要性，尤其是在建模復(fù)雜動(dòng)態(tài)系統(tǒng)方推薦理由：這篇綜述文章詳細(xì)探討了物理引導(dǎo)、物理信息驅(qū)動(dòng)和物理編碼的神經(jīng)網(wǎng)絡(luò)在科學(xué)計(jì)算中的應(yīng)用。作者論述了這些網(wǎng)絡(luò)如何在面臨稀疏數(shù)據(jù)的科學(xué)和工程領(lǐng)域仍能有效地結(jié)合物理約束，提升多推薦理由：這篇文章探討了如何將機(jī)器學(xué)習(xí)有效結(jié)合物理基礎(chǔ)建模，以開(kāi)發(fā)可解釋且可靠的物理模型。作者重點(diǎn)分析了施加物理約束和獲取最優(yōu)數(shù)據(jù)集的關(guān)鍵問(wèn)題，并以分子動(dòng)力學(xué)和動(dòng)量閉合方程為案冷卻器性能模型的外推能力，解決了傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)模型在有限操作條件下的通用性問(wèn)題。作者通過(guò)新的網(wǎng)絡(luò)架構(gòu)和修改損失函數(shù)，將領(lǐng)域推薦理由：這篇文章介紹了一種新型物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在提升高精度機(jī)電控制的準(zhǔn)確性。通過(guò)將物理基礎(chǔ)層與黑箱神經(jīng)層結(jié)合，該模型能在訓(xùn)練中保證輸入狀態(tài)穩(wěn)定性，并顯著改善現(xiàn)有物理基推薦理由：這篇文章提出了結(jié)合機(jī)器學(xué)習(xí)組件與可微分求解器的新型天氣與氣候模型（NeuralGCM）。該模型能在天氣預(yù)報(bào)和氣候模擬中實(shí)現(xiàn)與傳統(tǒng)物理模型競(jìng)爭(zhēng)