大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析:實(shí)踐與案例_第1頁(yè)
大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析:實(shí)踐與案例_第2頁(yè)
大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析:實(shí)踐與案例_第3頁(yè)
大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析:實(shí)踐與案例_第4頁(yè)
大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析:實(shí)踐與案例_第5頁(yè)
已閱讀5頁(yè),還剩249頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

掃碼關(guān)注公眾號(hào)掃碼關(guān)注公眾號(hào)費(fèi)下載資料頁(yè)碼:頁(yè)碼:2/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料多模態(tài)GraphRAG初探:文檔智能+知識(shí)圖譜+大模型結(jié)合范式 3知識(shí)圖譜與大模型雙輪驅(qū)動(dòng):金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路 融合知識(shí)圖譜與大模型的中醫(yī)臨床輔助決策體系 44智譜共融:大模型驅(qū)動(dòng)的知識(shí)圖譜范式重構(gòu)與演進(jìn)路徑 59Graph+AI時(shí)代私域知識(shí)問(wèn)答鏈路的建設(shè)與優(yōu)化 89大模型+知識(shí)管理發(fā)展趨勢(shì)及標(biāo)準(zhǔn)化工作介紹 106圖驅(qū)動(dòng)的知識(shí)管理:觀察與思考 123大模型和知識(shí)圖譜雙輪驅(qū)動(dòng)的汽車(chē)制造業(yè)知識(shí)服務(wù) 頁(yè)碼:3/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料多模態(tài)GraphRAG初探:文檔智能+知識(shí)圖譜+大模型結(jié)合范式導(dǎo)讀:本次分享聚焦多模態(tài)GraphRAG,深度剖析了文檔智能解析的技術(shù)鏈路,并梳理了相關(guān)工作進(jìn)展,全方位呈現(xiàn)了文檔智能、知識(shí)圖譜與大模型結(jié)合的應(yīng)用范式。文章主要包括以下幾大部分:1.文檔智能解析技術(shù)鏈路與文檔層級(jí)關(guān)系構(gòu)建2.多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程3.知識(shí)圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問(wèn)題4.文檔多模態(tài)RAG相關(guān)工作進(jìn)展5.總結(jié)6.問(wèn)答環(huán)節(jié)分享嘉賓|余俊暉360高級(jí)算法工程師編輯整理|盧學(xué)林內(nèi)容校對(duì)|李瑤出品社區(qū)|DataFun文檔智能解析技術(shù)鏈路與文檔層級(jí)關(guān)系構(gòu)建免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:4/161首先來(lái)整體介紹一下文檔智能解析技術(shù)方案。上圖中對(duì)傳統(tǒng)RAG和微軟GraphRAG的鏈路進(jìn)行了對(duì)比,GraphRAG在知識(shí)庫(kù)和知識(shí)圖譜的構(gòu)建方面開(kāi)展了大量工作。知識(shí)庫(kù)的構(gòu)建是整個(gè)流程中至關(guān)重要的一個(gè)環(huán)節(jié),所以接下來(lái)會(huì)重點(diǎn)介紹知識(shí)庫(kù)和文檔構(gòu)建的技術(shù)鏈路。文檔處理技術(shù)經(jīng)歷了一系列演變,從早期基于規(guī)則模板,發(fā)展到利用PDFParse等工具來(lái)進(jìn)行解析,再到基于深度學(xué)習(xí)的版面分析。當(dāng)前在深度學(xué)習(xí)的基礎(chǔ)上有各種分析技術(shù),比如板式分析、公式識(shí)別、公式檢測(cè)、表格解析等。頁(yè)碼:5/161隨著大模型的發(fā)展,智能文檔處理主要參與到大模型語(yǔ)料加工的工作中,在RAG系統(tǒng)中主要承擔(dān)數(shù)據(jù)清洗的相關(guān)工作。文檔智能解析有三個(gè)技術(shù)方向,OCR-PIPELINE、OCR-Free和PDF-Parse。nOCR-PIPELINE輸入pdf文檔后,將其轉(zhuǎn)換為圖片,并進(jìn)行版式分析,把內(nèi)容進(jìn)行區(qū)塊切割,針對(duì)文檔中的段落、標(biāo)題、公式等區(qū)塊進(jìn)行相應(yīng)的處理。比如使用OCR識(shí)別文本中的標(biāo)題、段落;通過(guò)表格分析處理文本內(nèi)的表格;利用公式解析將文本內(nèi)的公式轉(zhuǎn)換為L(zhǎng)aTeX格式;對(duì)圖片也進(jìn)行相應(yīng)的處理。得到區(qū)塊的boundingbox后對(duì)其進(jìn)行閱讀順序的排序,最終進(jìn)行文檔的恢復(fù),轉(zhuǎn)化為markdown格式。nOCR-Free多模態(tài)大模型端到端的智能解析,主要是以數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)大模型。nPDF-parse對(duì)于一些可以直接編輯的pdf文檔,文字提取直接使用PDFParser的效果免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:6/161會(huì)比用OCR模型的效果更好。OCR-PIPELINE方案具有以下優(yōu)點(diǎn):其一,能夠獲取boundingbox信息、版式標(biāo)簽信息等,并進(jìn)行相應(yīng)處理;其二,模塊靈活,可單獨(dú)做優(yōu)化;其三,支持CPU離線部署,對(duì)于垂直場(chǎng)景可研發(fā)版式分析的輕量模型;其四,支持掃描版文檔。然而,該方案也存在缺點(diǎn):OCR鏈路依賴(lài)于場(chǎng)景數(shù)據(jù),現(xiàn)在大部分是采用目標(biāo)檢測(cè)的方案去做版式劃分,導(dǎo)致泛化性較差;另外,精度不高,在版式分析、表格解析、段落合并等環(huán)節(jié)均有改進(jìn)空間;第三,CPU環(huán)境下速度較慢,涉及模塊眾多,整體速度較慢。OCR-FREE方案利用近期開(kāi)源的OCR大模型olmOCR和mistralORC等,端到端地解析出markdown格式,為模型做預(yù)加工。盡管模型官方宣稱(chēng)效果很好,但實(shí)際測(cè)試結(jié)果顯示欠佳。這種方案的缺點(diǎn)也很明顯:首先不支持區(qū)域分塊,不輸出boundingbox信息;第二,不支持CPU離線部署;第三,速度很慢,消耗大量GPU資源;第四,免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:7/161部署成本高,針對(duì)長(zhǎng)文本情況,顯存占用大;第五,存在幻覺(jué)問(wèn)題,容易出現(xiàn)多字少字等和原文不一致的情況;第六,對(duì)于比較復(fù)雜的文檔無(wú)法做截圖存儲(chǔ)。PDF2TEXT方案,利用規(guī)則驅(qū)動(dòng)的工具,速度快、效果好,在可編輯場(chǎng)景下比OCR的文字信息識(shí)別更為準(zhǔn)確。其缺點(diǎn)是不支持掃描版本文檔,并且對(duì)圖片和表格等處理效果欠佳。OCR-PIPELINE中最關(guān)鍵的就是版式分析。版式分析是一個(gè)目標(biāo)檢測(cè)任務(wù),用于對(duì)文檔的區(qū)域進(jìn)行劃分,核心在于標(biāo)簽的定義,包括正文、標(biāo)題、圖片、圖片標(biāo)題、表格等等。目前表現(xiàn)較為出色的是上海人工智能實(shí)驗(yàn)室的DocLayout-YOLO,在數(shù)據(jù)的標(biāo)注和多場(chǎng)景的數(shù)據(jù)上面做了大量工作,使泛化性得到了有效提升。版式分析模型與文檔類(lèi)型強(qiáng)相關(guān),高度依賴(lài)于場(chǎng)景數(shù)據(jù)的標(biāo)注,以及標(biāo)注數(shù)據(jù)的多樣性,在后面的文檔恢復(fù)或markdown轉(zhuǎn)錄時(shí),需要取舍一些標(biāo)簽,所以要有對(duì)粒度的控制。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:8/161去年四月份,我們也開(kāi)源了一些版式分析的模型,主要針對(duì)中文論文、英文論文、中文研報(bào)和教材這四個(gè)領(lǐng)域,在這四個(gè)場(chǎng)景下進(jìn)行了細(xì)粒度的標(biāo)注,訓(xùn)練出了一6.23MB,所以在下游垂直場(chǎng)景中速度很快。版式分析的大部分工作集中在標(biāo)注環(huán)節(jié),而標(biāo)注高度依賴(lài)于對(duì)業(yè)務(wù)的理解,業(yè)務(wù)需要控制標(biāo)簽的力度,然后我們進(jìn)行相應(yīng)的數(shù)據(jù)標(biāo)注,以滿(mǎn)足垂直領(lǐng)域場(chǎng)景的要免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:9/161文檔解析中的難點(diǎn)之一是表格解析,分為多線表、缺線表、無(wú)線表三種類(lèi)型。受限于傳統(tǒng)CV的方法,存在多尺寸、分辨率低、跨頁(yè)處理等多種情況,而可訓(xùn)練的場(chǎng)景數(shù)據(jù)極為稀缺。傳統(tǒng)CV方法主要檢測(cè)cells和tablestructure,將OCR的文本和表格的結(jié)構(gòu)進(jìn)行match,算其間的IOU閾值,然后merge,最后去做表格的重建,輸出excel格式或者是html格式,html兼容markdown語(yǔ)法,所以在markdown里面可以很好地展示。關(guān)于端到端的形式,我們也做了一些自己的工作。端到端的一個(gè)缺點(diǎn)就是非常消耗資源,多模態(tài)大模型基于數(shù)據(jù)驅(qū)動(dòng),我們研究發(fā)現(xiàn)端到端的數(shù)據(jù)極難構(gòu)造。我們通過(guò)一些小模型結(jié)合合成數(shù)表格數(shù)據(jù)的方法,訓(xùn)練了一個(gè)端到端的7B左右的多模態(tài)表格解析模型。該模型的輸入為表格截圖,轉(zhuǎn)成html。其缺點(diǎn)是存在嚴(yán)重的幻覺(jué)問(wèn)題,對(duì)于一些特定樣例的表格,效果并不理想。頁(yè)碼:10/161對(duì)于一些可編輯的pdf表格,可以利用文本自身信息進(jìn)行加速。上圖右側(cè)列出了一些常用的開(kāi)源的表格解析模型,及其對(duì)比效果,目前最好的是百度開(kāi)源的SLANet-plus模型表現(xiàn)最佳,其在TEDS評(píng)價(jià)指標(biāo)上取得了較好分?jǐn)?shù)。實(shí)際測(cè)試表明該模型也是對(duì)有線表格解析得比較好。我們自研了一些公式解析模型,將公式截圖轉(zhuǎn)成LaTeX語(yǔ)法,markdown可以支持LaTeX公式渲染。該工作在ICPR2024的多行數(shù)學(xué)表達(dá)式識(shí)別任務(wù)中獲得了冠軍。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:11/161我們的方案基于傳統(tǒng)的VisionEncoderDecoder模型架構(gòu),采用預(yù)訓(xùn)練加微調(diào)的方式,在訓(xùn)練過(guò)程中采用早停機(jī)制來(lái)防止過(guò)擬合。擬合目標(biāo)是ExactMatch(精確匹配)和EditDistance(編輯距離)后期我們對(duì)上述工作進(jìn)行了改進(jìn),發(fā)表了一篇論文,提出層次細(xì)節(jié)聚焦識(shí)別網(wǎng)絡(luò)(HDNet),已被ICASSP接收。改進(jìn)主要包括一些預(yù)訓(xùn)練,以及更科學(xué)的評(píng)估。對(duì)于復(fù)雜的層級(jí)的公式,類(lèi)似多模態(tài)預(yù)訓(xùn)練中的動(dòng)態(tài)分辨率方法,其是隨機(jī)crop圖片,而我們是更加復(fù)雜的數(shù)據(jù)公式,按照層級(jí)的方式對(duì)數(shù)據(jù)公式進(jìn)行劃分,起到類(lèi)似數(shù)據(jù)增強(qiáng)的效果。通過(guò)這個(gè)方法取得了比較好的成果,在Fair-CR評(píng)價(jià)指標(biāo)上達(dá)到了0.963。而且模型的參數(shù)量較小,約300m,參數(shù)量上低于業(yè)內(nèi)相關(guān)模型。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:12/161圖表解析方面,圖表中包含數(shù)值圖、柱狀圖、餅狀圖等,核心是輸出圖表摘要,或解析出json數(shù)據(jù),便于后續(xù)進(jìn)一步渲染。或通過(guò)解析出的json_dict,進(jìn)行編輯或可視化。圖表中的另一個(gè)重要部分是流程圖,目前大多是將其轉(zhuǎn)成可渲染的markdown格式。傳統(tǒng)方案主要是采取CV的目標(biāo)檢測(cè)分割方案,現(xiàn)在依靠多模態(tài)大模型,可以端到端地輸出流程圖的Mermaid格式,做進(jìn)一步的渲染。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:13/161去年我們針對(duì)多模態(tài)大模型在流程圖上的能力做了一些評(píng)測(cè)。評(píng)測(cè)發(fā)現(xiàn)GPT4o模型在流程圖解析上僅得到56.63分,仍存在很大的優(yōu)化空間。在開(kāi)源模型中,Phi-3-Vison多模態(tài)大模型獲得了一個(gè)比較高的分?jǐn)?shù),該模型主要在訓(xùn)練的數(shù)據(jù)上進(jìn)行了一些預(yù)訓(xùn)練。這也說(shuō)明多模態(tài)大模型目前還是數(shù)據(jù)驅(qū)動(dòng)的模式。文檔解析中的一個(gè)核心問(wèn)題是閱讀順序的排列,對(duì)文檔的還原或轉(zhuǎn)換為markdown起到了樞紐作用,上接布局分析,下接markdown的轉(zhuǎn)換。之前主要是采用基于規(guī)則的方案,按照bbox排序,這種方式簡(jiǎn)單,但效果一免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:14/161般。CV的方法其實(shí)也屬于基于規(guī)則的方案,主要是XYcut,按從左到右、從上到下的閱讀順序。現(xiàn)在出現(xiàn)了基于語(yǔ)義的方法,主要工作是LayoutReader。它可以對(duì)劃分出來(lái)的區(qū)塊去做相應(yīng)的排序,但是它有一個(gè)缺點(diǎn)是高度依賴(lài)于標(biāo)注數(shù)據(jù)。最新的工作是DLAFormer,它是一個(gè)端到端的模型,主要是將閱讀順序和版式分析建模成的關(guān)系預(yù)測(cè)任務(wù)。通過(guò)版式分析可以得到文檔的標(biāo)題,最后通過(guò)閱讀順序還原成markdown的時(shí)候可以得到其層級(jí)關(guān)系。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:15/161下面介紹Doc2ToC工作。在獲取標(biāo)題之后,可以構(gòu)建目錄,得到章節(jié)信息,建模成parent-of的關(guān)系。這一工作非常依賴(lài)于版式分析中對(duì)標(biāo)題的定義,標(biāo)題的粒度需要定義成多級(jí)的標(biāo)題,標(biāo)注方式非常不統(tǒng)一,我們發(fā)現(xiàn)每個(gè)版式里面可能標(biāo)題和段落標(biāo)題的字號(hào)或字體都相近,這可能對(duì)后續(xù)的版式識(shí)別模型影響較大。第二,通過(guò)PDFParser這種工具可以獲取一些字體的信息,但是基于深度學(xué)習(xí)的模型或者OCR的模型很難獲取字體信息。第三,基于語(yǔ)義的方法,可通過(guò)一些BIO標(biāo)注去計(jì)算title和段落之間跳轉(zhuǎn)的概率,拿到標(biāo)題和段落之間的分界點(diǎn),也可進(jìn)行段落標(biāo)題的識(shí)別。第四,融合位置和語(yǔ)義的關(guān)系,有一些工作是去預(yù)測(cè)其間的父子關(guān)系,這種方式速度可能較慢,標(biāo)注工作量較大。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:16/161Figure2meta這個(gè)工作是針對(duì)文檔解析中圖表meta信息的抽取。文檔解析以后,得到很多表格和圖表,對(duì)于圖表可進(jìn)一步細(xì)分,通過(guò)路由的控制去分成流程圖、數(shù)值圖、普通圖等類(lèi)別。分類(lèi)之后做進(jìn)一步的信息抽取,抽取出<figure,title>、<figure,reference>、<figure,boudingbox>的信息,用于圖表的渲染。實(shí)現(xiàn)思路為,對(duì)于簡(jiǎn)單的布局,可以利用bcaption/title信息,通過(guò)正則或版式分析模型對(duì)其boudingbox按就近原則進(jìn)行匹配。也可進(jìn)行有監(jiān)督模型訓(xùn)練,比如用bg去索引段落中的語(yǔ)義信息,按相似性進(jìn)行綁定。類(lèi)似地,<figure/reference>也可通過(guò)一些啟發(fā)式規(guī)則獲取boudingbox,結(jié)合閱讀順序和就近原則進(jìn)行匹配,也可進(jìn)行有監(jiān)督的分類(lèi)。<figure,boundingbox>,可以直接獲取版式分析結(jié)果,因?yàn)榘媸椒治隹梢缘玫狡渥鴺?biāo)信息。<figure,type>,可訓(xùn)練一個(gè)分類(lèi)模型,將圖片細(xì)分為流程圖、數(shù)值圖、普通圖等類(lèi)型。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:17/161最后可得到j(luò)son數(shù)據(jù)。DocChartSearch&Recmmend工作主要是在一些應(yīng)用場(chǎng)景下,基于圖片構(gòu)建一些API去做圖表的檢索,以及以圖搜圖、文圖搜索等一些具體的下游任務(wù)。文檔解析中有層級(jí)圖的概念,即DocGraph。通過(guò)布局分析,進(jìn)行區(qū)域間關(guān)系的抽取,如一個(gè)表格與其相應(yīng)的標(biāo)題、來(lái)源、引用段落、所屬章節(jié)之間的關(guān)系,以及層級(jí)邏輯關(guān)系。代表性工作包括DocStruct、HRDoc、Detect-Order-Construct等,主要是免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:18/161構(gòu)建層級(jí)圖。在文檔進(jìn)行表述的時(shí)候,圖表會(huì)作為一個(gè)鏈接元素,引用到文檔的描述中,在RAG中,經(jīng)常會(huì)召回一些chunk,可能提示“如表所示”,但此時(shí)圖可能已經(jīng)丟失,將召回的chunk傳遞給多模態(tài)大模型,模型可能無(wú)法回答。我們可以做一些類(lèi)似于實(shí)體鏈接中的entity-linking的工作,將圖和描述進(jìn)行l(wèi)ink。整個(gè)文檔解析鏈路非常長(zhǎng),誤差會(huì)一步步傳播。在應(yīng)用場(chǎng)景中,用戶(hù)可能既要求快又要求準(zhǔn)。上圖中列出了我們?cè)趯?shí)際的文檔解析研發(fā)過(guò)程中遇到的一些問(wèn)題及免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:19/161其解決方案,供參考。多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程多模態(tài)圖結(jié)構(gòu)索引的構(gòu)建流程如上圖所示。多模態(tài)數(shù)據(jù)源通過(guò)一個(gè)預(yù)處理模塊,分配到不同的子模塊。文本模塊,可進(jìn)行文本處理,比如傳統(tǒng)的NLP任務(wù),或者利用大模型進(jìn)行分詞、實(shí)體識(shí)別;圖像處理模塊,進(jìn)行特征抽取或者目標(biāo)檢測(cè);視頻處理和圖像類(lèi)似,一幀幀的視頻可以看作一張張圖片,進(jìn)行相應(yīng)的處理;音頻處理模塊,對(duì)語(yǔ)音轉(zhuǎn)文本。之后,跨模態(tài)進(jìn)行關(guān)聯(lián),構(gòu)建圖結(jié)構(gòu)。圖結(jié)構(gòu)的構(gòu)建包括節(jié)點(diǎn)的創(chuàng)建,如實(shí)體、圖像、視頻片段;邊關(guān)系的建立,主要是時(shí)空、語(yǔ)義和跨模態(tài)之間的關(guān)系;最后存儲(chǔ)到圖數(shù)據(jù)庫(kù),如Neo4j、TigerGraph。嵌入部分主要是對(duì)抽取出的特征進(jìn)行相應(yīng)的嵌入,比如圖像可采用ViT等嵌入模型,視頻可使用3D-CNN等。之后進(jìn)行跨模態(tài)的對(duì)齊,包括圖片和文本的對(duì)齊、文本和視頻的對(duì)齊,以及文本和音頻的對(duì)齊等。最后,聯(lián)合索引,采用FAISS、免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:20/161Milvus等向量數(shù)據(jù)庫(kù)。多模態(tài)檢索的流程如上圖。先對(duì)文檔做版式分析,獲取每個(gè)區(qū)塊的一些元素,做chunk的劃分。傳統(tǒng)RAG鏈路中,對(duì)于文本就直接用文本,對(duì)表格和圖片進(jìn)行summary,最終得到的仍是文本模態(tài)的信息,進(jìn)行embedding操作后存儲(chǔ)到向量數(shù)據(jù)庫(kù),用于后續(xù)檢索。更高維的形式是多模態(tài)嵌入,對(duì)文本模態(tài)做文本的嵌入,對(duì)表格和圖片分別做表格和圖片的嵌入,最后轉(zhuǎn)儲(chǔ)到向量數(shù)據(jù)庫(kù)中。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:21/161檢索生成的流程為,用戶(hù)輸入純文本形式或文本加圖片形式的query,首先對(duì)query進(jìn)行解析,分為文本解析、圖像解析、語(yǔ)音解析,形成多模態(tài)檢索。檢索有多種檢索策略,包括圖模式匹配的子圖檢索、向量相似度檢索、跨模態(tài)關(guān)聯(lián)檢索等。之后對(duì)檢索出來(lái)的結(jié)果進(jìn)行融合,做相關(guān)性排序,再送到大模型中做生成。圖文多模態(tài)檢索可以利用多模態(tài)大模型,結(jié)合prompt的構(gòu)造進(jìn)行拼接,然后生成檢索的答案數(shù)據(jù),之后對(duì)答案數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理或引文來(lái)源的標(biāo)注。上圖中列出了多模態(tài)GraphRAG的主要優(yōu)勢(shì),包括更細(xì)致的檢索、更高的準(zhǔn)確性和可解釋性等等。知識(shí)圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問(wèn)題免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:22/161傳統(tǒng)RAG方法存在諸多問(wèn)題,比如chunk的模式會(huì)導(dǎo)致召回大量噪聲片段;涉及聚合、過(guò)濾、統(tǒng)計(jì)時(shí)向量召回準(zhǔn)確性低,因?yàn)橄蛄磕P蛯?duì)于數(shù)字比較敏感,所以魯棒性不強(qiáng),并且大模型在數(shù)學(xué)計(jì)算方面的能力有限;傳統(tǒng)RAG的chunk之間彼此孤立,缺乏關(guān)聯(lián),在跨文檔任務(wù)上表現(xiàn)不佳;對(duì)于答案涉及多文本塊、多文檔的問(wèn)題,普通的向量召回或者ES召回能力有限;用大模型進(jìn)行任務(wù)規(guī)劃時(shí),不確定性較高,在特定可控生成任務(wù)上表現(xiàn)欠佳;大模型改寫(xiě)、推薦任務(wù)非常發(fā)散,存在幻覺(jué);領(lǐng)域語(yǔ)料不足,大模型跳出問(wèn)答,需要學(xué)會(huì)拒答;RAG整體理解受限,文本embedding后可解釋性低。知識(shí)圖譜,通過(guò)引入專(zhuān)家知識(shí),可以通過(guò)實(shí)體層級(jí)特征增強(qiáng)相關(guān)性,并且可以增強(qiáng)chunk之間的關(guān)聯(lián)。例如微軟的GraphRAG可以通過(guò)search摘要增強(qiáng)chunk之間的關(guān)系,從而提升相關(guān)性召回。假設(shè)已有KG數(shù)據(jù)存在,那么可以將KG作為召回信息源,補(bǔ)充上下文信息。此外,可將各類(lèi)知識(shí)形成一個(gè)KG,提供圖視角上的embedding,以補(bǔ)充召回的特征。知識(shí)圖譜也是另一種形式的規(guī)則知識(shí)庫(kù),可作為規(guī)范引導(dǎo)大模型進(jìn)行可控生成。利用結(jié)構(gòu)化知識(shí)構(gòu)建場(chǎng)景圖免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:23/161譜,可以進(jìn)行Cyther圖檢索。然而,構(gòu)建一個(gè)高質(zhì)量、更新靈活、計(jì)算簡(jiǎn)單的大規(guī)模圖譜成本極高。在大模型的背景下,知識(shí)圖譜應(yīng)具有更為廣泛的含義,并不局限于傳統(tǒng)的三元組形式,而是可以擴(kuò)充到更深層次的關(guān)系。例如文檔領(lǐng)域,文檔元數(shù)據(jù)級(jí)關(guān)系圖譜,節(jié)點(diǎn)是各個(gè)文檔的名稱(chēng)或者主題等元數(shù)據(jù),關(guān)系為文檔之間的相似關(guān)系或者父子關(guān)系;文檔塊級(jí)關(guān)系圖譜,節(jié)點(diǎn)可以是各個(gè)chunk(如通過(guò)版式分析識(shí)別出的標(biāo)題、段落、表格或圖片等關(guān)系是chunk之間的父子、共現(xiàn)、相似等關(guān)系;文檔實(shí)體級(jí)關(guān)系圖譜,節(jié)點(diǎn)為文檔中的特定實(shí)體類(lèi)型及關(guān)系,或者關(guān)系鍵詞網(wǎng)絡(luò)。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:24/161典型的應(yīng)用范式主要包括:nKG-enhancedprompt;nHiQA方案(引入文檔層級(jí)結(jié)構(gòu)細(xì)分召回);nLinkedinKG-RAG方案(雙層嵌入索引);nUniQA-Text2cypher的KG-RAG;nHippoRAG框架(考慮實(shí)體特異性);nGRAG方案(考慮拓?fù)浣Y(jié)構(gòu));免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:25/161n微軟GraphRAG方案(集KG大成,先做實(shí)體關(guān)系的抽取,再構(gòu)建社區(qū)摘);nKAG方案(將知識(shí)圖譜全盤(pán)納入到RAG范式中)。各類(lèi)應(yīng)用范式的代表工作如上圖所示。我們認(rèn)為,知識(shí)圖譜增強(qiáng)大模型問(wèn)答要淺投入,因?yàn)榍捌诘闹R(shí)庫(kù)構(gòu)建,還有后續(xù)的檢索,整體耗時(shí)較長(zhǎng),且消耗大量計(jì)算資源。一些相關(guān)優(yōu)化工作,如LightRAG,在GraphRAG上進(jìn)行了簡(jiǎn)化,主要去除了社區(qū)、社區(qū)摘要等環(huán)節(jié),使整個(gè)系統(tǒng)更為輕量,知識(shí)更新也更快。但無(wú)論是LightRAG,還是GraphRAG,知識(shí)圖譜本身構(gòu)建不準(zhǔn)確的問(wèn)題都較為棘手。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:26/161對(duì)比傳統(tǒng)RAG、GraphRAG和KGQA:nRAG主要進(jìn)行chunk和向量檢索,方式簡(jiǎn)單,但精確性和邏輯性較差。nGraphRAG可進(jìn)行實(shí)體關(guān)系抽取,再做社區(qū)摘要,這樣文檔語(yǔ)義關(guān)聯(lián)性更強(qiáng),但缺點(diǎn)就是圖譜質(zhì)量不高,邏輯性不足。nKGQA,指的是早期pipeline的KGQA的方式,要做很多細(xì)致的操作,比如query解析、實(shí)體鏈接、語(yǔ)義推理等,然后做原文的引用。其優(yōu)點(diǎn)是比較精確,邏輯性較高,因?yàn)槊總€(gè)鏈路都需進(jìn)行相應(yīng)優(yōu)化,生成結(jié)果可信度較高,尤其在時(shí)間和數(shù)值問(wèn)答方面較為準(zhǔn)確。缺點(diǎn)則是圖譜構(gòu)建成本較高,信息可能有損,假設(shè)實(shí)體鏈接做得不好,可能導(dǎo)致鏈接實(shí)體有誤,知識(shí)缺失。此外,可讀性較差??偨Y(jié)而言,KG方案構(gòu)建門(mén)檻高、知識(shí)稀疏;RAG方法缺少語(yǔ)義和邏輯關(guān)聯(lián);GraphRAG高度依賴(lài)開(kāi)放域信息抽取,會(huì)引入大量噪聲,最后用大模型進(jìn)行生成,可能存在幻覺(jué)問(wèn)題。頁(yè)碼:27/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料文檔多模態(tài)RAG相關(guān)工作進(jìn)展目前,涌現(xiàn)出大量文檔多模態(tài)RAG相關(guān)工作,輸入文檔截圖,通過(guò)大模型實(shí)現(xiàn)端到端的問(wèn)答,省去了之前的OCRpipeline鏈路。下面介紹一些代表性的工作。解析式文檔多模態(tài)RAG,其核心思想是將文檔切分為頁(yè)面,再利用版式識(shí)別的方式對(duì)文檔進(jìn)行各種模態(tài)元素的分割、解析、提取,然后再嵌入、檢索。主要包括三種路線:n對(duì)于文本和圖片模態(tài)直接做embedding,通過(guò)多模態(tài)的嵌入模型執(zhí)行向量檢索,通過(guò)相似度搜索,將原始圖片和文本塊傳入多模態(tài)大模型去做問(wèn)答的生成。此路線的核心大模型為多模態(tài)大模型。n使用多模態(tài)大模型對(duì)圖片生成摘要,將非文本模態(tài)轉(zhuǎn)化為純文本,并使用textembedding的方法做嵌入,將文本塊傳遞給文本生成模型以進(jìn)行答案的生成。這里主要利用多模態(tài)大模型對(duì)圖片做摘要,使用的是純文本的大模免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:28/161textembedding以獲得嵌入表示,同時(shí)使用參考原始圖像嵌入和檢索圖像摘要,最后將原始圖像和文本塊傳遞給多模態(tài)大模型進(jìn)行整合。這里用到的是多模態(tài)大模型。DocVQA式文檔多模態(tài)RAG,其核心思想是將文檔切分成頁(yè)面,不再細(xì)分區(qū)塊,直接把文檔整頁(yè)送入大模型進(jìn)行VQA工作。VisRAG、M3DocRAG,均為端到端利用多模態(tài)大模型進(jìn)行知識(shí)問(wèn)答。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:29/161多模態(tài)大模型RAG的實(shí)踐流程可概括如上圖所示。首先,將文檔轉(zhuǎn)成頁(yè)面,通過(guò)ColPali等工具將圖片編碼成向量數(shù)據(jù),同時(shí)對(duì)文本進(jìn)行相應(yīng)編碼,之后將圖片的embedding和prompt的embedding同時(shí)輸入多模態(tài)大模型,生成問(wèn)答。總結(jié)最后,對(duì)當(dāng)前工作中的要點(diǎn)總結(jié)如下:n語(yǔ)料加工是RAG中的一個(gè)重要環(huán)節(jié),占據(jù)龍頭地位,其加工的程度和質(zhì)量直接影響知識(shí)問(wèn)答的效果。n多模態(tài)大模型為文檔處理帶來(lái)新契機(jī),例如可利用大模型進(jìn)行端到端的處理,或是使用大模型對(duì)細(xì)分塊進(jìn)行處理,還有更多潛在場(chǎng)景值得探索;n需要思考如何將文檔挖得好、挖得深,雖然已經(jīng)有很多工具用于深度挖掘,但當(dāng)前仍難以脫離人工操作,要保證質(zhì)量可信,需要人進(jìn)行check;免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:30/161n文檔智能因?yàn)榇竽P偷膽?yīng)用而再次受到關(guān)注,但傳統(tǒng)的很多長(zhǎng)尾問(wèn)題還未得到根本解決;n知識(shí)圖譜要積極擁抱變化,之前的包袱太重,但不能丟,內(nèi)涵要改變,要從結(jié)構(gòu)、粒度、形式等多方面發(fā)展。NLP/CV/BERT等)仍具有應(yīng)用價(jià)值,不可摒棄。以上即為本次分享的全部?jī)?nèi)容,謝謝大家。問(wèn)答環(huán)節(jié)A1:在搭建MMOCR多模態(tài)大模型的實(shí)踐中發(fā)現(xiàn),該模型對(duì)資源的消耗極大。即便是企業(yè)用戶(hù),可能也難以具備充足資源用于部署多模態(tài)大模型。此外,多模態(tài)大模型屬于數(shù)據(jù)驅(qū)動(dòng)型模型,在前期訓(xùn)練階段,可能需要成百上千萬(wàn)的數(shù)據(jù)才免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:31/161能訓(xùn)練出一個(gè)多模態(tài)大模型。再者,關(guān)于幻覺(jué)問(wèn)題,普通RAG在處理自上而下這類(lèi)簡(jiǎn)單版式時(shí),效果或許較好,但面對(duì)包含多種元素的復(fù)雜版式,效果可能欠佳。對(duì)于簡(jiǎn)單表格,多模態(tài)大模型能夠端到端輸出為markdown格式。然而,圖片多模態(tài)大模型無(wú)法進(jìn)行截圖或定位操作。綜上所述,在資源有限的情況下,建議采用pipeline模式。A2:標(biāo)題識(shí)別的準(zhǔn)確性主要與版式識(shí)別中標(biāo)簽的定義相關(guān)。其一,標(biāo)題級(jí)別可定義為一級(jí)標(biāo)題、二級(jí)標(biāo)題、三級(jí)標(biāo)題等。但在實(shí)際落地過(guò)程中發(fā)現(xiàn),盡管標(biāo)題定義粒度精細(xì),采用CV方式時(shí)有時(shí)會(huì)出現(xiàn)漏檢情況,從而導(dǎo)致識(shí)別不準(zhǔn)確。建議將標(biāo)題定義為統(tǒng)一形式,標(biāo)題分級(jí)可通過(guò)一些規(guī)則進(jìn)行后處理。其二,可以訓(xùn)練一個(gè)語(yǔ)義模型。若語(yǔ)義模型獲取的數(shù)據(jù)量足夠多,其具備一定的標(biāo)題層級(jí)劃分能力。通過(guò)語(yǔ)義標(biāo)記,結(jié)合相應(yīng)規(guī)則的后處理,能夠?qū)崿F(xiàn)標(biāo)題分級(jí)。不過(guò),很難保證能夠做到盡善盡美。頁(yè)碼:32/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料知識(shí)圖譜與大模型雙輪驅(qū)動(dòng):金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路導(dǎo)讀:恒生作為一家專(zhuān)注于助力金融領(lǐng)域客戶(hù)實(shí)現(xiàn)智能化產(chǎn)品落地的服務(wù)機(jī)構(gòu),積累了豐富的產(chǎn)業(yè)實(shí)踐經(jīng)驗(yàn)。在協(xié)助企業(yè)落地智能化產(chǎn)品的過(guò)程中,我們?cè)庥隽艘幌盗嘘P(guān)鍵難題,包括但不限于性?xún)r(jià)比、準(zhǔn)確率等核心問(wèn)題。同時(shí),隨著技術(shù)的快速演進(jìn),自2019年以來(lái),特別是大模型興起之后,金融知識(shí)圖譜領(lǐng)域也出現(xiàn)了新的發(fā)展范式。在此,我們將基于實(shí)際案例,深入分享在實(shí)踐過(guò)程中所積累的寶貴經(jīng)驗(yàn),同時(shí)對(duì)新范式是否會(huì)替代知識(shí)圖譜,以及大模型如何助力解決知識(shí)圖譜先前面臨的問(wèn)題展開(kāi)探討。主要內(nèi)容包括以下幾大部分:1.金融場(chǎng)景的困局與破局2.大模型技術(shù)帶來(lái)的新范式3.產(chǎn)品功能與設(shè)計(jì)的演進(jìn)4.落地挑戰(zhàn)與未來(lái)變化分享嘉賓|李明明恒生電子股份有限公司AI產(chǎn)品經(jīng)理編輯整理|李天星內(nèi)容校對(duì)|李瑤出品社區(qū)|DataFun頁(yè)碼:33/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料金融場(chǎng)景的困局與破局1.聚焦金融+AI領(lǐng)域恒生知識(shí)圖譜團(tuán)隊(duì)在過(guò)往實(shí)踐中,成功搭建了如下幾類(lèi)重要應(yīng)用場(chǎng)景:n證券交易行為畫(huà)像:該場(chǎng)景旨在通過(guò)股票與債券交易行為構(gòu)建知識(shí)圖譜,實(shí)現(xiàn)對(duì)相關(guān)機(jī)構(gòu)的交易行為的精準(zhǔn)刻畫(huà)。恒生憑借與眾多交易所級(jí)別金融機(jī)構(gòu)的緊密合作,深入洞悉金融行業(yè)交易行為,此外還引入諸如產(chǎn)業(yè)鏈、輿情等信息,在此基礎(chǔ)上構(gòu)建了證券交易行為畫(huà)像。其中的挑戰(zhàn)在于,圖譜本身并非一種對(duì)時(shí)間序列數(shù)據(jù)敏感的工具,而證券交易行為的場(chǎng)景往往需要對(duì)過(guò)往交易數(shù)據(jù)進(jìn)行加工。在大模型興起后,我們對(duì)這類(lèi)場(chǎng)景進(jìn)行了優(yōu)化。n投研投顧:即基于產(chǎn)業(yè)鏈上下游進(jìn)行產(chǎn)業(yè)分析與傳導(dǎo)。主要聚焦于國(guó)內(nèi)權(quán)益市場(chǎng),特別是債券違約預(yù)警與發(fā)現(xiàn)的場(chǎng)景。n信用分析:基于企業(yè)圖譜、產(chǎn)業(yè)鏈圖譜進(jìn)行多層事件風(fēng)險(xiǎn)傳導(dǎo)、滲透評(píng)估和免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:34/161風(fēng)險(xiǎn)影響面估計(jì)。如兩年前恒大違約事件,在此之前我們已經(jīng)基于圖譜進(jìn)行了事件的發(fā)現(xiàn),并對(duì)違約可能影響的金融機(jī)構(gòu),以及后續(xù)可能衍生的行為進(jìn)行了分析與預(yù)測(cè)。信用分析工作的核心就在于解決此類(lèi)重大風(fēng)險(xiǎn)事件的前瞻性評(píng)估與連鎖反應(yīng)預(yù)測(cè)問(wèn)題。n反洗錢(qián):即基于反洗錢(qián)報(bào)送的高風(fēng)險(xiǎn)用戶(hù)進(jìn)行多跳關(guān)聯(lián)。當(dāng)前國(guó)內(nèi)數(shù)據(jù)不夠完善,證券基金領(lǐng)域相對(duì)于銀行領(lǐng)域而言比較落后,機(jī)構(gòu)之間缺乏數(shù)據(jù)共享。當(dāng)前主要在高風(fēng)險(xiǎn)客戶(hù)應(yīng)用知識(shí)圖譜。中國(guó)人民銀行反洗錢(qián)交易中心要求各機(jī)構(gòu)上報(bào)高風(fēng)險(xiǎn)用戶(hù),在一定領(lǐng)域內(nèi)可以共享,如何利用上述信息開(kāi)展多跳關(guān)聯(lián)是我們的關(guān)注重點(diǎn)。2.金融知識(shí)圖譜平臺(tái)基于上述場(chǎng)景,我們構(gòu)建了金融知識(shí)圖譜平臺(tái)。該平臺(tái)與常規(guī)圖譜產(chǎn)品的主要差別點(diǎn)在于:n恒生并不涉足底層圖數(shù)據(jù)庫(kù)存儲(chǔ)層研發(fā),而是致力于兼容主流圖數(shù)據(jù)庫(kù)廠商,如為用戶(hù)提供D2R(數(shù)據(jù)轉(zhuǎn)關(guān)系)工具,用于快速將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為圖免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:35/161數(shù)據(jù)并完成導(dǎo)入。同時(shí),還提供定時(shí)任務(wù)工具與任務(wù)調(diào)度框架等。n聚焦不同金融場(chǎng)景,如事件傳導(dǎo)分析、股權(quán)穿透、反洗錢(qián)等,沉淀出插件類(lèi)產(chǎn)品或基礎(chǔ)類(lèi)應(yīng)用,提供給金融機(jī)構(gòu),作為底層技術(shù)平臺(tái)與上層應(yīng)用之間的技術(shù)中間件。我們提供了底層存儲(chǔ)、緩存、ES檢索、圖計(jì)算的常用算法、圖譜實(shí)體關(guān)系標(biāo)簽與相關(guān)參數(shù),以及數(shù)據(jù)可視化、實(shí)體關(guān)系深度分析等工具和方案。這是曾經(jīng)的一個(gè)案例——銅掌柜暴雷事件,通過(guò)事件影響傳導(dǎo),針對(duì)該事件對(duì)產(chǎn)業(yè)鏈上下游相關(guān)系企業(yè)以及股權(quán)關(guān)系關(guān)聯(lián)企業(yè)可能產(chǎn)生的影響進(jìn)行了定量分析。3.金融場(chǎng)景的困局與破局免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:36/161金融知識(shí)圖譜面臨諸多問(wèn)題,從AI產(chǎn)品經(jīng)理角度來(lái)看,困局主要在以下幾個(gè)方n用戶(hù)風(fēng)險(xiǎn)厭惡性高,可控性要求高金融機(jī)構(gòu)用戶(hù)對(duì)風(fēng)險(xiǎn)的厭惡程度高,雖追求業(yè)務(wù)智能化,但當(dāng)智能化表現(xiàn)超出其理解時(shí),往往會(huì)質(zhì)疑結(jié)果。若智能化分析與用戶(hù)認(rèn)知相悖,產(chǎn)品經(jīng)理需加以引導(dǎo)。因此,圖譜、機(jī)器學(xué)習(xí)等智能化應(yīng)用中,可解釋性與傳導(dǎo)邏輯比結(jié)果更關(guān)鍵。演繹推理往往比歸納推理更受業(yè)內(nèi)認(rèn)可。例如在新冠疫情期間,要分析其對(duì)金融資產(chǎn)的影響,業(yè)務(wù)人員會(huì)按照之前SARS的情況進(jìn)行推理,盡管SARS造成的影響范圍與新冠并不一樣。歸納推理數(shù)據(jù)不夠且可解釋性不足,給推理結(jié)果帶來(lái)了挑戰(zhàn)。n規(guī)則邏輯的局限性在方案落地進(jìn)程中,我們期望融入更多金融知識(shí)。然而,金融知識(shí)的邏輯梳理、維護(hù)及更新工作,投入產(chǎn)出比極低。實(shí)際操作里,既沒(méi)人愿意承擔(dān)這項(xiàng)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:37/161工作,維護(hù)質(zhì)量也難以保證。大模型的出現(xiàn),有望在一定程度上彌補(bǔ)這一短板。另外,由于不同機(jī)構(gòu)、不同行業(yè)、不同規(guī)模,乃至同一金融機(jī)構(gòu)的不同業(yè)務(wù),對(duì)金融知識(shí)的理解各不相同,規(guī)則存在極大局限性,所以不存在通用的完美解決方案。當(dāng)下,我們認(rèn)為性?xún)r(jià)比最高的方案當(dāng)屬DeepSearch等,這類(lèi)面向AI的優(yōu)化搜索方式,能更好地感知外部世界,也是未來(lái)方案落地更合理的切入點(diǎn)。n數(shù)據(jù)表示的局限性知識(shí)圖譜的核心是三元組,是一種對(duì)已有知識(shí)的壓縮。例如,同樣是債券交易,但交易目的不同,如資產(chǎn)配置或短期套利,不同目的會(huì)有不同的預(yù)測(cè)和傳導(dǎo)風(fēng)險(xiǎn),而圖譜三元組難以記錄這些屬性,會(huì)導(dǎo)致大量信息損失,進(jìn)而致使圖譜在推理過(guò)程中暴露出局限性。上述問(wèn)題導(dǎo)致金融知識(shí)圖譜產(chǎn)品愈發(fā)偏向于另外一種規(guī)則引擎。大模型技術(shù)帶來(lái)的新范式1.新范式:KG+LLM的一些方向免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:38/161大模型的興起為知識(shí)圖譜帶來(lái)了新的契機(jī)。nLLM輔助圖譜構(gòu)建在知識(shí)圖譜的構(gòu)建、知識(shí)表示、推理及運(yùn)用過(guò)程中,大模型相較于傳統(tǒng)自然語(yǔ)言處理(NLP)方法展現(xiàn)出更高的性?xún)r(jià)比。借助大模型的提示(prompt)功能,能夠高效完成實(shí)體關(guān)系抽取任務(wù),已實(shí)現(xiàn)對(duì)傳統(tǒng)NLP算法的替代。不僅如此,大模型還具備挖掘隱含知識(shí)的能力,即便是那些處于長(zhǎng)尾分布的小眾、低頻知識(shí),也能精準(zhǔn)發(fā)現(xiàn)。nLLM輔助圖譜推理其一,利用大模型可以實(shí)現(xiàn)知識(shí)的動(dòng)態(tài)更新,尤其是對(duì)推理邏輯的實(shí)時(shí)優(yōu)化;其二,演繹推理可有效填補(bǔ)因數(shù)據(jù)局限性而導(dǎo)致的歸納推理的不足。n基于圖譜技術(shù)的RAGGraphRAG/LightGraphRAG,借助圖結(jié)構(gòu)可增強(qiáng)對(duì)復(fù)雜關(guān)系的建模和推理能力,但由于性?xún)r(jià)比較低尚難以在金融領(lǐng)域普及。KAG通過(guò)結(jié)構(gòu)化圖譜與知免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:39/161Think-on-Graph,通過(guò)識(shí)別與問(wèn)題相關(guān)實(shí)體,檢索相關(guān)三元組進(jìn)行探索推理,生成多個(gè)推理路徑,直至收集到足夠信息回答問(wèn)題或達(dá)到最大深度。盡管三個(gè)方向都有嘗試,但目前比較成熟的是前兩種方式。2.質(zhì)疑陸奇老師層提出,知識(shí)圖譜真的不行。對(duì)此我們也展開(kāi)過(guò)相關(guān)討論。用知識(shí)圖譜做大模型,是不是馬拉火車(chē)?在2020年前,普遍認(rèn)為圖譜技術(shù)會(huì)引免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:40/161領(lǐng)AI發(fā)展,但現(xiàn)在人們則質(zhì)疑LLM是否一定要套圖譜的外殼。產(chǎn)品功能與設(shè)計(jì)的演進(jìn)AI或大模型在金融領(lǐng)域落地,需要考慮三個(gè)核心因素:準(zhǔn)確率、成本、速度。以如下三個(gè)問(wèn)題為例,針對(duì)不同場(chǎng)景,大模型和知識(shí)圖譜各有其優(yōu)勢(shì)。問(wèn)題1:螞蟻和恒生電子的關(guān)系是什么?這種問(wèn)題使用純LLM的方式更優(yōu),更新圖譜性?xún)r(jià)比不高。大模型基于外部信息檢索的結(jié)果更符合業(yè)務(wù)人員認(rèn)知,且可以避免知識(shí)更新不及時(shí)帶來(lái)的問(wèn)題。問(wèn)題2:反洗錢(qián)系統(tǒng)中張三和李四的關(guān)系是什么?在這個(gè)問(wèn)題中,張三和李四代表行業(yè)專(zhuān)有名詞或公司內(nèi)部數(shù)據(jù)。針對(duì)這種專(zhuān)業(yè)知識(shí)的多跳關(guān)系搜索,采用圖譜方案更優(yōu),無(wú)論速度還是專(zhuān)業(yè)性與精確度上都更具優(yōu)勢(shì)。問(wèn)題3:機(jī)構(gòu)A和XXX債券的關(guān)系是什么?或者機(jī)構(gòu)A、機(jī)構(gòu)B頻繁買(mǎi)入XXX債券說(shuō)明了什么?這種既涉及通用知識(shí)又涉及私域知識(shí)的情況下,大模型頁(yè)碼:41/161和圖譜結(jié)合的方式則更為有效。知識(shí)專(zhuān)業(yè)性越強(qiáng)、私域化和時(shí)效性要求越高,同時(shí)企業(yè)圖譜完備度越高時(shí),更偏向采用圖譜產(chǎn)品;反之,則更偏向選擇大模型。當(dāng)前,大模型的適用領(lǐng)域持續(xù)擴(kuò)展,而知識(shí)圖譜的應(yīng)用空間正在被不斷壓縮。基于上述思考,我們對(duì)產(chǎn)品做了一些改變,上圖中橙色部分,如圖數(shù)據(jù)庫(kù)、圖譜的查詢(xún)分析算法等還是以圖譜為主;紅色部分,如信息抽取、三元組表示和圖譜構(gòu)建等,則轉(zhuǎn)向LLM為主;藍(lán)色部分,如知識(shí)推理等,根據(jù)場(chǎng)景與客戶(hù)情況進(jìn)頁(yè)碼:42/161行區(qū)分。落地挑戰(zhàn)與未來(lái)變化1.落地挑戰(zhàn)n有得必有失三元組本身就是知識(shí)的有損壓縮,并不是所有內(nèi)容都適合進(jìn)圖譜。GraphRAG和LightGraphRAG如果能夠?qū)⑦m合的內(nèi)容抽進(jìn)圖譜,其落地才能更好地推廣。n圖譜知識(shí)的可維護(hù)性圖譜是沒(méi)有時(shí)間維度的,金融領(lǐng)域的數(shù)據(jù)如何更快更好地進(jìn)行維護(hù)是一大挑nChatBot的挑戰(zhàn)在ChatBot的應(yīng)用場(chǎng)景中,面臨的挑戰(zhàn)之一是如何精準(zhǔn)判斷:哪些問(wèn)題需要借助KG能力來(lái)解答,哪些問(wèn)題則無(wú)需KG便可處理。n是否有銀彈金融業(yè)務(wù)和人遠(yuǎn)遠(yuǎn)比IT解決方案復(fù)雜,因此沒(méi)有統(tǒng)一的解決方案可以解決所有問(wèn)題。nKG與LLM更深地融合利用圖譜輔助LLM訓(xùn)練,以及基于圖學(xué)習(xí)的Adapter可訓(xùn)練結(jié)構(gòu)等,是值得探索的領(lǐng)域。2.未來(lái)變化免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:43/161n圖譜回歸到自己更適合的領(lǐng)域圖譜未來(lái)可能作為智能體的一部分,與API、結(jié)構(gòu)化數(shù)據(jù)庫(kù)、RAG結(jié)合, 成為Agent長(zhǎng)短記憶體和Tools的一部分,在合適的情況下讓大模型調(diào)用,讓圖譜回歸到自己更適合的領(lǐng)域。nAI應(yīng)用一定是ChatBot嗎?當(dāng)前,大模型應(yīng)用更多以問(wèn)答形式呈現(xiàn)。而在2B領(lǐng)域的非即時(shí)性任務(wù)中,知識(shí)圖譜可以發(fā)揮重要作用。因此,探索非ChatBot形式的應(yīng)用,能夠更好地釋放知識(shí)圖譜的價(jià)值。n特定的私域數(shù)據(jù)場(chǎng)景依舊需要圖譜多跳計(jì)算、社團(tuán)分析、最短路、可控傳導(dǎo)等領(lǐng)域,仍然要依靠知識(shí)圖譜。n讓子彈飛一會(huì)兒所謂的統(tǒng)一的框架、解決方案還在路上。頁(yè)碼:44/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料融合知識(shí)圖譜與大模型的中醫(yī)臨床輔助決策體系導(dǎo)讀:隨著信息技術(shù)的發(fā)展,現(xiàn)代醫(yī)學(xué)逐漸向數(shù)字化和智能化方向邁進(jìn)。尤其是在中醫(yī)藥領(lǐng)域,通過(guò)將傳統(tǒng)的中醫(yī)療法與先進(jìn)的計(jì)算技術(shù)相結(jié)合,不僅可以提高診療效率,還能增強(qiáng)診斷的準(zhǔn)確性和個(gè)性化治療方案的有效性。本報(bào)告旨在探討如何利用大模型與知識(shí)圖譜構(gòu)建一個(gè)高效的中醫(yī)臨床輔助決策體系,并詳細(xì)說(shuō)明其在實(shí)際應(yīng)用中的優(yōu)勢(shì)及未來(lái)發(fā)展方向。主要內(nèi)容包括以下幾個(gè)部分:1.政策背景與行業(yè)現(xiàn)狀2.核心技術(shù)體系構(gòu)建3.臨床應(yīng)用與成效分享嘉賓|文天才博士中國(guó)中醫(yī)科學(xué)院中醫(yī)藥數(shù)據(jù)中心教授級(jí)高工編輯整理|Kathy內(nèi)容校對(duì)|李瑤出品社區(qū)|DataFun政策背景與行業(yè)現(xiàn)狀1.政策背景免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:45/1612024年7月19日,國(guó)家中醫(yī)藥管理局和國(guó)家數(shù)據(jù)局聯(lián)合發(fā)布了《關(guān)于促進(jìn)數(shù)字中醫(yī)藥發(fā)展的若干意見(jiàn)》,意見(jiàn)中明確指出用3-5年時(shí)間推動(dòng)大數(shù)據(jù)、人工智能技術(shù)與中醫(yī)藥全鏈條深度融合,重點(diǎn)推進(jìn)中醫(yī)藥數(shù)據(jù)共享與流通,構(gòu)建數(shù)字中醫(yī)藥生態(tài)體系,支撐中醫(yī)藥現(xiàn)代化與國(guó)際化。2021年發(fā)布的"十四五"規(guī)劃綱要中也提出了關(guān)于智慧醫(yī)療的一些重要指示,強(qiáng)調(diào)要加快科技創(chuàng)新與數(shù)字化產(chǎn)業(yè)升級(jí),構(gòu)建智慧醫(yī)療等重點(diǎn)領(lǐng)域生態(tài)體系,建設(shè)中醫(yī)藥科技支撐平臺(tái),加強(qiáng)中醫(yī)藥文化傳承與國(guó)際傳播。2022年,國(guó)務(wù)院辦公廳印發(fā)《"十四五"中醫(yī)藥發(fā)展規(guī)劃》,提出建設(shè)智慧醫(yī)療、智慧服務(wù)、智慧管理“三位一體”的智慧中醫(yī)醫(yī)院,持續(xù)推動(dòng)"互聯(lián)網(wǎng)+醫(yī)療健康"覆蓋診前、診中、診后全流程,鼓勵(lì)研發(fā)中醫(yī)辯證論治智能輔助診療系統(tǒng)(CDSS)。2.行業(yè)現(xiàn)狀中醫(yī)藥行業(yè)早已告別往昔僅靠鶴發(fā)童顏的老中醫(yī)通過(guò)號(hào)脈、觀察舌苔來(lái)診療的傳統(tǒng)模式,步入高度信息化的時(shí)代。當(dāng)下,人工智能的深度融入更是為其發(fā)展按下“加速鍵”。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:46/161然而,快速發(fā)展的進(jìn)程中也面臨諸多痛點(diǎn):n數(shù)據(jù)標(biāo)準(zhǔn)化和互操作性:中醫(yī)的診療數(shù)據(jù)和西醫(yī)的數(shù)據(jù)標(biāo)準(zhǔn)有很大不同,數(shù)據(jù)標(biāo)準(zhǔn)化程度較低,導(dǎo)致在整合和共享數(shù)據(jù)時(shí)存在困難。中醫(yī)診療中的“四診”(望、聞、問(wèn)、切)數(shù)據(jù)難以標(biāo)準(zhǔn)化和數(shù)字化,尤其是主觀性較強(qiáng)的部分。n技術(shù)支持不足:中醫(yī)藥的理論體系復(fù)雜且獨(dú)特,需要特定的算法和模型來(lái)進(jìn)行智能診斷和治療方案推薦?,F(xiàn)有的人工智能和大數(shù)據(jù)技術(shù)在中醫(yī)領(lǐng)域的應(yīng)用還不夠成熟,缺乏針對(duì)性的技術(shù)解決方案。n中醫(yī)藥知識(shí)庫(kù)建設(shè):中醫(yī)藥的理論和實(shí)踐知識(shí)龐大而分散,缺乏系統(tǒng)化的數(shù)字化知識(shí)庫(kù)?,F(xiàn)有的中醫(yī)藥文獻(xiàn)、案例和臨床數(shù)據(jù)的數(shù)字化和結(jié)構(gòu)化工作量大,進(jìn)展緩慢。n用戶(hù)體驗(yàn)和系統(tǒng)易用性:智能診療系統(tǒng)的界面設(shè)計(jì)和操作流程需要符合中醫(yī)診療的習(xí)慣和特點(diǎn),以提升用戶(hù)體驗(yàn)。系統(tǒng)的易用性和可靠性直接影響醫(yī)生和患者的使用意愿和效果。核心技術(shù)體系構(gòu)建為了推動(dòng)中醫(yī)藥現(xiàn)代化,眾多科研團(tuán)隊(duì)致力于將現(xiàn)代科學(xué)技術(shù),特別是信息技術(shù)應(yīng)用于傳統(tǒng)中醫(yī)領(lǐng)域。這一努力旨在通過(guò)系統(tǒng)化、科學(xué)化的手段提升中醫(yī)診療的有效性和準(zhǔn)確性。1.中醫(yī)學(xué)的信息學(xué)原理為了推動(dòng)中醫(yī)學(xué)與信息學(xué)的融合發(fā)展,中國(guó)中醫(yī)科學(xué)院劉保延教授和文天才教授免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:47/161針對(duì)該領(lǐng)域進(jìn)行了深入地研究,并撰寫(xiě)了一篇題為《從信息科學(xué)與物質(zhì)科學(xué)及其范式認(rèn)識(shí)中西醫(yī)體系的科學(xué)原理》的文章,于2023年7月在《科技導(dǎo)報(bào)》上作為封面文章發(fā)表,并在同年11月被權(quán)威雜志《新華文摘》全文轉(zhuǎn)載,本文內(nèi)容為本報(bào)告相關(guān)工作提供了理論和方向支撐。本文深入探討了中醫(yī)學(xué)與信息學(xué)之間的關(guān)系,提出了中醫(yī)學(xué)本質(zhì)上是一門(mén)信息科學(xué)的觀點(diǎn):醫(yī)者在中醫(yī)理論指導(dǎo)下和臨床經(jīng)驗(yàn)的約束下,圍繞著幫助患者解除病痛這一目標(biāo),利用自己的感官望聞問(wèn)切,有目的的收集患者的臨床表現(xiàn)及其相關(guān)信息,將其記錄下來(lái),就形成了數(shù)據(jù);進(jìn)一步用原有的信息如中醫(yī)病因、病機(jī)、病位、病勢(shì)等來(lái)理解已收集的數(shù)據(jù),形成初步認(rèn)識(shí),就將來(lái)自患者的數(shù)據(jù)通過(guò)分類(lèi)轉(zhuǎn)變成了信息;再利用自己所掌握的疾病、證候等知識(shí)等做出判斷,形成診斷結(jié)果,就將信息轉(zhuǎn)換為知識(shí),進(jìn)一步依據(jù)診斷結(jié)果、結(jié)合自己臨床經(jīng)驗(yàn)和所掌握的干預(yù)手段提出診療方案和處方用藥,這就將知識(shí)進(jìn)一步轉(zhuǎn)變?yōu)橹腔???梢?jiàn)辨證論治的信息轉(zhuǎn)換是在醫(yī)患交互的過(guò)程中,在中醫(yī)藥已經(jīng)構(gòu)建的知識(shí)體系的基礎(chǔ)上,利用人的信息器官在信息技術(shù)支撐下所實(shí)現(xiàn)的。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:48/161n中醫(yī)診療過(guò)程模型化信息采集:通過(guò)“望聞問(wèn)切”獲取患者體征癥狀信息。信息處理:醫(yī)生基于經(jīng)驗(yàn)與知識(shí)進(jìn)行辨證分析,判斷病因、病機(jī)、病位、病知識(shí)應(yīng)用:制定治則治法,開(kāi)具方藥并觀察療效反饋。n中醫(yī)科學(xué)原理闡釋中醫(yī)診療本質(zhì)是信息感知、處理與決策的過(guò)程,與現(xiàn)代信息科學(xué)范式高度契醫(yī)生作為“人肉計(jì)算機(jī)”,通過(guò)感官采集數(shù)據(jù),大腦進(jìn)行信息加工與知識(shí)轉(zhuǎn)中醫(yī)理論(如《黃帝內(nèi)經(jīng)》《傷寒論》)是歷代醫(yī)家經(jīng)驗(yàn)的知識(shí)化總結(jié)。現(xiàn)代技術(shù)(知識(shí)圖譜、大模型)可系統(tǒng)化構(gòu)建中醫(yī)知識(shí)體系,實(shí)現(xiàn)經(jīng)驗(yàn)傳承與創(chuàng)新。為了提升中醫(yī)藥領(lǐng)域的科技能力,文天才教授帶領(lǐng)科研團(tuán)隊(duì)正在利用現(xiàn)代信息技術(shù)(如大數(shù)據(jù)、人工智能、知識(shí)圖譜等開(kāi)展了一系列工作,包括中醫(yī)智慧診療、智慧健康管理、智慧科研。2.大模型+知識(shí)圖譜助力中醫(yī)診療盡管當(dāng)前的大模型已經(jīng)能夠?qū)W習(xí)到大量公開(kāi)的知識(shí),但由于其知識(shí)較為寬泛并缺乏專(zhuān)業(yè)領(lǐng)域深度知識(shí)思考和因果推理能力,無(wú)法為診療過(guò)程提供精確的專(zhuān)業(yè)指導(dǎo)。因此,在中醫(yī)診療過(guò)程中,除了使用大模型外,還需引入諸如知識(shí)圖譜等規(guī)則化知識(shí)來(lái)增強(qiáng)模型診斷的精準(zhǔn)度和可靠性。以模擬醫(yī)生問(wèn)診過(guò)程為例,當(dāng)患者描述癥狀(如腰酸腿痛)時(shí),大模型可能會(huì)初免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:49/161步推測(cè)可能是腎虛引起的問(wèn)題,并進(jìn)一步詢(xún)問(wèn)相關(guān)癥狀(如夜間盜汗、尿頻尿急)。然而,這樣的推理過(guò)程可能存在不確定性或“幻覺(jué)”。通過(guò)結(jié)合知識(shí)圖譜,可以為大模型提供結(jié)構(gòu)化的知識(shí)支持,使其在推理過(guò)程中更加精確。最終,大模型可以結(jié)合知識(shí)圖譜實(shí)現(xiàn)患者的證候診斷,并據(jù)此提出更為準(zhǔn)確的治療建議。中醫(yī)的知識(shí)體系可以采用知識(shí)樹(shù)或知識(shí)圖譜來(lái)表達(dá)(模式層)。例如,一個(gè)疾病可以包含多個(gè)證候,因?yàn)榧膊∈菍?duì)一種“病”全生命周期的概括,而證候是“病”在某一階段的特征總結(jié);證候又可表現(xiàn)為多種癥狀,一個(gè)證候可以對(duì)應(yīng)一個(gè)治法治則等等。當(dāng)面對(duì)具體患者時(shí),則可以將模式層轉(zhuǎn)換為數(shù)據(jù)層。例如,糖尿病腎病的一種證型為脾腎陽(yáng)虛,而脾腎陽(yáng)虛則可以表現(xiàn)為水腫、腰膝酸軟、面色蒼白和乏力等。這種結(jié)構(gòu)化的知識(shí)表示方式非常適合用知識(shí)圖譜的形式來(lái)組織和存儲(chǔ),以便于后續(xù)與大模型結(jié)果進(jìn)行推理。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:50/161此外,還可以構(gòu)建更深層次的認(rèn)知圖譜,通過(guò)為節(jié)點(diǎn)和邊添加權(quán)重來(lái)反映不同信息的重要性,從而提高推理精度。通過(guò)上述工作,文天才教授帶領(lǐng)團(tuán)隊(duì)構(gòu)建了中醫(yī)藥診療知識(shí)庫(kù)。該知識(shí)庫(kù)不僅涵蓋了具體疾病的治療方案,還包括典籍術(shù)語(yǔ)、名醫(yī)名家的診療經(jīng)驗(yàn)等多層次的知識(shí)。鑒于醫(yī)學(xué)領(lǐng)域的嚴(yán)謹(jǐn)性,團(tuán)隊(duì)將所有知識(shí)按照證據(jù)級(jí)別分為三級(jí):一級(jí)知識(shí)包括指南、教材、專(zhuān)家共識(shí)等;二級(jí)知識(shí)則涉及名醫(yī)的臨床經(jīng)驗(yàn)和專(zhuān)業(yè)書(shū)籍;三級(jí)知識(shí)則涵蓋古籍文獻(xiàn)等。這種分級(jí)有助于確保診療建議的科學(xué)性和有效性。結(jié)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:51/161合大模型相關(guān)技術(shù)與中醫(yī)專(zhuān)屬知識(shí)庫(kù),為中醫(yī)診療智能化應(yīng)用提供支撐。臨床應(yīng)用與成效1.平臺(tái)核心功能最終,在大模型和知識(shí)圖譜的支撐下,團(tuán)隊(duì)構(gòu)建了包括智慧問(wèn)診、智慧辯證和輔助開(kāi)方三大功能的中醫(yī)臨床輔助決策平臺(tái)。智慧問(wèn)診借助智能語(yǔ)義技術(shù)和邏輯化疾病知識(shí)集,感知病歷文字,推薦相關(guān)癥狀,減少問(wèn)診遺漏;智慧辯證基于邏輯化疾病知識(shí)集,通過(guò)智能算法結(jié)合多方面信息,推薦診斷結(jié)果,降低漏診誤診;輔助開(kāi)方依據(jù)中西醫(yī)結(jié)合診療知識(shí)集,關(guān)聯(lián)患者多項(xiàng)信息,為不同科室智能推薦最佳中醫(yī)診療處方。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:52/1612.應(yīng)用場(chǎng)景示例在實(shí)際應(yīng)用中,可將上述知識(shí)圖譜和大模型的能力以API方式嵌入到醫(yī)院現(xiàn)有的HIS系統(tǒng)中,使得醫(yī)生能夠在日常工作中便捷地使用這些工具。例如,當(dāng)醫(yī)生輸入患者的癥狀后,系統(tǒng)能自動(dòng)推薦相關(guān)的癥狀和可能的疾病類(lèi)型和分析并推薦最有可能的診斷結(jié)果,并給出個(gè)性化的治療方案。這不僅可以提高診療效率,還可以通過(guò)知識(shí)共享提升基層醫(yī)療服務(wù)的質(zhì)量。頁(yè)碼:53/161現(xiàn)在,團(tuán)隊(duì)還接入了最新的DeepSeek大模型,同時(shí)結(jié)合知識(shí)圖譜和醫(yī)學(xué)推理私有模型,充分發(fā)揮私有小模型的精確性的優(yōu)勢(shì)和大模型處理模糊信息的優(yōu)勢(shì),使臨床服務(wù)能力進(jìn)一步提升。目前,該平臺(tái)不僅支持結(jié)構(gòu)化數(shù)據(jù)的處理,還可以解析圖像數(shù)據(jù)。這使得系統(tǒng)可以更全面地分析患者的病情,提供更為精準(zhǔn)的診斷建議。此外,為了保證大模型生成處方的合規(guī)和安全,團(tuán)隊(duì)還建立了包含7萬(wàn)余種西藥、4萬(wàn)余種中成藥和8千余種中藥的數(shù)據(jù)庫(kù),并在此基礎(chǔ)上構(gòu)建了涵蓋17大免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:54/161類(lèi)300余萬(wàn)條規(guī)則的方劑審查規(guī)則庫(kù),該規(guī)則庫(kù)不僅包括中藥之間的“十八反十九畏”等規(guī)則,還包括了西藥聯(lián)用、中西醫(yī)藥聯(lián)用審查規(guī)則。同時(shí),考慮到兒童、老年人、運(yùn)動(dòng)員等特殊人群的需求,規(guī)則庫(kù)中特別加入了針對(duì)這些群體的安全用藥指導(dǎo),從而為模型推薦處方進(jìn)行最后把關(guān)。3.科研成果作為一支國(guó)家級(jí)科研團(tuán)隊(duì),文天才教授團(tuán)隊(duì)在既往科研工作中形成了大量軟件、專(zhuān)利、獎(jiǎng)勵(lì)、論文、著作等成果。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:55/161頁(yè)碼:56/161頁(yè)碼:57/161頁(yè)碼:58/161未來(lái),團(tuán)隊(duì)也將秉持開(kāi)放合作的態(tài)度,為中醫(yī)藥行業(yè)的數(shù)字化、智能化轉(zhuǎn)型注入持久動(dòng)力,開(kāi)拓更為廣闊的發(fā)展天地。頁(yè)碼:59/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料智譜共融:大模型驅(qū)動(dòng)的知識(shí)圖譜范式重構(gòu)與演進(jìn)路徑導(dǎo)讀:在人工智能領(lǐng)域,隨著大模型的迅速發(fā)展,其對(duì)知識(shí)圖譜的作用引發(fā)了廣泛關(guān)注。知識(shí)圖譜作為一種結(jié)構(gòu)化的知識(shí)表示方式,能夠有效增強(qiáng)大模型的推理能力和可解釋性,彌補(bǔ)其推理能力單一和幻覺(jué)問(wèn)題。在數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)的結(jié)合中,知識(shí)圖譜提供了一種可控、可解釋的方式,幫助大模型實(shí)現(xiàn)更高級(jí)的智能。本文將深入探討知識(shí)圖譜與大模型的深度融合路徑,包括提示工程、模型微調(diào)、檢索增強(qiáng)、推理協(xié)同等方面的應(yīng)用,通過(guò)這些融合,將有助于構(gòu)建下一代可信的智能系統(tǒng),為實(shí)現(xiàn)通用人工智能奠定基礎(chǔ)。今天的分享會(huì)圍繞以下三個(gè)方面展開(kāi):1.KG+LLM概述2.KG+LLM的深度融合3.應(yīng)用與展望分享嘉賓|王昊奮同濟(jì)大學(xué)OpenKGTOC輪值主席特聘研究員編輯整理|莫觀德內(nèi)容校對(duì)|李瑤出品社區(qū)|DataFun免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:60/161KG+LLM概述人工智能的發(fā)展歷程從早期的專(zhuān)家系統(tǒng)到統(tǒng)計(jì)學(xué)習(xí)、深度學(xué)習(xí),再到如今的大模型,始終是數(shù)據(jù)驅(qū)動(dòng)的。1.實(shí)現(xiàn)數(shù)據(jù)智能的兩種方式實(shí)現(xiàn)數(shù)據(jù)智能有兩種方式,即專(zhuān)家系統(tǒng)與統(tǒng)計(jì)學(xué)習(xí)。二者在數(shù)據(jù)來(lái)源、知識(shí)表示、應(yīng)用場(chǎng)景等方面存在顯著差異,同時(shí)也面臨不同的瓶頸。專(zhuān)家系統(tǒng)以符號(hào)知識(shí)為核心,依賴(lài)專(zhuān)家經(jīng)驗(yàn)對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行人工治理與形式化組織。數(shù)據(jù)來(lái)源多樣(如文檔、規(guī)則庫(kù)等但形態(tài)復(fù)雜且治理困難。專(zhuān)家需將隱性知識(shí)(如經(jīng)驗(yàn)、邏輯規(guī)則)轉(zhuǎn)化為機(jī)器可理解的符號(hào)化表示(如規(guī)則樹(shù)、知識(shí)圖譜這一過(guò)程面臨兩大痛點(diǎn):n知識(shí)外化困難:專(zhuān)家知識(shí)高度隱性且難以結(jié)構(gòu)化表達(dá),導(dǎo)致知識(shí)體系龐雜且更新緩慢;n信息損失嚴(yán)重:符號(hào)化過(guò)程易丟失上下文語(yǔ)義與關(guān)聯(lián)性知識(shí),僅能保留顯性邏輯片段。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:61/161專(zhuān)家系統(tǒng)的智能表現(xiàn)為單點(diǎn)推理能力,適用于邏輯鏈條長(zhǎng)、規(guī)則明確的復(fù)雜場(chǎng)景(如醫(yī)療診斷、工業(yè)控制)。然而,其局限性顯著:n知識(shí)獲取成本高:依賴(lài)少數(shù)專(zhuān)家手動(dòng)構(gòu)建知識(shí)庫(kù),周期長(zhǎng)且難以規(guī)?;?;n泛化能力弱:規(guī)則系統(tǒng)難以應(yīng)對(duì)動(dòng)態(tài)變化的場(chǎng)景,人機(jī)交互復(fù)雜度高。統(tǒng)計(jì)學(xué)習(xí)(含深度學(xué)習(xí)與大模型)以海量標(biāo)注數(shù)據(jù)為基礎(chǔ),通過(guò)擬合數(shù)據(jù)分布挖掘內(nèi)部模式。其核心優(yōu)勢(shì)在于:n特征自動(dòng)化提?。荷疃葘W(xué)習(xí)通過(guò)多層非線性變換,從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)高階表征;n模式內(nèi)蘊(yùn)性增強(qiáng):大模型(如GPT、BERT)利用預(yù)訓(xùn)練技術(shù),可捕獲跨任務(wù)通用語(yǔ)義模式。統(tǒng)計(jì)學(xué)習(xí)推動(dòng)了人工智能從點(diǎn)狀任務(wù)(如圖像分類(lèi))向面狀任務(wù)(如多模態(tài)理解)的擴(kuò)展,但其仍面臨以下挑戰(zhàn):n數(shù)據(jù)依賴(lài)性強(qiáng):需高質(zhì)量標(biāo)注數(shù)據(jù)支撐,人工標(biāo)注成本高昂(如RLHF階段需專(zhuān)業(yè)標(biāo)注);n遷移與泛化不足:模型在跨領(lǐng)域、跨任務(wù)場(chǎng)景中易受分布偏差影響,需額外微調(diào)與領(lǐng)域適配;n推理可解釋性差:黑箱模型難以追溯決策邏輯,在醫(yī)療、法律等高可靠性場(chǎng)景中受限。因此,如何將數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)相結(jié)合成為關(guān)鍵。2.雙系統(tǒng)理論啟示與KG+LLM協(xié)同的必要性隨著推理模型的發(fā)展,雙系統(tǒng)理論逐漸被人們所熟知。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:62/161雙系統(tǒng)理論認(rèn)為人類(lèi)的認(rèn)知和決策過(guò)程存在兩套系統(tǒng):n系統(tǒng)一(快思考):負(fù)責(zé)直覺(jué)和快速?zèng)Q策。n系統(tǒng)二(慢思考適合復(fù)雜計(jì)算和需要深思熟慮的任務(wù)。通過(guò)雙系統(tǒng)的協(xié)同,可以實(shí)現(xiàn)感知、認(rèn)知和決策的一體化智能。人工智能的演進(jìn)始終伴隨著對(duì)人類(lèi)認(rèn)知機(jī)制的模仿與突破。雙系統(tǒng)理論(DualProcessTheory)為這一探索提供了重要啟示:系統(tǒng)1(直覺(jué)型快思考)與系統(tǒng)2(邏輯型慢思考)的協(xié)同,恰與當(dāng)前知識(shí)圖譜與大語(yǔ)言模型的融合方向不謀而免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:63/161n系統(tǒng)1:依托預(yù)訓(xùn)練大模型的快速響應(yīng)能力,借助海量先驗(yàn)知識(shí),能夠?qū)崿F(xiàn)零樣本/小樣本學(xué)習(xí),在模式匹配與上下文泛化方面優(yōu)勢(shì)顯著。然而,單純依賴(lài)系統(tǒng)1,易產(chǎn)生“幻覺(jué)”,邏輯推理碎片化,可解釋性差。n系統(tǒng)2:基于知識(shí)圖譜的結(jié)構(gòu)化符號(hào)推理,通過(guò)顯式邏輯鏈條,可支持復(fù)雜計(jì)算與可解釋決策,適合多跳推理與因果分析。但存在知識(shí)更新滯后的問(wèn)題,在動(dòng)態(tài)場(chǎng)景中適應(yīng)性較弱,推理效率也會(huì)受限于圖譜規(guī)模。將知識(shí)圖譜與大模型結(jié)合,即神經(jīng)符號(hào)AI系統(tǒng),可有效緩解大模型幻覺(jué)問(wèn)題,細(xì)化語(yǔ)義處理,增強(qiáng)上下文理解與邏輯推理能力?;谏鲜鰧?duì)知識(shí)圖譜與大語(yǔ)言模型協(xié)同重要性的理解,接下來(lái)探討如何實(shí)現(xiàn)二者的深度融合。KG+LLM的深度融合:如何結(jié)合KG增強(qiáng)LLM的推理能力為實(shí)現(xiàn)KG+LLM的高效協(xié)同,當(dāng)前技術(shù)探索聚焦于五大方向。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:64/161n提示工程(PromptEngineering):通過(guò)圖譜增強(qiáng)提示模板,將KG結(jié)構(gòu)化知識(shí)注入LLM上下文,引導(dǎo)生成邏輯可靠的答案。n模型微調(diào)(Fine-tuning):利用KG三元組與推理鏈數(shù)據(jù)優(yōu)化LLM參數(shù),強(qiáng)化其對(duì)符號(hào)邏輯的理解能力。n檢索增強(qiáng)生成(RAG):結(jié)合KG檢索與文本語(yǔ)義匹配,動(dòng)態(tài)補(bǔ)充LLM知識(shí)缺口,抑制幻覺(jué)。n推理模型協(xié)同(LargeReasoningModel,LRM設(shè)計(jì)多跳推理引擎,協(xié)調(diào)LLM的語(yǔ)義解析與KG的路徑搜索能力。n知識(shí)智能體(KnowledgeAgent):構(gòu)建自主化工作流,實(shí)現(xiàn)KG與LLM的閉環(huán)交互與動(dòng)態(tài)知識(shí)迭代。下文將圍繞這五大路徑深入剖析其技術(shù)原理、實(shí)踐方案與行業(yè)應(yīng)用價(jià)值。1.Prompt工程:圖譜增強(qiáng)提示提示工程涉及范圍廣泛,包括指令、示例、思維鏈等眾多方面。本文主題圍繞知識(shí)圖譜,因此重點(diǎn)介紹圖譜增強(qiáng)提示。接下來(lái)將介紹部分代表性工作。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:65/161(1)KG-to-Text:將KG重寫(xiě)為高效的文本表述基于知識(shí)圖譜的問(wèn)答是知識(shí)圖譜領(lǐng)域的一項(xiàng)重要任務(wù),其核心目標(biāo)是從結(jié)構(gòu)化知識(shí)庫(kù)中檢索并推理出精準(zhǔn)答案,但這一過(guò)程面臨兩大瓶頸:一是自然語(yǔ)言問(wèn)題與知識(shí)圖譜三元組(實(shí)體-關(guān)系-實(shí)體)的映射存在表述差異,繼而導(dǎo)致檢索偏差;二是多跳推理困難,復(fù)雜問(wèn)題需遍歷多步邏輯路徑,傳統(tǒng)方法依賴(lài)人工規(guī)則,難以動(dòng)態(tài)適配。大語(yǔ)言模型雖具備強(qiáng)大的語(yǔ)義理解能力,但其在KGQA任務(wù)中仍受限于幻覺(jué)生成與結(jié)構(gòu)化知識(shí)缺失。為此,KG-to-Text技術(shù)應(yīng)運(yùn)而生,通過(guò)將知識(shí)圖譜中的結(jié)構(gòu)化三元組轉(zhuǎn)化為自然語(yǔ)言文本,增強(qiáng)大語(yǔ)言模型對(duì)知識(shí)邏輯的理解能力。KG-to-Text增強(qiáng)框架通過(guò)檢索-重寫(xiě)-回答(Retrieve-Rewrite-Answer)三階段實(shí)現(xiàn)結(jié)構(gòu)化知識(shí)到文本的精準(zhǔn)轉(zhuǎn)換。n檢索(Retrieve):基于問(wèn)題語(yǔ)義從KG中提取相關(guān)三元組或子圖(如實(shí)體關(guān)系鏈、多跳路徑)n重寫(xiě)(Rewrite):將三元組轉(zhuǎn)換為自然語(yǔ)言描述,保留邏輯關(guān)聯(lián)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:66/161模板化生成:預(yù)定義句式模板(如“X的Y是Z”)微調(diào)LLM生成:訓(xùn)練LLM直接輸出流暢文本(如“愛(ài)因斯坦提出的理論包括相對(duì)論”)n回答(Answer):LLM基于重寫(xiě)后的文本生成最終答案,同時(shí)結(jié)合上下文語(yǔ)義補(bǔ)充細(xì)節(jié)。實(shí)現(xiàn)任務(wù)敏感型知識(shí)生成,針對(duì)復(fù)雜問(wèn)題,通過(guò)答案引導(dǎo)機(jī)制動(dòng)態(tài)篩選與答案強(qiáng)相關(guān)的三元組,避免冗余干擾。使用領(lǐng)域數(shù)據(jù)微調(diào)LLM,使其生成與任務(wù)目標(biāo)對(duì)齊的簡(jiǎn)潔文本。采用自迭代語(yǔ)料構(gòu)建策略,利用LLM對(duì)生成文本的邏輯校驗(yàn)?zāi)芰Γ詣?dòng)創(chuàng)建圖譜-文本對(duì)齊語(yǔ)料,解決KGQA任務(wù)中標(biāo)注數(shù)據(jù)稀缺問(wèn)題,實(shí)現(xiàn)KG-to-Text模型的閉環(huán)訓(xùn)練優(yōu)化。(2)KGStructuresasPrompt:結(jié)合圖譜結(jié)構(gòu)KGStructureasPrompt將知識(shí)圖譜的拓?fù)潢P(guān)系編碼為提示模板,提升小模型的推理能力,彌補(bǔ)其參數(shù)規(guī)模的不足。知識(shí)結(jié)構(gòu)提示融合的核心原理為,將KG的子圖結(jié)構(gòu)(如實(shí)體關(guān)系鏈、多跳路徑)轉(zhuǎn)換為文本提示,嵌入模型輸入上下文。n拓?fù)渚幋a:使用圖神經(jīng)網(wǎng)絡(luò)(GNN)提取子圖特征,生成結(jié)構(gòu)化描述;n動(dòng)態(tài)提示:根據(jù)問(wèn)題類(lèi)型選擇模板(因果推理、實(shí)體定位等)。構(gòu)建輕量化因果推理引擎:n三維評(píng)估體系參數(shù)效率:優(yōu)化提示長(zhǎng)度與模型參數(shù)量級(jí)的關(guān)系;知識(shí)泛化:驗(yàn)證跨領(lǐng)域任務(wù)(如科學(xué)→醫(yī)學(xué))的遷移能力;頁(yè)碼:67/161推理速度:確保實(shí)時(shí)響應(yīng)(如對(duì)話場(chǎng)景需<500ms)。n帕累托最優(yōu)邊界平衡模型性能與計(jì)算成本,動(dòng)態(tài)選擇最佳提示策略(如短提示+簡(jiǎn)單模型vs.長(zhǎng)提示+復(fù)雜模型)上述技術(shù)可有效解決自然語(yǔ)言與結(jié)構(gòu)化知識(shí)間的語(yǔ)義對(duì)齊問(wèn)題,而復(fù)雜場(chǎng)景下的多跳推理仍需更深入的協(xié)同機(jī)制,實(shí)現(xiàn)可解釋的推理鏈條與動(dòng)態(tài)知識(shí)融合。(3)KG-to-CoT:結(jié)合圖推理模型生成推理鏈通過(guò)圖推理模型遍歷知識(shí)圖譜中的多跳路徑(如“愛(ài)因斯坦→提出→相對(duì)論→影響→現(xiàn)代物理學(xué)”),生成結(jié)構(gòu)化推理鏈?;趩?wèn)題中的實(shí)體(如“愛(ài)因斯坦”還可以反向解析圖譜中的潛在路徑,生成可回溯的推理步驟(如“第一步:愛(ài)因斯坦提出相對(duì)論;第二步:相對(duì)論影響現(xiàn)代物理學(xué)”)。從而彌合大模型與知識(shí)庫(kù)的認(rèn)知鴻溝,提升二者的協(xié)同推理能(4)MindMap:結(jié)合KG綜合信息免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:68/161將圖譜檢索到的子圖(顯性事實(shí))與LLM內(nèi)部知識(shí)(隱式關(guān)聯(lián))動(dòng)態(tài)結(jié)合,構(gòu)建聯(lián)合推理網(wǎng)絡(luò)。例如,回答“愛(ài)因斯坦對(duì)量子力學(xué)的貢獻(xiàn)”時(shí),圖譜提供“愛(ài)因斯坦-研究-光電效應(yīng)”路徑,LLM補(bǔ)充“光電效應(yīng)與量子力學(xué)關(guān)聯(lián)”的上下文。通過(guò)提示工程直接嵌入圖譜拓?fù)潢P(guān)系(如實(shí)體鄰接矩陣無(wú)需微調(diào)模型,實(shí)現(xiàn)零成本知識(shí)增強(qiáng)。提示工程是融合KG技術(shù)實(shí)現(xiàn)知識(shí)增強(qiáng)最簡(jiǎn)單最直接的方式,其優(yōu)勢(shì)在于無(wú)需修改模型參數(shù)。更進(jìn)一步,在模型微調(diào)過(guò)程中,知識(shí)圖譜也可以發(fā)揮重要作用。2.模型微調(diào)(1)圖譜知識(shí)注入①未知知識(shí)注?(InfuserKI)將知識(shí)圖譜中的新實(shí)體/關(guān)系(如領(lǐng)域?qū)S行g(shù)語(yǔ))嵌?LLM,避免與已有知識(shí)沖n知識(shí)探測(cè)與篩選:對(duì)?已知與未知知識(shí),動(dòng)態(tài)選擇需注?的三元組;n適配器隔離機(jī)制:在Transformer層插?輕量適配器(Adapter),僅訓(xùn)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:69/161練適配器參數(shù),保留原始模型權(quán)重;n多任務(wù)聯(lián)合訓(xùn)練:聯(lián)合優(yōu)化語(yǔ)?模型損失、三元組關(guān)系分類(lèi)損失及知識(shí)沖突檢測(cè)損失。②低資源知識(shí)注?(GAILFine-tuning)在標(biāo)注數(shù)據(jù)稀缺的場(chǎng)景下,利?知識(shí)圖譜?成合成數(shù)據(jù),優(yōu)化模型性能。n模板化SPARQL擴(kuò)充:設(shè)計(jì)多類(lèi)型查詢(xún)模板(如單跳、多跳從KG批量采樣實(shí)例化數(shù)據(jù);n對(duì)抗數(shù)據(jù)?成:基于GAIL框架,驅(qū)動(dòng)LLM?成?擬真問(wèn)題,結(jié)合PPO算法穩(wěn)定訓(xùn)練;n漸進(jìn)式增強(qiáng):將合成數(shù)據(jù)注?輕量模型(如T5-small),分階段優(yōu)化推理能(2)圖譜推理微調(diào)在KG+LLM的深度融合過(guò)程中,?圖檢索與微調(diào)?法能夠顯著提升模型的多跳推理能?。主要包括以下?個(gè)關(guān)鍵點(diǎn):免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:70/161n基于思維鏈的?圖構(gòu)造:采?“ThinkStepbyStep”的?式,將復(fù)雜問(wèn)題拆解為多個(gè)?問(wèn)題,并檢索相關(guān)的知識(shí)圖譜?圖,從?增強(qiáng)推理鏈的可解釋性。在檢索過(guò)程中,模型能夠識(shí)別關(guān)鍵的中間事實(shí),確保推理鏈的邏輯性和準(zhǔn)確性。n優(yōu)化輸??式,降低Token消耗:傳統(tǒng)KG的三元組表示可能存在冗余,可采?YAML或JSON等格式進(jìn)?壓縮,使得輸?數(shù)據(jù)結(jié)構(gòu)完整的同時(shí)減少Token數(shù)量,提?LLM的計(jì)算效率。n多層次增強(qiáng)(實(shí)體、關(guān)系、?圖級(jí)別實(shí)體級(jí)別,提升KG中的實(shí)體預(yù)測(cè)能?,使得檢索和推理更精準(zhǔn);關(guān)系級(jí)別,加強(qiáng)對(duì)關(guān)系的推斷能?,提?KG知識(shí)融合的深度;?圖級(jí)別,優(yōu)化?圖構(gòu)建,確保多跳推理鏈的完整性和?效性。通過(guò)輕量級(jí)微調(diào)(Tuning在KG?圖基礎(chǔ)上增強(qiáng)檢索效果,提?推理能?。實(shí)驗(yàn)表明,子圖增強(qiáng)?法可使召回率提升20個(gè)百分點(diǎn)。?圖增強(qiáng)結(jié)合微調(diào)?法能夠有效提升模型在復(fù)雜推理任務(wù)中的表現(xiàn),使其在多跳推理、?鏈推理任務(wù)中具備更?的準(zhǔn)確性和召回率。(3)知識(shí)圖譜對(duì)齊免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:71/161在KG+LLM融合過(guò)程中,實(shí)現(xiàn)符號(hào)知識(shí)表征與隱式知識(shí)表征的對(duì)?,是提升推理能?的重要環(huán)節(jié)。顯式知識(shí)對(duì)?,通過(guò)三元組(頭實(shí)體+關(guān)系+尾實(shí)體)的模式,實(shí)現(xiàn)結(jié)構(gòu)化知識(shí)的映射。采?對(duì)?學(xué)習(xí)(ContrastiveLearning)?法,使頭實(shí)體和關(guān)系的描述構(gòu)成輸?,?尾實(shí)體的描述作為預(yù)測(cè)?標(biāo),以此促進(jìn)語(yǔ)義對(duì)?。采用共享參數(shù)的?模型?于構(gòu)建頭實(shí)體、關(guān)系實(shí)體、尾實(shí)體的語(yǔ)義表示,并通過(guò)正負(fù)樣本構(gòu)造對(duì)?損失,優(yōu)化知識(shí)嵌?。另一方面,基于包括指令、頭實(shí)體描述、關(guān)系描述在內(nèi)的token輸入,讓模型學(xué)習(xí)結(jié)構(gòu)化知識(shí),預(yù)測(cè)尾實(shí)體描述,實(shí)現(xiàn)隱式知識(shí)的對(duì)齊。結(jié)合顯式與隱式知識(shí)對(duì)齊,微調(diào)后的模型在?成式知識(shí)推理任務(wù)上有顯著提升。相似度矩陣顯示,優(yōu)化后頭尾實(shí)體的區(qū)分度顯著提?,從原本的混亂狀態(tài)變?yōu)榍逦闹R(shí)結(jié)構(gòu)。接下來(lái),將圍繞知識(shí)圖譜增強(qiáng)檢索,以及輕量化和個(gè)性化GraphRAG技術(shù)展開(kāi)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:72/161討論。檢索增強(qiáng)?成(Retrieval-AugmentedGeneration,RAG)經(jīng)歷了多個(gè)發(fā)展階段,從基礎(chǔ)檢索到復(fù)雜流程編排,不斷優(yōu)化檢索效率和?成質(zhì)量。其演進(jìn)過(guò)程可以歸納為以下?個(gè)關(guān)鍵階段:nNaiveRAG:遵循索引-檢索-?成三步流程。nAdvancedRAG:結(jié)合檢索前優(yōu)化(如查詢(xún)改寫(xiě)、查詢(xún)路由)、檢索后優(yōu)化(如重排、過(guò)濾、壓縮)等技術(shù)提升檢索效果。nModularRAG:對(duì)算?進(jìn)行抽象和模塊化組裝,實(shí)現(xiàn)流程編排。在RAG的實(shí)現(xiàn)過(guò)程中,知識(shí)圖譜的引導(dǎo)至關(guān)重要。(1)圖譜增強(qiáng)檢索免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:73/161圖譜增強(qiáng)檢索的關(guān)鍵在于對(duì)問(wèn)題的分解,KELDaR這一工作正是聚焦于此。基于問(wèn)題復(fù)雜度分類(lèi)構(gòu)建分解樹(shù)(DecompositionTree),將復(fù)雜問(wèn)題拆解為多步推理結(jié)構(gòu),各步驟在知識(shí)圖譜上執(zhí)行原子檢索。并采用高效原子檢索策略,快速定位相關(guān)?圖,同時(shí)擴(kuò)展候選子圖范圍,從而優(yōu)化知識(shí)圖譜檢索效率。RGR-KBQA這項(xiàng)工作的重點(diǎn)則是結(jié)合邏輯形式減少模型幻覺(jué)問(wèn)題。通過(guò)知識(shí)引導(dǎo)的關(guān)系鏈檢索,增強(qiáng)邏輯形式生成的相關(guān)性和細(xì)粒度性。并通過(guò)微調(diào)?模型,優(yōu)化邏輯形式的?成與檢索的協(xié)同作?。結(jié)合對(duì)?學(xué)習(xí)(ContrastiveLearning在語(yǔ)義相似度基礎(chǔ)上優(yōu)化實(shí)體和關(guān)系的匹配。在解碼階段,動(dòng)態(tài)校準(zhǔn)生成結(jié)果,提升邏輯形式的準(zhǔn)確性與知識(shí)?致性。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:74/161圖結(jié)構(gòu)存在一些天然的優(yōu)勢(shì),例如具有更強(qiáng)的復(fù)雜推理能力,更好的可解釋性、知識(shí)表達(dá)與關(guān)聯(lián)性,以及更靈活的知識(shí)源集成能力,可以為大模型落地提供關(guān)鍵支撐。因此,GraphRAG已成為業(yè)界前沿探索方向,核心議題包括圖推理能力增強(qiáng)、圖結(jié)構(gòu)化知識(shí)表示、高效的圖信息檢索以及利用圖上知識(shí)進(jìn)行校驗(yàn)等等。(2)輕量化GraphRAG傳統(tǒng)GraphRAG計(jì)算開(kāi)銷(xiāo)?、查詢(xún)速度慢,為此,優(yōu)化?案主要圍繞輕量化構(gòu)建與路徑優(yōu)化展開(kāi)。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:75/161第一個(gè)思路是僅構(gòu)建核心圖。首先,基于KNN圖的中?性篩選核心文本塊,構(gòu)建?架,減小圖規(guī)模。另外,利用文本-關(guān)鍵詞構(gòu)建?分圖,將關(guān)鍵詞作為候選實(shí)體,共現(xiàn)關(guān)系作為知識(shí)表征,同時(shí)保留原始文本語(yǔ)義信息以避免信息損失。在檢索時(shí)形成雙通道形式,融合知識(shí)圖譜骨架和二分圖的局部子圖信息,以保證大模型的生成質(zhì)量。另一思路是對(duì)路徑剪枝。僅索引關(guān)鍵路徑,避免對(duì)所有路徑進(jìn)?索引,以降低存儲(chǔ)與計(jì)算成本。結(jié)合Streaming裁剪策略,基于可靠性排序,提???本情況下的?成準(zhǔn)確性,緩解“中間信息丟失”問(wèn)題。該優(yōu)化?案在保留圖結(jié)構(gòu)優(yōu)勢(shì)的同時(shí),?幅提升了查詢(xún)效率、計(jì)算開(kāi)銷(xiāo)控制能?,增強(qiáng)了LLM?成的準(zhǔn)確性與連貫性。(3)個(gè)性化GraphRAG個(gè)性化GraphRAG旨在通過(guò)?期記憶建模與動(dòng)態(tài)記憶管理提升檢索增強(qiáng)?成的效果,使其更加貼合?戶(hù)的個(gè)性化需求。其中,HippoRAG2模擬了?類(lèi)的?期記憶,結(jié)合個(gè)性化PageRank實(shí)現(xiàn)信息免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:76/161篩選與排序。通過(guò)引入短語(yǔ)節(jié)點(diǎn)和段落節(jié)點(diǎn),模擬人類(lèi)大腦的密集-稀疏編碼機(jī)制,從而更好地整合概念和上下文。EMG-RAG,通過(guò)分層結(jié)構(gòu)定義不同類(lèi)型的記憶,并實(shí)現(xiàn)了動(dòng)態(tài)管理,提?檢索效率。利用強(qiáng)化學(xué)習(xí)手段,學(xué)習(xí)在圖上選擇相關(guān)記憶,動(dòng)態(tài)調(diào)整記憶選擇策略,根據(jù)?戶(hù)偏好優(yōu)化記憶篩選過(guò)程。4.LRM協(xié)同在GraphRAG的基礎(chǔ)上,DeepSeek的出現(xiàn),帶來(lái)了大型推理模型的新突破,也為知識(shí)圖譜與大模型的融合提供了新的契機(jī)。DeepSeek的問(wèn)世到升級(jí)過(guò)程,也伴隨著從大語(yǔ)言模型到多模態(tài)模型,再到推理模型的演化。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:77/161從訓(xùn)練時(shí)計(jì)算到測(cè)試時(shí)計(jì)算,使得思考問(wèn)題的中間步驟成為可能,模型在回答之前會(huì)“推理”并探索可能的解決方案,因此更多復(fù)雜問(wèn)題有望得到解決。(1)檢索鏈規(guī)劃在DeepSeek及其推理范式的基礎(chǔ)上,我們可以進(jìn)一步優(yōu)化RAG的檢索過(guò)程,使其更具動(dòng)態(tài)性和適應(yīng)性。其中,ChainofRetrieval(CoR)取代了傳統(tǒng)的ChainofThought(CoT使檢索和推理相結(jié)合,實(shí)現(xiàn)更高效的知識(shí)獲取和決策支持。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:78/161n動(dòng)態(tài)檢索策略:通過(guò)拒絕采樣?成多個(gè)?查詢(xún)和對(duì)應(yīng)的?答案,并從多個(gè)候選?案中優(yōu)化檢索路徑。結(jié)合貪?搜索(Greedy)、最優(yōu)選擇(Best-of-M)、樹(shù)搜索(TreeSearch)等測(cè)論,提?動(dòng)態(tài)檢索調(diào)整的精準(zhǔn)度。n動(dòng)態(tài)代理檢索機(jī)制:讓LLM能夠根據(jù)當(dāng)前任務(wù)狀態(tài)?動(dòng)決定何時(shí)檢索、檢索哪些知識(shí)、檢索多少次,形成?適應(yīng)查詢(xún)機(jī)制。結(jié)合多輪檢索補(bǔ)充知識(shí)缺?,增強(qiáng)推理的完整性。nReason-in-Documents知識(shí)精煉提取?檔中的核?信息,減少冗余和噪聲,提?檢索內(nèi)容的可信度。結(jié)合上下?優(yōu)化推理鏈路,避免邏輯斷裂,使?成結(jié)果更準(zhǔn)確、更具連貫性。(2)算子/實(shí)體規(guī)劃結(jié)合強(qiáng)化學(xué)習(xí)?法,優(yōu)化算?規(guī)劃和知識(shí)圖推理,可以提升信息檢索和推理的精準(zhǔn)度。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼:79/161n細(xì)粒度算?規(guī)劃:智能交互式推理通過(guò)強(qiáng)化學(xué)習(xí)建模,定義Agent-Environment-State-Action結(jié)構(gòu)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論