大模型驅(qū)動(dòng)下的知識(shí)圖譜應(yīng)用解析：實(shí)踐與案例

掃碼關(guān)注公眾號(hào)掃碼關(guān)注公眾號(hào)費(fèi)下載資料頁(yè)碼：頁(yè)碼：2/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料多模態(tài)GraphRAG初探：文檔智能+知識(shí)圖譜+大模型結(jié)合范式 3知識(shí)圖譜與大模型雙輪驅(qū)動(dòng)：金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路 融合知識(shí)圖譜與大模型的中醫(yī)臨床輔助決策體系 44智譜共融：大模型驅(qū)動(dòng)的知識(shí)圖譜范式重構(gòu)與演進(jìn)路徑 59Graph+AI時(shí)代私域知識(shí)問(wèn)答鏈路的建設(shè)與優(yōu)化 89大模型+知識(shí)管理發(fā)展趨勢(shì)及標(biāo)準(zhǔn)化工作介紹 106圖驅(qū)動(dòng)的知識(shí)管理：觀察與思考 123大模型和知識(shí)圖譜雙輪驅(qū)動(dòng)的汽車(chē)制造業(yè)知識(shí)服務(wù) 頁(yè)碼：3/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料多模態(tài)GraphRAG初探：文檔智能+知識(shí)圖譜+大模型結(jié)合范式導(dǎo)讀：本次分享聚焦多模態(tài)GraphRAG，深度剖析了文檔智能解析的技術(shù)鏈路，并梳理了相關(guān)工作進(jìn)展，全方位呈現(xiàn)了文檔智能、知識(shí)圖譜與大模型結(jié)合的應(yīng)用范式。文章主要包括以下幾大部分：1.文檔智能解析技術(shù)鏈路與文檔層級(jí)關(guān)系構(gòu)建2.多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程3.知識(shí)圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問(wèn)題4.文檔多模態(tài)RAG相關(guān)工作進(jìn)展5.總結(jié)6.問(wèn)答環(huán)節(jié)分享嘉賓｜余俊暉360高級(jí)算法工程師編輯整理｜盧學(xué)林內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun文檔智能解析技術(shù)鏈路與文檔層級(jí)關(guān)系構(gòu)建免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：4/161首先來(lái)整體介紹一下文檔智能解析技術(shù)方案。上圖中對(duì)傳統(tǒng)RAG和微軟GraphRAG的鏈路進(jìn)行了對(duì)比，GraphRAG在知識(shí)庫(kù)和知識(shí)圖譜的構(gòu)建方面開(kāi)展了大量工作。知識(shí)庫(kù)的構(gòu)建是整個(gè)流程中至關(guān)重要的一個(gè)環(huán)節(jié)，所以接下來(lái)會(huì)重點(diǎn)介紹知識(shí)庫(kù)和文檔構(gòu)建的技術(shù)鏈路。文檔處理技術(shù)經(jīng)歷了一系列演變，從早期基于規(guī)則模板，發(fā)展到利用PDFParse等工具來(lái)進(jìn)行解析，再到基于深度學(xué)習(xí)的版面分析。當(dāng)前在深度學(xué)習(xí)的基礎(chǔ)上有各種分析技術(shù)，比如板式分析、公式識(shí)別、公式檢測(cè)、表格解析等。頁(yè)碼：5/161隨著大模型的發(fā)展，智能文檔處理主要參與到大模型語(yǔ)料加工的工作中，在RAG系統(tǒng)中主要承擔(dān)數(shù)據(jù)清洗的相關(guān)工作。文檔智能解析有三個(gè)技術(shù)方向，OCR-PIPELINE、OCR-Free和PDF-Parse。nOCR-PIPELINE輸入pdf文檔后，將其轉(zhuǎn)換為圖片，并進(jìn)行版式分析，把內(nèi)容進(jìn)行區(qū)塊切割，針對(duì)文檔中的段落、標(biāo)題、公式等區(qū)塊進(jìn)行相應(yīng)的處理。比如使用OCR識(shí)別文本中的標(biāo)題、段落；通過(guò)表格分析處理文本內(nèi)的表格；利用公式解析將文本內(nèi)的公式轉(zhuǎn)換為L(zhǎng)aTeX格式；對(duì)圖片也進(jìn)行相應(yīng)的處理。得到區(qū)塊的boundingbox后對(duì)其進(jìn)行閱讀順序的排序，最終進(jìn)行文檔的恢復(fù)，轉(zhuǎn)化為markdown格式。nOCR-Free多模態(tài)大模型端到端的智能解析，主要是以數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)大模型。nPDF-parse對(duì)于一些可以直接編輯的pdf文檔，文字提取直接使用PDFParser的效果免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：6/161會(huì)比用OCR模型的效果更好。OCR-PIPELINE方案具有以下優(yōu)點(diǎn)：其一，能夠獲取boundingbox信息、版式標(biāo)簽信息等，并進(jìn)行相應(yīng)處理；其二，模塊靈活，可單獨(dú)做優(yōu)化；其三，支持CPU離線部署，對(duì)于垂直場(chǎng)景可研發(fā)版式分析的輕量模型；其四，支持掃描版文檔。然而，該方案也存在缺點(diǎn)：OCR鏈路依賴(lài)于場(chǎng)景數(shù)據(jù)，現(xiàn)在大部分是采用目標(biāo)檢測(cè)的方案去做版式劃分，導(dǎo)致泛化性較差；另外，精度不高，在版式分析、表格解析、段落合并等環(huán)節(jié)均有改進(jìn)空間；第三，CPU環(huán)境下速度較慢，涉及模塊眾多，整體速度較慢。OCR-FREE方案利用近期開(kāi)源的OCR大模型olmOCR和mistralORC等，端到端地解析出markdown格式，為模型做預(yù)加工。盡管模型官方宣稱(chēng)效果很好，但實(shí)際測(cè)試結(jié)果顯示欠佳。這種方案的缺點(diǎn)也很明顯：首先不支持區(qū)域分塊，不輸出boundingbox信息；第二，不支持CPU離線部署；第三，速度很慢，消耗大量GPU資源；第四，免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：7/161部署成本高，針對(duì)長(zhǎng)文本情況，顯存占用大；第五，存在幻覺(jué)問(wèn)題，容易出現(xiàn)多字少字等和原文不一致的情況；第六，對(duì)于比較復(fù)雜的文檔無(wú)法做截圖存儲(chǔ)。PDF2TEXT方案，利用規(guī)則驅(qū)動(dòng)的工具，速度快、效果好，在可編輯場(chǎng)景下比OCR的文字信息識(shí)別更為準(zhǔn)確。其缺點(diǎn)是不支持掃描版本文檔，并且對(duì)圖片和表格等處理效果欠佳。OCR-PIPELINE中最關(guān)鍵的就是版式分析。版式分析是一個(gè)目標(biāo)檢測(cè)任務(wù)，用于對(duì)文檔的區(qū)域進(jìn)行劃分，核心在于標(biāo)簽的定義，包括正文、標(biāo)題、圖片、圖片標(biāo)題、表格等等。目前表現(xiàn)較為出色的是上海人工智能實(shí)驗(yàn)室的DocLayout-YOLO，在數(shù)據(jù)的標(biāo)注和多場(chǎng)景的數(shù)據(jù)上面做了大量工作，使泛化性得到了有效提升。版式分析模型與文檔類(lèi)型強(qiáng)相關(guān)，高度依賴(lài)于場(chǎng)景數(shù)據(jù)的標(biāo)注，以及標(biāo)注數(shù)據(jù)的多樣性，在后面的文檔恢復(fù)或markdown轉(zhuǎn)錄時(shí)，需要取舍一些標(biāo)簽，所以要有對(duì)粒度的控制。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：8/161去年四月份，我們也開(kāi)源了一些版式分析的模型，主要針對(duì)中文論文、英文論文、中文研報(bào)和教材這四個(gè)領(lǐng)域，在這四個(gè)場(chǎng)景下進(jìn)行了細(xì)粒度的標(biāo)注，訓(xùn)練出了一6.23MB，所以在下游垂直場(chǎng)景中速度很快。版式分析的大部分工作集中在標(biāo)注環(huán)節(jié)，而標(biāo)注高度依賴(lài)于對(duì)業(yè)務(wù)的理解，業(yè)務(wù)需要控制標(biāo)簽的力度，然后我們進(jìn)行相應(yīng)的數(shù)據(jù)標(biāo)注，以滿(mǎn)足垂直領(lǐng)域場(chǎng)景的要免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：9/161文檔解析中的難點(diǎn)之一是表格解析，分為多線表、缺線表、無(wú)線表三種類(lèi)型。受限于傳統(tǒng)CV的方法，存在多尺寸、分辨率低、跨頁(yè)處理等多種情況，而可訓(xùn)練的場(chǎng)景數(shù)據(jù)極為稀缺。傳統(tǒng)CV方法主要檢測(cè)cells和tablestructure，將OCR的文本和表格的結(jié)構(gòu)進(jìn)行match，算其間的IOU閾值，然后merge，最后去做表格的重建，輸出excel格式或者是html格式，html兼容markdown語(yǔ)法，所以在markdown里面可以很好地展示。關(guān)于端到端的形式，我們也做了一些自己的工作。端到端的一個(gè)缺點(diǎn)就是非常消耗資源，多模態(tài)大模型基于數(shù)據(jù)驅(qū)動(dòng)，我們研究發(fā)現(xiàn)端到端的數(shù)據(jù)極難構(gòu)造。我們通過(guò)一些小模型結(jié)合合成數(shù)表格數(shù)據(jù)的方法，訓(xùn)練了一個(gè)端到端的7B左右的多模態(tài)表格解析模型。該模型的輸入為表格截圖，轉(zhuǎn)成html。其缺點(diǎn)是存在嚴(yán)重的幻覺(jué)問(wèn)題，對(duì)于一些特定樣例的表格，效果并不理想。頁(yè)碼：10/161對(duì)于一些可編輯的pdf表格，可以利用文本自身信息進(jìn)行加速。上圖右側(cè)列出了一些常用的開(kāi)源的表格解析模型，及其對(duì)比效果，目前最好的是百度開(kāi)源的SLANet-plus模型表現(xiàn)最佳，其在TEDS評(píng)價(jià)指標(biāo)上取得了較好分?jǐn)?shù)。實(shí)際測(cè)試表明該模型也是對(duì)有線表格解析得比較好。我們自研了一些公式解析模型，將公式截圖轉(zhuǎn)成LaTeX語(yǔ)法，markdown可以支持LaTeX公式渲染。該工作在ICPR2024的多行數(shù)學(xué)表達(dá)式識(shí)別任務(wù)中獲得了冠軍。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：11/161我們的方案基于傳統(tǒng)的VisionEncoderDecoder模型架構(gòu)，采用預(yù)訓(xùn)練加微調(diào)的方式，在訓(xùn)練過(guò)程中采用早停機(jī)制來(lái)防止過(guò)擬合。擬合目標(biāo)是ExactMatch（精確匹配）和EditDistance（編輯距離）后期我們對(duì)上述工作進(jìn)行了改進(jìn)，發(fā)表了一篇論文，提出層次細(xì)節(jié)聚焦識(shí)別網(wǎng)絡(luò)（HDNet），已被ICASSP接收。改進(jìn)主要包括一些預(yù)訓(xùn)練，以及更科學(xué)的評(píng)估。對(duì)于復(fù)雜的層級(jí)的公式，類(lèi)似多模態(tài)預(yù)訓(xùn)練中的動(dòng)態(tài)分辨率方法，其是隨機(jī)crop圖片，而我們是更加復(fù)雜的數(shù)據(jù)公式，按照層級(jí)的方式對(duì)數(shù)據(jù)公式進(jìn)行劃分，起到類(lèi)似數(shù)據(jù)增強(qiáng)的效果。通過(guò)這個(gè)方法取得了比較好的成果，在Fair-CR評(píng)價(jià)指標(biāo)上達(dá)到了0.963。而且模型的參數(shù)量較小，約300m，參數(shù)量上低于業(yè)內(nèi)相關(guān)模型。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：12/161圖表解析方面，圖表中包含數(shù)值圖、柱狀圖、餅狀圖等，核心是輸出圖表摘要，或解析出json數(shù)據(jù)，便于后續(xù)進(jìn)一步渲染。或通過(guò)解析出的json_dict，進(jìn)行編輯或可視化。圖表中的另一個(gè)重要部分是流程圖，目前大多是將其轉(zhuǎn)成可渲染的markdown格式。傳統(tǒng)方案主要是采取CV的目標(biāo)檢測(cè)分割方案，現(xiàn)在依靠多模態(tài)大模型，可以端到端地輸出流程圖的Mermaid格式，做進(jìn)一步的渲染。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：13/161去年我們針對(duì)多模態(tài)大模型在流程圖上的能力做了一些評(píng)測(cè)。評(píng)測(cè)發(fā)現(xiàn)GPT4o模型在流程圖解析上僅得到56.63分，仍存在很大的優(yōu)化空間。在開(kāi)源模型中，Phi-3-Vison多模態(tài)大模型獲得了一個(gè)比較高的分?jǐn)?shù)，該模型主要在訓(xùn)練的數(shù)據(jù)上進(jìn)行了一些預(yù)訓(xùn)練。這也說(shuō)明多模態(tài)大模型目前還是數(shù)據(jù)驅(qū)動(dòng)的模式。文檔解析中的一個(gè)核心問(wèn)題是閱讀順序的排列，對(duì)文檔的還原或轉(zhuǎn)換為markdown起到了樞紐作用，上接布局分析，下接markdown的轉(zhuǎn)換。之前主要是采用基于規(guī)則的方案，按照bbox排序，這種方式簡(jiǎn)單，但效果一免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：14/161般。CV的方法其實(shí)也屬于基于規(guī)則的方案，主要是XYcut，按從左到右、從上到下的閱讀順序。現(xiàn)在出現(xiàn)了基于語(yǔ)義的方法，主要工作是LayoutReader。它可以對(duì)劃分出來(lái)的區(qū)塊去做相應(yīng)的排序，但是它有一個(gè)缺點(diǎn)是高度依賴(lài)于標(biāo)注數(shù)據(jù)。最新的工作是DLAFormer，它是一個(gè)端到端的模型，主要是將閱讀順序和版式分析建模成的關(guān)系預(yù)測(cè)任務(wù)。通過(guò)版式分析可以得到文檔的標(biāo)題，最后通過(guò)閱讀順序還原成markdown的時(shí)候可以得到其層級(jí)關(guān)系。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：15/161下面介紹Doc2ToC工作。在獲取標(biāo)題之后，可以構(gòu)建目錄，得到章節(jié)信息，建模成parent-of的關(guān)系。這一工作非常依賴(lài)于版式分析中對(duì)標(biāo)題的定義，標(biāo)題的粒度需要定義成多級(jí)的標(biāo)題，標(biāo)注方式非常不統(tǒng)一，我們發(fā)現(xiàn)每個(gè)版式里面可能標(biāo)題和段落標(biāo)題的字號(hào)或字體都相近，這可能對(duì)后續(xù)的版式識(shí)別模型影響較大。第二，通過(guò)PDFParser這種工具可以獲取一些字體的信息，但是基于深度學(xué)習(xí)的模型或者OCR的模型很難獲取字體信息。第三，基于語(yǔ)義的方法，可通過(guò)一些BIO標(biāo)注去計(jì)算title和段落之間跳轉(zhuǎn)的概率，拿到標(biāo)題和段落之間的分界點(diǎn)，也可進(jìn)行段落標(biāo)題的識(shí)別。第四，融合位置和語(yǔ)義的關(guān)系，有一些工作是去預(yù)測(cè)其間的父子關(guān)系，這種方式速度可能較慢，標(biāo)注工作量較大。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：16/161Figure2meta這個(gè)工作是針對(duì)文檔解析中圖表meta信息的抽取。文檔解析以后，得到很多表格和圖表，對(duì)于圖表可進(jìn)一步細(xì)分，通過(guò)路由的控制去分成流程圖、數(shù)值圖、普通圖等類(lèi)別。分類(lèi)之后做進(jìn)一步的信息抽取，抽取出<figure,title>、<figure,reference>、<figure,boudingbox>的信息，用于圖表的渲染。實(shí)現(xiàn)思路為，對(duì)于簡(jiǎn)單的布局，可以利用bcaption/title信息，通過(guò)正則或版式分析模型對(duì)其boudingbox按就近原則進(jìn)行匹配。也可進(jìn)行有監(jiān)督模型訓(xùn)練，比如用bg去索引段落中的語(yǔ)義信息，按相似性進(jìn)行綁定。類(lèi)似地，<figure/reference>也可通過(guò)一些啟發(fā)式規(guī)則獲取boudingbox，結(jié)合閱讀順序和就近原則進(jìn)行匹配，也可進(jìn)行有監(jiān)督的分類(lèi)。<figure,boundingbox>，可以直接獲取版式分析結(jié)果，因?yàn)榘媸椒治隹梢缘玫狡渥鴺?biāo)信息。<figure,type>，可訓(xùn)練一個(gè)分類(lèi)模型，將圖片細(xì)分為流程圖、數(shù)值圖、普通圖等類(lèi)型。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：17/161最后可得到j(luò)son數(shù)據(jù)。DocChartSearch&Recmmend工作主要是在一些應(yīng)用場(chǎng)景下，基于圖片構(gòu)建一些API去做圖表的檢索，以及以圖搜圖、文圖搜索等一些具體的下游任務(wù)。文檔解析中有層級(jí)圖的概念，即DocGraph。通過(guò)布局分析，進(jìn)行區(qū)域間關(guān)系的抽取，如一個(gè)表格與其相應(yīng)的標(biāo)題、來(lái)源、引用段落、所屬章節(jié)之間的關(guān)系，以及層級(jí)邏輯關(guān)系。代表性工作包括DocStruct、HRDoc、Detect-Order-Construct等，主要是免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：18/161構(gòu)建層級(jí)圖。在文檔進(jìn)行表述的時(shí)候，圖表會(huì)作為一個(gè)鏈接元素，引用到文檔的描述中，在RAG中，經(jīng)常會(huì)召回一些chunk，可能提示“如表所示”，但此時(shí)圖可能已經(jīng)丟失，將召回的chunk傳遞給多模態(tài)大模型，模型可能無(wú)法回答。我們可以做一些類(lèi)似于實(shí)體鏈接中的entity-linking的工作，將圖和描述進(jìn)行l(wèi)ink。整個(gè)文檔解析鏈路非常長(zhǎng)，誤差會(huì)一步步傳播。在應(yīng)用場(chǎng)景中，用戶(hù)可能既要求快又要求準(zhǔn)。上圖中列出了我們?cè)趯?shí)際的文檔解析研發(fā)過(guò)程中遇到的一些問(wèn)題及免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：19/161其解決方案，供參考。多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程多模態(tài)圖結(jié)構(gòu)索引的構(gòu)建流程如上圖所示。多模態(tài)數(shù)據(jù)源通過(guò)一個(gè)預(yù)處理模塊，分配到不同的子模塊。文本模塊，可進(jìn)行文本處理，比如傳統(tǒng)的NLP任務(wù)，或者利用大模型進(jìn)行分詞、實(shí)體識(shí)別；圖像處理模塊，進(jìn)行特征抽取或者目標(biāo)檢測(cè)；視頻處理和圖像類(lèi)似，一幀幀的視頻可以看作一張張圖片，進(jìn)行相應(yīng)的處理；音頻處理模塊，對(duì)語(yǔ)音轉(zhuǎn)文本。之后，跨模態(tài)進(jìn)行關(guān)聯(lián)，構(gòu)建圖結(jié)構(gòu)。圖結(jié)構(gòu)的構(gòu)建包括節(jié)點(diǎn)的創(chuàng)建，如實(shí)體、圖像、視頻片段；邊關(guān)系的建立，主要是時(shí)空、語(yǔ)義和跨模態(tài)之間的關(guān)系；最后存儲(chǔ)到圖數(shù)據(jù)庫(kù)，如Neo4j、TigerGraph。嵌入部分主要是對(duì)抽取出的特征進(jìn)行相應(yīng)的嵌入，比如圖像可采用ViT等嵌入模型，視頻可使用3D-CNN等。之后進(jìn)行跨模態(tài)的對(duì)齊，包括圖片和文本的對(duì)齊、文本和視頻的對(duì)齊，以及文本和音頻的對(duì)齊等。最后，聯(lián)合索引，采用FAISS、免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：20/161Milvus等向量數(shù)據(jù)庫(kù)。多模態(tài)檢索的流程如上圖。先對(duì)文檔做版式分析，獲取每個(gè)區(qū)塊的一些元素，做chunk的劃分。傳統(tǒng)RAG鏈路中，對(duì)于文本就直接用文本，對(duì)表格和圖片進(jìn)行summary，最終得到的仍是文本模態(tài)的信息，進(jìn)行embedding操作后存儲(chǔ)到向量數(shù)據(jù)庫(kù)，用于后續(xù)檢索。更高維的形式是多模態(tài)嵌入，對(duì)文本模態(tài)做文本的嵌入，對(duì)表格和圖片分別做表格和圖片的嵌入，最后轉(zhuǎn)儲(chǔ)到向量數(shù)據(jù)庫(kù)中。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：21/161檢索生成的流程為，用戶(hù)輸入純文本形式或文本加圖片形式的query，首先對(duì)query進(jìn)行解析，分為文本解析、圖像解析、語(yǔ)音解析，形成多模態(tài)檢索。檢索有多種檢索策略，包括圖模式匹配的子圖檢索、向量相似度檢索、跨模態(tài)關(guān)聯(lián)檢索等。之后對(duì)檢索出來(lái)的結(jié)果進(jìn)行融合，做相關(guān)性排序，再送到大模型中做生成。圖文多模態(tài)檢索可以利用多模態(tài)大模型，結(jié)合prompt的構(gòu)造進(jìn)行拼接，然后生成檢索的答案數(shù)據(jù)，之后對(duì)答案數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理或引文來(lái)源的標(biāo)注。上圖中列出了多模態(tài)GraphRAG的主要優(yōu)勢(shì)，包括更細(xì)致的檢索、更高的準(zhǔn)確性和可解釋性等等。知識(shí)圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問(wèn)題免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：22/161傳統(tǒng)RAG方法存在諸多問(wèn)題，比如chunk的模式會(huì)導(dǎo)致召回大量噪聲片段；涉及聚合、過(guò)濾、統(tǒng)計(jì)時(shí)向量召回準(zhǔn)確性低，因?yàn)橄蛄磕Ｐ蛯?duì)于數(shù)字比較敏感，所以魯棒性不強(qiáng)，并且大模型在數(shù)學(xué)計(jì)算方面的能力有限；傳統(tǒng)RAG的chunk之間彼此孤立，缺乏關(guān)聯(lián)，在跨文檔任務(wù)上表現(xiàn)不佳；對(duì)于答案涉及多文本塊、多文檔的問(wèn)題，普通的向量召回或者ES召回能力有限；用大模型進(jìn)行任務(wù)規(guī)劃時(shí)，不確定性較高，在特定可控生成任務(wù)上表現(xiàn)欠佳；大模型改寫(xiě)、推薦任務(wù)非常發(fā)散，存在幻覺(jué)；領(lǐng)域語(yǔ)料不足，大模型跳出問(wèn)答，需要學(xué)會(huì)拒答；RAG整體理解受限，文本embedding后可解釋性低。知識(shí)圖譜，通過(guò)引入專(zhuān)家知識(shí)，可以通過(guò)實(shí)體層級(jí)特征增強(qiáng)相關(guān)性，并且可以增強(qiáng)chunk之間的關(guān)聯(lián)。例如微軟的GraphRAG可以通過(guò)search摘要增強(qiáng)chunk之間的關(guān)系，從而提升相關(guān)性召回。假設(shè)已有KG數(shù)據(jù)存在，那么可以將KG作為召回信息源，補(bǔ)充上下文信息。此外，可將各類(lèi)知識(shí)形成一個(gè)KG，提供圖視角上的embedding，以補(bǔ)充召回的特征。知識(shí)圖譜也是另一種形式的規(guī)則知識(shí)庫(kù)，可作為規(guī)范引導(dǎo)大模型進(jìn)行可控生成。利用結(jié)構(gòu)化知識(shí)構(gòu)建場(chǎng)景圖免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：23/161譜，可以進(jìn)行Cyther圖檢索。然而，構(gòu)建一個(gè)高質(zhì)量、更新靈活、計(jì)算簡(jiǎn)單的大規(guī)模圖譜成本極高。在大模型的背景下，知識(shí)圖譜應(yīng)具有更為廣泛的含義，并不局限于傳統(tǒng)的三元組形式，而是可以擴(kuò)充到更深層次的關(guān)系。例如文檔領(lǐng)域，文檔元數(shù)據(jù)級(jí)關(guān)系圖譜，節(jié)點(diǎn)是各個(gè)文檔的名稱(chēng)或者主題等元數(shù)據(jù)，關(guān)系為文檔之間的相似關(guān)系或者父子關(guān)系；文檔塊級(jí)關(guān)系圖譜，節(jié)點(diǎn)可以是各個(gè)chunk（如通過(guò)版式分析識(shí)別出的標(biāo)題、段落、表格或圖片等關(guān)系是chunk之間的父子、共現(xiàn)、相似等關(guān)系；文檔實(shí)體級(jí)關(guān)系圖譜，節(jié)點(diǎn)為文檔中的特定實(shí)體類(lèi)型及關(guān)系，或者關(guān)系鍵詞網(wǎng)絡(luò)。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：24/161典型的應(yīng)用范式主要包括：nKG-enhancedprompt；nHiQA方案（引入文檔層級(jí)結(jié)構(gòu)細(xì)分召回）；nLinkedinKG-RAG方案（雙層嵌入索引）；nUniQA-Text2cypher的KG-RAG；nHippoRAG框架（考慮實(shí)體特異性）；nGRAG方案（考慮拓?fù)浣Y(jié)構(gòu)）；免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：25/161n微軟GraphRAG方案（集KG大成，先做實(shí)體關(guān)系的抽取，再構(gòu)建社區(qū)摘）；nKAG方案（將知識(shí)圖譜全盤(pán)納入到RAG范式中）。各類(lèi)應(yīng)用范式的代表工作如上圖所示。我們認(rèn)為，知識(shí)圖譜增強(qiáng)大模型問(wèn)答要淺投入，因?yàn)榍捌诘闹R(shí)庫(kù)構(gòu)建，還有后續(xù)的檢索，整體耗時(shí)較長(zhǎng)，且消耗大量計(jì)算資源。一些相關(guān)優(yōu)化工作，如LightRAG，在GraphRAG上進(jìn)行了簡(jiǎn)化，主要去除了社區(qū)、社區(qū)摘要等環(huán)節(jié)，使整個(gè)系統(tǒng)更為輕量，知識(shí)更新也更快。但無(wú)論是LightRAG，還是GraphRAG，知識(shí)圖譜本身構(gòu)建不準(zhǔn)確的問(wèn)題都較為棘手。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：26/161對(duì)比傳統(tǒng)RAG、GraphRAG和KGQA：nRAG主要進(jìn)行chunk和向量檢索，方式簡(jiǎn)單，但精確性和邏輯性較差。nGraphRAG可進(jìn)行實(shí)體關(guān)系抽取，再做社區(qū)摘要，這樣文檔語(yǔ)義關(guān)聯(lián)性更強(qiáng)，但缺點(diǎn)就是圖譜質(zhì)量不高，邏輯性不足。nKGQA，指的是早期pipeline的KGQA的方式，要做很多細(xì)致的操作，比如query解析、實(shí)體鏈接、語(yǔ)義推理等，然后做原文的引用。其優(yōu)點(diǎn)是比較精確，邏輯性較高，因?yàn)槊總€(gè)鏈路都需進(jìn)行相應(yīng)優(yōu)化，生成結(jié)果可信度較高，尤其在時(shí)間和數(shù)值問(wèn)答方面較為準(zhǔn)確。缺點(diǎn)則是圖譜構(gòu)建成本較高，信息可能有損，假設(shè)實(shí)體鏈接做得不好，可能導(dǎo)致鏈接實(shí)體有誤，知識(shí)缺失。此外，可讀性較差?？偨Y(jié)而言，KG方案構(gòu)建門(mén)檻高、知識(shí)稀疏；RAG方法缺少語(yǔ)義和邏輯關(guān)聯(lián)；GraphRAG高度依賴(lài)開(kāi)放域信息抽取，會(huì)引入大量噪聲，最后用大模型進(jìn)行生成，可能存在幻覺(jué)問(wèn)題。頁(yè)碼：27/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料文檔多模態(tài)RAG相關(guān)工作進(jìn)展目前，涌現(xiàn)出大量文檔多模態(tài)RAG相關(guān)工作，輸入文檔截圖，通過(guò)大模型實(shí)現(xiàn)端到端的問(wèn)答，省去了之前的OCRpipeline鏈路。下面介紹一些代表性的工作。解析式文檔多模態(tài)RAG，其核心思想是將文檔切分為頁(yè)面，再利用版式識(shí)別的方式對(duì)文檔進(jìn)行各種模態(tài)元素的分割、解析、提取，然后再嵌入、檢索。主要包括三種路線：n對(duì)于文本和圖片模態(tài)直接做embedding，通過(guò)多模態(tài)的嵌入模型執(zhí)行向量檢索，通過(guò)相似度搜索，將原始圖片和文本塊傳入多模態(tài)大模型去做問(wèn)答的生成。此路線的核心大模型為多模態(tài)大模型。n使用多模態(tài)大模型對(duì)圖片生成摘要，將非文本模態(tài)轉(zhuǎn)化為純文本，并使用textembedding的方法做嵌入，將文本塊傳遞給文本生成模型以進(jìn)行答案的生成。這里主要利用多模態(tài)大模型對(duì)圖片做摘要，使用的是純文本的大模免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：28/161textembedding以獲得嵌入表示，同時(shí)使用參考原始圖像嵌入和檢索圖像摘要，最后將原始圖像和文本塊傳遞給多模態(tài)大模型進(jìn)行整合。這里用到的是多模態(tài)大模型。DocVQA式文檔多模態(tài)RAG，其核心思想是將文檔切分成頁(yè)面，不再細(xì)分區(qū)塊，直接把文檔整頁(yè)送入大模型進(jìn)行VQA工作。VisRAG、M3DocRAG，均為端到端利用多模態(tài)大模型進(jìn)行知識(shí)問(wèn)答。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：29/161多模態(tài)大模型RAG的實(shí)踐流程可概括如上圖所示。首先，將文檔轉(zhuǎn)成頁(yè)面，通過(guò)ColPali等工具將圖片編碼成向量數(shù)據(jù)，同時(shí)對(duì)文本進(jìn)行相應(yīng)編碼，之后將圖片的embedding和prompt的embedding同時(shí)輸入多模態(tài)大模型，生成問(wèn)答。總結(jié)最后，對(duì)當(dāng)前工作中的要點(diǎn)總結(jié)如下：n語(yǔ)料加工是RAG中的一個(gè)重要環(huán)節(jié)，占據(jù)龍頭地位，其加工的程度和質(zhì)量直接影響知識(shí)問(wèn)答的效果。n多模態(tài)大模型為文檔處理帶來(lái)新契機(jī)，例如可利用大模型進(jìn)行端到端的處理，或是使用大模型對(duì)細(xì)分塊進(jìn)行處理，還有更多潛在場(chǎng)景值得探索；n需要思考如何將文檔挖得好、挖得深，雖然已經(jīng)有很多工具用于深度挖掘，但當(dāng)前仍難以脫離人工操作，要保證質(zhì)量可信，需要人進(jìn)行check；免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：30/161n文檔智能因?yàn)榇竽Ｐ偷膽?yīng)用而再次受到關(guān)注，但傳統(tǒng)的很多長(zhǎng)尾問(wèn)題還未得到根本解決；n知識(shí)圖譜要積極擁抱變化，之前的包袱太重，但不能丟，內(nèi)涵要改變，要從結(jié)構(gòu)、粒度、形式等多方面發(fā)展。NLP/CV/BERT等）仍具有應(yīng)用價(jià)值，不可摒棄。以上即為本次分享的全部?jī)?nèi)容，謝謝大家。問(wèn)答環(huán)節(jié)A1：在搭建MMOCR多模態(tài)大模型的實(shí)踐中發(fā)現(xiàn)，該模型對(duì)資源的消耗極大。即便是企業(yè)用戶(hù)，可能也難以具備充足資源用于部署多模態(tài)大模型。此外，多模態(tài)大模型屬于數(shù)據(jù)驅(qū)動(dòng)型模型，在前期訓(xùn)練階段，可能需要成百上千萬(wàn)的數(shù)據(jù)才免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：31/161能訓(xùn)練出一個(gè)多模態(tài)大模型。再者，關(guān)于幻覺(jué)問(wèn)題，普通RAG在處理自上而下這類(lèi)簡(jiǎn)單版式時(shí)，效果或許較好，但面對(duì)包含多種元素的復(fù)雜版式，效果可能欠佳。對(duì)于簡(jiǎn)單表格，多模態(tài)大模型能夠端到端輸出為markdown格式。然而，圖片多模態(tài)大模型無(wú)法進(jìn)行截圖或定位操作。綜上所述，在資源有限的情況下，建議采用pipeline模式。A2：標(biāo)題識(shí)別的準(zhǔn)確性主要與版式識(shí)別中標(biāo)簽的定義相關(guān)。其一，標(biāo)題級(jí)別可定義為一級(jí)標(biāo)題、二級(jí)標(biāo)題、三級(jí)標(biāo)題等。但在實(shí)際落地過(guò)程中發(fā)現(xiàn)，盡管標(biāo)題定義粒度精細(xì)，采用CV方式時(shí)有時(shí)會(huì)出現(xiàn)漏檢情況，從而導(dǎo)致識(shí)別不準(zhǔn)確。建議將標(biāo)題定義為統(tǒng)一形式，標(biāo)題分級(jí)可通過(guò)一些規(guī)則進(jìn)行后處理。其二，可以訓(xùn)練一個(gè)語(yǔ)義模型。若語(yǔ)義模型獲取的數(shù)據(jù)量足夠多，其具備一定的標(biāo)題層級(jí)劃分能力。通過(guò)語(yǔ)義標(biāo)記，結(jié)合相應(yīng)規(guī)則的后處理，能夠?qū)崿F(xiàn)標(biāo)題分級(jí)。不過(guò)，很難保證能夠做到盡善盡美。頁(yè)碼：32/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料知識(shí)圖譜與大模型雙輪驅(qū)動(dòng)：金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路導(dǎo)讀：恒生作為一家專(zhuān)注于助力金融領(lǐng)域客戶(hù)實(shí)現(xiàn)智能化產(chǎn)品落地的服務(wù)機(jī)構(gòu)，積累了豐富的產(chǎn)業(yè)實(shí)踐經(jīng)驗(yàn)。在協(xié)助企業(yè)落地智能化產(chǎn)品的過(guò)程中，我們?cè)庥隽艘幌盗嘘P(guān)鍵難題，包括但不限于性?xún)r(jià)比、準(zhǔn)確率等核心問(wèn)題。同時(shí)，隨著技術(shù)的快速演進(jìn)，自2019年以來(lái)，特別是大模型興起之后，金融知識(shí)圖譜領(lǐng)域也出現(xiàn)了新的發(fā)展范式。在此，我們將基于實(shí)際案例，深入分享在實(shí)踐過(guò)程中所積累的寶貴經(jīng)驗(yàn)，同時(shí)對(duì)新范式是否會(huì)替代知識(shí)圖譜，以及大模型如何助力解決知識(shí)圖譜先前面臨的問(wèn)題展開(kāi)探討。主要內(nèi)容包括以下幾大部分：1.金融場(chǎng)景的困局與破局2.大模型技術(shù)帶來(lái)的新范式3.產(chǎn)品功能與設(shè)計(jì)的演進(jìn)4.落地挑戰(zhàn)與未來(lái)變化分享嘉賓｜李明明恒生電子股份有限公司AI產(chǎn)品經(jīng)理編輯整理｜李天星內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun頁(yè)碼：33/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料金融場(chǎng)景的困局與破局1.聚焦金融+AI領(lǐng)域恒生知識(shí)圖譜團(tuán)隊(duì)在過(guò)往實(shí)踐中，成功搭建了如下幾類(lèi)重要應(yīng)用場(chǎng)景：n證券交易行為畫(huà)像：該場(chǎng)景旨在通過(guò)股票與債券交易行為構(gòu)建知識(shí)圖譜，實(shí)現(xiàn)對(duì)相關(guān)機(jī)構(gòu)的交易行為的精準(zhǔn)刻畫(huà)。恒生憑借與眾多交易所級(jí)別金融機(jī)構(gòu)的緊密合作，深入洞悉金融行業(yè)交易行為，此外還引入諸如產(chǎn)業(yè)鏈、輿情等信息，在此基礎(chǔ)上構(gòu)建了證券交易行為畫(huà)像。其中的挑戰(zhàn)在于，圖譜本身并非一種對(duì)時(shí)間序列數(shù)據(jù)敏感的工具，而證券交易行為的場(chǎng)景往往需要對(duì)過(guò)往交易數(shù)據(jù)進(jìn)行加工。在大模型興起后，我們對(duì)這類(lèi)場(chǎng)景進(jìn)行了優(yōu)化。n投研投顧：即基于產(chǎn)業(yè)鏈上下游進(jìn)行產(chǎn)業(yè)分析與傳導(dǎo)。主要聚焦于國(guó)內(nèi)權(quán)益市場(chǎng)，特別是債券違約預(yù)警與發(fā)現(xiàn)的場(chǎng)景。n信用分析：基于企業(yè)圖譜、產(chǎn)業(yè)鏈圖譜進(jìn)行多層事件風(fēng)險(xiǎn)傳導(dǎo)、滲透評(píng)估和免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：34/161風(fēng)險(xiǎn)影響面估計(jì)。如兩年前恒大違約事件，在此之前我們已經(jīng)基于圖譜進(jìn)行了事件的發(fā)現(xiàn)，并對(duì)違約可能影響的金融機(jī)構(gòu)，以及后續(xù)可能衍生的行為進(jìn)行了分析與預(yù)測(cè)。信用分析工作的核心就在于解決此類(lèi)重大風(fēng)險(xiǎn)事件的前瞻性評(píng)估與連鎖反應(yīng)預(yù)測(cè)問(wèn)題。n反洗錢(qián)：即基于反洗錢(qián)報(bào)送的高風(fēng)險(xiǎn)用戶(hù)進(jìn)行多跳關(guān)聯(lián)。當(dāng)前國(guó)內(nèi)數(shù)據(jù)不夠完善，證券基金領(lǐng)域相對(duì)于銀行領(lǐng)域而言比較落后，機(jī)構(gòu)之間缺乏數(shù)據(jù)共享。當(dāng)前主要在高風(fēng)險(xiǎn)客戶(hù)應(yīng)用知識(shí)圖譜。中國(guó)人民銀行反洗錢(qián)交易中心要求各機(jī)構(gòu)上報(bào)高風(fēng)險(xiǎn)用戶(hù)，在一定領(lǐng)域內(nèi)可以共享，如何利用上述信息開(kāi)展多跳關(guān)聯(lián)是我們的關(guān)注重點(diǎn)。2.金融知識(shí)圖譜平臺(tái)基于上述場(chǎng)景，我們構(gòu)建了金融知識(shí)圖譜平臺(tái)。該平臺(tái)與常規(guī)圖譜產(chǎn)品的主要差別點(diǎn)在于：n恒生并不涉足底層圖數(shù)據(jù)庫(kù)存儲(chǔ)層研發(fā)，而是致力于兼容主流圖數(shù)據(jù)庫(kù)廠商，如為用戶(hù)提供D2R（數(shù)據(jù)轉(zhuǎn)關(guān)系）工具，用于快速將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為圖免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：35/161數(shù)據(jù)并完成導(dǎo)入。同時(shí)，還提供定時(shí)任務(wù)工具與任務(wù)調(diào)度框架等。n聚焦不同金融場(chǎng)景，如事件傳導(dǎo)分析、股權(quán)穿透、反洗錢(qián)等，沉淀出插件類(lèi)產(chǎn)品或基礎(chǔ)類(lèi)應(yīng)用，提供給金融機(jī)構(gòu)，作為底層技術(shù)平臺(tái)與上層應(yīng)用之間的技術(shù)中間件。我們提供了底層存儲(chǔ)、緩存、ES檢索、圖計(jì)算的常用算法、圖譜實(shí)體關(guān)系標(biāo)簽與相關(guān)參數(shù)，以及數(shù)據(jù)可視化、實(shí)體關(guān)系深度分析等工具和方案。這是曾經(jīng)的一個(gè)案例——銅掌柜暴雷事件，通過(guò)事件影響傳導(dǎo)，針對(duì)該事件對(duì)產(chǎn)業(yè)鏈上下游相關(guān)系企業(yè)以及股權(quán)關(guān)系關(guān)聯(lián)企業(yè)可能產(chǎn)生的影響進(jìn)行了定量分析。3.金融場(chǎng)景的困局與破局免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：36/161金融知識(shí)圖譜面臨諸多問(wèn)題，從AI產(chǎn)品經(jīng)理角度來(lái)看，困局主要在以下幾個(gè)方n用戶(hù)風(fēng)險(xiǎn)厭惡性高，可控性要求高金融機(jī)構(gòu)用戶(hù)對(duì)風(fēng)險(xiǎn)的厭惡程度高，雖追求業(yè)務(wù)智能化，但當(dāng)智能化表現(xiàn)超出其理解時(shí)，往往會(huì)質(zhì)疑結(jié)果。若智能化分析與用戶(hù)認(rèn)知相悖，產(chǎn)品經(jīng)理需加以引導(dǎo)。因此，圖譜、機(jī)器學(xué)習(xí)等智能化應(yīng)用中，可解釋性與傳導(dǎo)邏輯比結(jié)果更關(guān)鍵。演繹推理往往比歸納推理更受業(yè)內(nèi)認(rèn)可。例如在新冠疫情期間，要分析其對(duì)金融資產(chǎn)的影響，業(yè)務(wù)人員會(huì)按照之前SARS的情況進(jìn)行推理，盡管SARS造成的影響范圍與新冠并不一樣。歸納推理數(shù)據(jù)不夠且可解釋性不足，給推理結(jié)果帶來(lái)了挑戰(zhàn)。n規(guī)則邏輯的局限性在方案落地進(jìn)程中，我們期望融入更多金融知識(shí)。然而，金融知識(shí)的邏輯梳理、維護(hù)及更新工作，投入產(chǎn)出比極低。實(shí)際操作里，既沒(méi)人愿意承擔(dān)這項(xiàng)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：37/161工作，維護(hù)質(zhì)量也難以保證。大模型的出現(xiàn)，有望在一定程度上彌補(bǔ)這一短板。另外，由于不同機(jī)構(gòu)、不同行業(yè)、不同規(guī)模，乃至同一金融機(jī)構(gòu)的不同業(yè)務(wù)，對(duì)金融知識(shí)的理解各不相同，規(guī)則存在極大局限性，所以不存在通用的完美解決方案。當(dāng)下，我們認(rèn)為性?xún)r(jià)比最高的方案當(dāng)屬DeepSearch等，這類(lèi)面向AI的優(yōu)化搜索方式，能更好地感知外部世界，也是未來(lái)方案落地更合理的切入點(diǎn)。n數(shù)據(jù)表示的局限性知識(shí)圖譜的核心是三元組，是一種對(duì)已有知識(shí)的壓縮。例如，同樣是債券交易，但交易目的不同，如資產(chǎn)配置或短期套利，不同目的會(huì)有不同的預(yù)測(cè)和傳導(dǎo)風(fēng)險(xiǎn)，而圖譜三元組難以記錄這些屬性，會(huì)導(dǎo)致大量信息損失，進(jìn)而致使圖譜在推理過(guò)程中暴露出局限性。上述問(wèn)題導(dǎo)致金融知識(shí)圖譜產(chǎn)品愈發(fā)偏向于另外一種規(guī)則引擎。大模型技術(shù)帶來(lái)的新范式1.新范式：KG+LLM的一些方向免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：38/161大模型的興起為知識(shí)圖譜帶來(lái)了新的契機(jī)。nLLM輔助圖譜構(gòu)建在知識(shí)圖譜的構(gòu)建、知識(shí)表示、推理及運(yùn)用過(guò)程中，大模型相較于傳統(tǒng)自然語(yǔ)言處理（NLP）方法展現(xiàn)出更高的性?xún)r(jià)比。借助大模型的提示（prompt）功能，能夠高效完成實(shí)體關(guān)系抽取任務(wù)，已實(shí)現(xiàn)對(duì)傳統(tǒng)NLP算法的替代。不僅如此，大模型還具備挖掘隱含知識(shí)的能力，即便是那些處于長(zhǎng)尾分布的小眾、低頻知識(shí)，也能精準(zhǔn)發(fā)現(xiàn)。nLLM輔助圖譜推理其一，利用大模型可以實(shí)現(xiàn)知識(shí)的動(dòng)態(tài)更新，尤其是對(duì)推理邏輯的實(shí)時(shí)優(yōu)化；其二，演繹推理可有效填補(bǔ)因數(shù)據(jù)局限性而導(dǎo)致的歸納推理的不足。n基于圖譜技術(shù)的RAGGraphRAG/LightGraphRAG，借助圖結(jié)構(gòu)可增強(qiáng)對(duì)復(fù)雜關(guān)系的建模和推理能力，但由于性?xún)r(jià)比較低尚難以在金融領(lǐng)域普及。KAG通過(guò)結(jié)構(gòu)化圖譜與知免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：39/161Think-on-Graph，通過(guò)識(shí)別與問(wèn)題相關(guān)實(shí)體，檢索相關(guān)三元組進(jìn)行探索推理，生成多個(gè)推理路徑，直至收集到足夠信息回答問(wèn)題或達(dá)到最大深度。盡管三個(gè)方向都有嘗試，但目前比較成熟的是前兩種方式。2.質(zhì)疑陸奇老師層提出，知識(shí)圖譜真的不行。對(duì)此我們也展開(kāi)過(guò)相關(guān)討論。用知識(shí)圖譜做大模型，是不是馬拉火車(chē)？在2020年前，普遍認(rèn)為圖譜技術(shù)會(huì)引免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：40/161領(lǐng)AI發(fā)展，但現(xiàn)在人們則質(zhì)疑LLM是否一定要套圖譜的外殼。產(chǎn)品功能與設(shè)計(jì)的演進(jìn)AI或大模型在金融領(lǐng)域落地，需要考慮三個(gè)核心因素：準(zhǔn)確率、成本、速度。以如下三個(gè)問(wèn)題為例，針對(duì)不同場(chǎng)景，大模型和知識(shí)圖譜各有其優(yōu)勢(shì)。問(wèn)題1：螞蟻和恒生電子的關(guān)系是什么？這種問(wèn)題使用純LLM的方式更優(yōu)，更新圖譜性?xún)r(jià)比不高。大模型基于外部信息檢索的結(jié)果更符合業(yè)務(wù)人員認(rèn)知，且可以避免知識(shí)更新不及時(shí)帶來(lái)的問(wèn)題。問(wèn)題2：反洗錢(qián)系統(tǒng)中張三和李四的關(guān)系是什么？在這個(gè)問(wèn)題中，張三和李四代表行業(yè)專(zhuān)有名詞或公司內(nèi)部數(shù)據(jù)。針對(duì)這種專(zhuān)業(yè)知識(shí)的多跳關(guān)系搜索，采用圖譜方案更優(yōu)，無(wú)論速度還是專(zhuān)業(yè)性與精確度上都更具優(yōu)勢(shì)。問(wèn)題3：機(jī)構(gòu)A和XXX債券的關(guān)系是什么？或者機(jī)構(gòu)A、機(jī)構(gòu)B頻繁買(mǎi)入XXX債券說(shuō)明了什么？這種既涉及通用知識(shí)又涉及私域知識(shí)的情況下，大模型頁(yè)碼：41/161和圖譜結(jié)合的方式則更為有效。知識(shí)專(zhuān)業(yè)性越強(qiáng)、私域化和時(shí)效性要求越高，同時(shí)企業(yè)圖譜完備度越高時(shí)，更偏向采用圖譜產(chǎn)品；反之，則更偏向選擇大模型。當(dāng)前，大模型的適用領(lǐng)域持續(xù)擴(kuò)展，而知識(shí)圖譜的應(yīng)用空間正在被不斷壓縮。基于上述思考，我們對(duì)產(chǎn)品做了一些改變，上圖中橙色部分，如圖數(shù)據(jù)庫(kù)、圖譜的查詢(xún)分析算法等還是以圖譜為主；紅色部分，如信息抽取、三元組表示和圖譜構(gòu)建等，則轉(zhuǎn)向LLM為主；藍(lán)色部分，如知識(shí)推理等，根據(jù)場(chǎng)景與客戶(hù)情況進(jìn)頁(yè)碼：42/161行區(qū)分。落地挑戰(zhàn)與未來(lái)變化1.落地挑戰(zhàn)n有得必有失三元組本身就是知識(shí)的有損壓縮，并不是所有內(nèi)容都適合進(jìn)圖譜。GraphRAG和LightGraphRAG如果能夠?qū)⑦m合的內(nèi)容抽進(jìn)圖譜，其落地才能更好地推廣。n圖譜知識(shí)的可維護(hù)性圖譜是沒(méi)有時(shí)間維度的，金融領(lǐng)域的數(shù)據(jù)如何更快更好地進(jìn)行維護(hù)是一大挑nChatBot的挑戰(zhàn)在ChatBot的應(yīng)用場(chǎng)景中，面臨的挑戰(zhàn)之一是如何精準(zhǔn)判斷：哪些問(wèn)題需要借助KG能力來(lái)解答，哪些問(wèn)題則無(wú)需KG便可處理。n是否有銀彈金融業(yè)務(wù)和人遠(yuǎn)遠(yuǎn)比IT解決方案復(fù)雜，因此沒(méi)有統(tǒng)一的解決方案可以解決所有問(wèn)題。nKG與LLM更深地融合利用圖譜輔助LLM訓(xùn)練，以及基于圖學(xué)習(xí)的Adapter可訓(xùn)練結(jié)構(gòu)等，是值得探索的領(lǐng)域。2.未來(lái)變化免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：43/161n圖譜回歸到自己更適合的領(lǐng)域圖譜未來(lái)可能作為智能體的一部分，與API、結(jié)構(gòu)化數(shù)據(jù)庫(kù)、RAG結(jié)合， 成為Agent長(zhǎng)短記憶體和Tools的一部分，在合適的情況下讓大模型調(diào)用，讓圖譜回歸到自己更適合的領(lǐng)域。nAI應(yīng)用一定是ChatBot嗎？當(dāng)前，大模型應(yīng)用更多以問(wèn)答形式呈現(xiàn)。而在2B領(lǐng)域的非即時(shí)性任務(wù)中，知識(shí)圖譜可以發(fā)揮重要作用。因此，探索非ChatBot形式的應(yīng)用，能夠更好地釋放知識(shí)圖譜的價(jià)值。n特定的私域數(shù)據(jù)場(chǎng)景依舊需要圖譜多跳計(jì)算、社團(tuán)分析、最短路、可控傳導(dǎo)等領(lǐng)域，仍然要依靠知識(shí)圖譜。n讓子彈飛一會(huì)兒所謂的統(tǒng)一的框架、解決方案還在路上。頁(yè)碼：44/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料融合知識(shí)圖譜與大模型的中醫(yī)臨床輔助決策體系導(dǎo)讀：隨著信息技術(shù)的發(fā)展，現(xiàn)代醫(yī)學(xué)逐漸向數(shù)字化和智能化方向邁進(jìn)。尤其是在中醫(yī)藥領(lǐng)域，通過(guò)將傳統(tǒng)的中醫(yī)療法與先進(jìn)的計(jì)算技術(shù)相結(jié)合，不僅可以提高診療效率，還能增強(qiáng)診斷的準(zhǔn)確性和個(gè)性化治療方案的有效性。本報(bào)告旨在探討如何利用大模型與知識(shí)圖譜構(gòu)建一個(gè)高效的中醫(yī)臨床輔助決策體系，并詳細(xì)說(shuō)明其在實(shí)際應(yīng)用中的優(yōu)勢(shì)及未來(lái)發(fā)展方向。主要內(nèi)容包括以下幾個(gè)部分：1.政策背景與行業(yè)現(xiàn)狀2.核心技術(shù)體系構(gòu)建3.臨床應(yīng)用與成效分享嘉賓｜文天才博士中國(guó)中醫(yī)科學(xué)院中醫(yī)藥數(shù)據(jù)中心教授級(jí)高工編輯整理｜Kathy內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun政策背景與行業(yè)現(xiàn)狀1.政策背景免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：45/1612024年7月19日，國(guó)家中醫(yī)藥管理局和國(guó)家數(shù)據(jù)局聯(lián)合發(fā)布了《關(guān)于促進(jìn)數(shù)字中醫(yī)藥發(fā)展的若干意見(jiàn)》，意見(jiàn)中明確指出用3-5年時(shí)間推動(dòng)大數(shù)據(jù)、人工智能技術(shù)與中醫(yī)藥全鏈條深度融合，重點(diǎn)推進(jìn)中醫(yī)藥數(shù)據(jù)共享與流通，構(gòu)建數(shù)字中醫(yī)藥生態(tài)體系，支撐中醫(yī)藥現(xiàn)代化與國(guó)際化。2021年發(fā)布的"十四五"規(guī)劃綱要中也提出了關(guān)于智慧醫(yī)療的一些重要指示，強(qiáng)調(diào)要加快科技創(chuàng)新與數(shù)字化產(chǎn)業(yè)升級(jí)，構(gòu)建智慧醫(yī)療等重點(diǎn)領(lǐng)域生態(tài)體系，建設(shè)中醫(yī)藥科技支撐平臺(tái)，加強(qiáng)中醫(yī)藥文化傳承與國(guó)際傳播。2022年，國(guó)務(wù)院辦公廳印發(fā)《"十四五"中醫(yī)藥發(fā)展規(guī)劃》，提出建設(shè)智慧醫(yī)療、智慧服務(wù)、智慧管理“三位一體”的智慧中醫(yī)醫(yī)院，持續(xù)推動(dòng)"互聯(lián)網(wǎng)+醫(yī)療健康"覆蓋診前、診中、診后全流程，鼓勵(lì)研發(fā)中醫(yī)辯證論治智能輔助診療系統(tǒng)（CDSS）。2.行業(yè)現(xiàn)狀中醫(yī)藥行業(yè)早已告別往昔僅靠鶴發(fā)童顏的老中醫(yī)通過(guò)號(hào)脈、觀察舌苔來(lái)診療的傳統(tǒng)模式，步入高度信息化的時(shí)代。當(dāng)下，人工智能的深度融入更是為其發(fā)展按下“加速鍵”。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：46/161然而，快速發(fā)展的進(jìn)程中也面臨諸多痛點(diǎn)：n數(shù)據(jù)標(biāo)準(zhǔn)化和互操作性：中醫(yī)的診療數(shù)據(jù)和西醫(yī)的數(shù)據(jù)標(biāo)準(zhǔn)有很大不同，數(shù)據(jù)標(biāo)準(zhǔn)化程度較低，導(dǎo)致在整合和共享數(shù)據(jù)時(shí)存在困難。中醫(yī)診療中的“四診”(望、聞、問(wèn)、切)數(shù)據(jù)難以標(biāo)準(zhǔn)化和數(shù)字化，尤其是主觀性較強(qiáng)的部分。n技術(shù)支持不足：中醫(yī)藥的理論體系復(fù)雜且獨(dú)特，需要特定的算法和模型來(lái)進(jìn)行智能診斷和治療方案推薦?，F(xiàn)有的人工智能和大數(shù)據(jù)技術(shù)在中醫(yī)領(lǐng)域的應(yīng)用還不夠成熟，缺乏針對(duì)性的技術(shù)解決方案。n中醫(yī)藥知識(shí)庫(kù)建設(shè)：中醫(yī)藥的理論和實(shí)踐知識(shí)龐大而分散，缺乏系統(tǒng)化的數(shù)字化知識(shí)庫(kù)?，F(xiàn)有的中醫(yī)藥文獻(xiàn)、案例和臨床數(shù)據(jù)的數(shù)字化和結(jié)構(gòu)化工作量大，進(jìn)展緩慢。n用戶(hù)體驗(yàn)和系統(tǒng)易用性：智能診療系統(tǒng)的界面設(shè)計(jì)和操作流程需要符合中醫(yī)診療的習(xí)慣和特點(diǎn)，以提升用戶(hù)體驗(yàn)。系統(tǒng)的易用性和可靠性直接影響醫(yī)生和患者的使用意愿和效果。核心技術(shù)體系構(gòu)建為了推動(dòng)中醫(yī)藥現(xiàn)代化，眾多科研團(tuán)隊(duì)致力于將現(xiàn)代科學(xué)技術(shù)，特別是信息技術(shù)應(yīng)用于傳統(tǒng)中醫(yī)領(lǐng)域。這一努力旨在通過(guò)系統(tǒng)化、科學(xué)化的手段提升中醫(yī)診療的有效性和準(zhǔn)確性。1.中醫(yī)學(xué)的信息學(xué)原理為了推動(dòng)中醫(yī)學(xué)與信息學(xué)的融合發(fā)展，中國(guó)中醫(yī)科學(xué)院劉保延教授和文天才教授免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：47/161針對(duì)該領(lǐng)域進(jìn)行了深入地研究，并撰寫(xiě)了一篇題為《從信息科學(xué)與物質(zhì)科學(xué)及其范式認(rèn)識(shí)中西醫(yī)體系的科學(xué)原理》的文章，于2023年7月在《科技導(dǎo)報(bào)》上作為封面文章發(fā)表，并在同年11月被權(quán)威雜志《新華文摘》全文轉(zhuǎn)載，本文內(nèi)容為本報(bào)告相關(guān)工作提供了理論和方向支撐。本文深入探討了中醫(yī)學(xué)與信息學(xué)之間的關(guān)系，提出了中醫(yī)學(xué)本質(zhì)上是一門(mén)信息科學(xué)的觀點(diǎn)：醫(yī)者在中醫(yī)理論指導(dǎo)下和臨床經(jīng)驗(yàn)的約束下，圍繞著幫助患者解除病痛這一目標(biāo)，利用自己的感官望聞問(wèn)切，有目的的收集患者的臨床表現(xiàn)及其相關(guān)信息，將其記錄下來(lái)，就形成了數(shù)據(jù)；進(jìn)一步用原有的信息如中醫(yī)病因、病機(jī)、病位、病勢(shì)等來(lái)理解已收集的數(shù)據(jù)，形成初步認(rèn)識(shí)，就將來(lái)自患者的數(shù)據(jù)通過(guò)分類(lèi)轉(zhuǎn)變成了信息；再利用自己所掌握的疾病、證候等知識(shí)等做出判斷，形成診斷結(jié)果，就將信息轉(zhuǎn)換為知識(shí)，進(jìn)一步依據(jù)診斷結(jié)果、結(jié)合自己臨床經(jīng)驗(yàn)和所掌握的干預(yù)手段提出診療方案和處方用藥，這就將知識(shí)進(jìn)一步轉(zhuǎn)變?yōu)橹腔??？梢?jiàn)辨證論治的信息轉(zhuǎn)換是在醫(yī)患交互的過(guò)程中，在中醫(yī)藥已經(jīng)構(gòu)建的知識(shí)體系的基礎(chǔ)上，利用人的信息器官在信息技術(shù)支撐下所實(shí)現(xiàn)的。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：48/161n中醫(yī)診療過(guò)程模型化信息采集：通過(guò)“望聞問(wèn)切”獲取患者體征癥狀信息。信息處理：醫(yī)生基于經(jīng)驗(yàn)與知識(shí)進(jìn)行辨證分析，判斷病因、病機(jī)、病位、病知識(shí)應(yīng)用：制定治則治法，開(kāi)具方藥并觀察療效反饋。n中醫(yī)科學(xué)原理闡釋中醫(yī)診療本質(zhì)是信息感知、處理與決策的過(guò)程，與現(xiàn)代信息科學(xué)范式高度契醫(yī)生作為“人肉計(jì)算機(jī)”，通過(guò)感官采集數(shù)據(jù)，大腦進(jìn)行信息加工與知識(shí)轉(zhuǎn)中醫(yī)理論（如《黃帝內(nèi)經(jīng)》《傷寒論》）是歷代醫(yī)家經(jīng)驗(yàn)的知識(shí)化總結(jié)。現(xiàn)代技術(shù)（知識(shí)圖譜、大模型）可系統(tǒng)化構(gòu)建中醫(yī)知識(shí)體系，實(shí)現(xiàn)經(jīng)驗(yàn)傳承與創(chuàng)新。為了提升中醫(yī)藥領(lǐng)域的科技能力，文天才教授帶領(lǐng)科研團(tuán)隊(duì)正在利用現(xiàn)代信息技術(shù)（如大數(shù)據(jù)、人工智能、知識(shí)圖譜等開(kāi)展了一系列工作，包括中醫(yī)智慧診療、智慧健康管理、智慧科研。2.大模型+知識(shí)圖譜助力中醫(yī)診療盡管當(dāng)前的大模型已經(jīng)能夠?qū)W習(xí)到大量公開(kāi)的知識(shí)，但由于其知識(shí)較為寬泛并缺乏專(zhuān)業(yè)領(lǐng)域深度知識(shí)思考和因果推理能力，無(wú)法為診療過(guò)程提供精確的專(zhuān)業(yè)指導(dǎo)。因此，在中醫(yī)診療過(guò)程中，除了使用大模型外，還需引入諸如知識(shí)圖譜等規(guī)則化知識(shí)來(lái)增強(qiáng)模型診斷的精準(zhǔn)度和可靠性。以模擬醫(yī)生問(wèn)診過(guò)程為例，當(dāng)患者描述癥狀（如腰酸腿痛）時(shí)，大模型可能會(huì)初免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：49/161步推測(cè)可能是腎虛引起的問(wèn)題，并進(jìn)一步詢(xún)問(wèn)相關(guān)癥狀（如夜間盜汗、尿頻尿急）。然而，這樣的推理過(guò)程可能存在不確定性或“幻覺(jué)”。通過(guò)結(jié)合知識(shí)圖譜，可以為大模型提供結(jié)構(gòu)化的知識(shí)支持，使其在推理過(guò)程中更加精確。最終，大模型可以結(jié)合知識(shí)圖譜實(shí)現(xiàn)患者的證候診斷，并據(jù)此提出更為準(zhǔn)確的治療建議。中醫(yī)的知識(shí)體系可以采用知識(shí)樹(shù)或知識(shí)圖譜來(lái)表達(dá)（模式層）。例如，一個(gè)疾病可以包含多個(gè)證候，因?yàn)榧膊∈菍?duì)一種“病”全生命周期的概括，而證候是“病”在某一階段的特征總結(jié)；證候又可表現(xiàn)為多種癥狀，一個(gè)證候可以對(duì)應(yīng)一個(gè)治法治則等等。當(dāng)面對(duì)具體患者時(shí)，則可以將模式層轉(zhuǎn)換為數(shù)據(jù)層。例如，糖尿病腎病的一種證型為脾腎陽(yáng)虛，而脾腎陽(yáng)虛則可以表現(xiàn)為水腫、腰膝酸軟、面色蒼白和乏力等。這種結(jié)構(gòu)化的知識(shí)表示方式非常適合用知識(shí)圖譜的形式來(lái)組織和存儲(chǔ)，以便于后續(xù)與大模型結(jié)果進(jìn)行推理。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：50/161此外，還可以構(gòu)建更深層次的認(rèn)知圖譜，通過(guò)為節(jié)點(diǎn)和邊添加權(quán)重來(lái)反映不同信息的重要性，從而提高推理精度。通過(guò)上述工作，文天才教授帶領(lǐng)團(tuán)隊(duì)構(gòu)建了中醫(yī)藥診療知識(shí)庫(kù)。該知識(shí)庫(kù)不僅涵蓋了具體疾病的治療方案，還包括典籍術(shù)語(yǔ)、名醫(yī)名家的診療經(jīng)驗(yàn)等多層次的知識(shí)。鑒于醫(yī)學(xué)領(lǐng)域的嚴(yán)謹(jǐn)性，團(tuán)隊(duì)將所有知識(shí)按照證據(jù)級(jí)別分為三級(jí)：一級(jí)知識(shí)包括指南、教材、專(zhuān)家共識(shí)等；二級(jí)知識(shí)則涉及名醫(yī)的臨床經(jīng)驗(yàn)和專(zhuān)業(yè)書(shū)籍；三級(jí)知識(shí)則涵蓋古籍文獻(xiàn)等。這種分級(jí)有助于確保診療建議的科學(xué)性和有效性。結(jié)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：51/161合大模型相關(guān)技術(shù)與中醫(yī)專(zhuān)屬知識(shí)庫(kù)，為中醫(yī)診療智能化應(yīng)用提供支撐。臨床應(yīng)用與成效1.平臺(tái)核心功能最終，在大模型和知識(shí)圖譜的支撐下，團(tuán)隊(duì)構(gòu)建了包括智慧問(wèn)診、智慧辯證和輔助開(kāi)方三大功能的中醫(yī)臨床輔助決策平臺(tái)。智慧問(wèn)診借助智能語(yǔ)義技術(shù)和邏輯化疾病知識(shí)集，感知病歷文字，推薦相關(guān)癥狀，減少問(wèn)診遺漏；智慧辯證基于邏輯化疾病知識(shí)集，通過(guò)智能算法結(jié)合多方面信息，推薦診斷結(jié)果，降低漏診誤診；輔助開(kāi)方依據(jù)中西醫(yī)結(jié)合診療知識(shí)集，關(guān)聯(lián)患者多項(xiàng)信息，為不同科室智能推薦最佳中醫(yī)診療處方。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：52/1612.應(yīng)用場(chǎng)景示例在實(shí)際應(yīng)用中，可將上述知識(shí)圖譜和大模型的能力以API方式嵌入到醫(yī)院現(xiàn)有的HIS系統(tǒng)中，使得醫(yī)生能夠在日常工作中便捷地使用這些工具。例如，當(dāng)醫(yī)生輸入患者的癥狀后，系統(tǒng)能自動(dòng)推薦相關(guān)的癥狀和可能的疾病類(lèi)型和分析并推薦最有可能的診斷結(jié)果，并給出個(gè)性化的治療方案。這不僅可以提高診療效率，還可以通過(guò)知識(shí)共享提升基層醫(yī)療服務(wù)的質(zhì)量。頁(yè)碼：53/161現(xiàn)在，團(tuán)隊(duì)還接入了最新的DeepSeek大模型，同時(shí)結(jié)合知識(shí)圖譜和醫(yī)學(xué)推理私有模型，充分發(fā)揮私有小模型的精確性的優(yōu)勢(shì)和大模型處理模糊信息的優(yōu)勢(shì)，使臨床服務(wù)能力進(jìn)一步提升。目前，該平臺(tái)不僅支持結(jié)構(gòu)化數(shù)據(jù)的處理，還可以解析圖像數(shù)據(jù)。這使得系統(tǒng)可以更全面地分析患者的病情，提供更為精準(zhǔn)的診斷建議。此外，為了保證大模型生成處方的合規(guī)和安全，團(tuán)隊(duì)還建立了包含7萬(wàn)余種西藥、4萬(wàn)余種中成藥和8千余種中藥的數(shù)據(jù)庫(kù)，并在此基礎(chǔ)上構(gòu)建了涵蓋17大免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：54/161類(lèi)300余萬(wàn)條規(guī)則的方劑審查規(guī)則庫(kù)，該規(guī)則庫(kù)不僅包括中藥之間的“十八反十九畏”等規(guī)則，還包括了西藥聯(lián)用、中西醫(yī)藥聯(lián)用審查規(guī)則。同時(shí)，考慮到兒童、老年人、運(yùn)動(dòng)員等特殊人群的需求，規(guī)則庫(kù)中特別加入了針對(duì)這些群體的安全用藥指導(dǎo)，從而為模型推薦處方進(jìn)行最后把關(guān)。3.科研成果作為一支國(guó)家級(jí)科研團(tuán)隊(duì)，文天才教授團(tuán)隊(duì)在既往科研工作中形成了大量軟件、專(zhuān)利、獎(jiǎng)勵(lì)、論文、著作等成果。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：55/161頁(yè)碼：56/161頁(yè)碼：57/161頁(yè)碼：58/161未來(lái)，團(tuán)隊(duì)也將秉持開(kāi)放合作的態(tài)度，為中醫(yī)藥行業(yè)的數(shù)字化、智能化轉(zhuǎn)型注入持久動(dòng)力，開(kāi)拓更為廣闊的發(fā)展天地。頁(yè)碼：59/161掃碼關(guān)注公眾號(hào)免費(fèi)下載資料智譜共融：大模型驅(qū)動(dòng)的知識(shí)圖譜范式重構(gòu)與演進(jìn)路徑導(dǎo)讀：在人工智能領(lǐng)域，隨著大模型的迅速發(fā)展，其對(duì)知識(shí)圖譜的作用引發(fā)了廣泛關(guān)注。知識(shí)圖譜作為一種結(jié)構(gòu)化的知識(shí)表示方式，能夠有效增強(qiáng)大模型的推理能力和可解釋性，彌補(bǔ)其推理能力單一和幻覺(jué)問(wèn)題。在數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)的結(jié)合中，知識(shí)圖譜提供了一種可控、可解釋的方式，幫助大模型實(shí)現(xiàn)更高級(jí)的智能。本文將深入探討知識(shí)圖譜與大模型的深度融合路徑，包括提示工程、模型微調(diào)、檢索增強(qiáng)、推理協(xié)同等方面的應(yīng)用，通過(guò)這些融合，將有助于構(gòu)建下一代可信的智能系統(tǒng)，為實(shí)現(xiàn)通用人工智能奠定基礎(chǔ)。今天的分享會(huì)圍繞以下三個(gè)方面展開(kāi)：1.KG+LLM概述2.KG+LLM的深度融合3.應(yīng)用與展望分享嘉賓｜王昊奮同濟(jì)大學(xué)OpenKGTOC輪值主席特聘研究員編輯整理｜莫觀德內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：60/161KG+LLM概述人工智能的發(fā)展歷程從早期的專(zhuān)家系統(tǒng)到統(tǒng)計(jì)學(xué)習(xí)、深度學(xué)習(xí)，再到如今的大模型，始終是數(shù)據(jù)驅(qū)動(dòng)的。1.實(shí)現(xiàn)數(shù)據(jù)智能的兩種方式實(shí)現(xiàn)數(shù)據(jù)智能有兩種方式，即專(zhuān)家系統(tǒng)與統(tǒng)計(jì)學(xué)習(xí)。二者在數(shù)據(jù)來(lái)源、知識(shí)表示、應(yīng)用場(chǎng)景等方面存在顯著差異，同時(shí)也面臨不同的瓶頸。專(zhuān)家系統(tǒng)以符號(hào)知識(shí)為核心，依賴(lài)專(zhuān)家經(jīng)驗(yàn)對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行人工治理與形式化組織。數(shù)據(jù)來(lái)源多樣（如文檔、規(guī)則庫(kù)等但形態(tài)復(fù)雜且治理困難。專(zhuān)家需將隱性知識(shí)（如經(jīng)驗(yàn)、邏輯規(guī)則）轉(zhuǎn)化為機(jī)器可理解的符號(hào)化表示（如規(guī)則樹(shù)、知識(shí)圖譜這一過(guò)程面臨兩大痛點(diǎn)：n知識(shí)外化困難：專(zhuān)家知識(shí)高度隱性且難以結(jié)構(gòu)化表達(dá)，導(dǎo)致知識(shí)體系龐雜且更新緩慢；n信息損失嚴(yán)重：符號(hào)化過(guò)程易丟失上下文語(yǔ)義與關(guān)聯(lián)性知識(shí)，僅能保留顯性邏輯片段。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：61/161專(zhuān)家系統(tǒng)的智能表現(xiàn)為單點(diǎn)推理能力，適用于邏輯鏈條長(zhǎng)、規(guī)則明確的復(fù)雜場(chǎng)景（如醫(yī)療診斷、工業(yè)控制）。然而，其局限性顯著：n知識(shí)獲取成本高：依賴(lài)少數(shù)專(zhuān)家手動(dòng)構(gòu)建知識(shí)庫(kù)，周期長(zhǎng)且難以規(guī)?；?；n泛化能力弱：規(guī)則系統(tǒng)難以應(yīng)對(duì)動(dòng)態(tài)變化的場(chǎng)景，人機(jī)交互復(fù)雜度高。統(tǒng)計(jì)學(xué)習(xí)（含深度學(xué)習(xí)與大模型）以海量標(biāo)注數(shù)據(jù)為基礎(chǔ)，通過(guò)擬合數(shù)據(jù)分布挖掘內(nèi)部模式。其核心優(yōu)勢(shì)在于：n特征自動(dòng)化提?。荷疃葘W(xué)習(xí)通過(guò)多層非線性變換，從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)高階表征；n模式內(nèi)蘊(yùn)性增強(qiáng)：大模型（如GPT、BERT）利用預(yù)訓(xùn)練技術(shù)，可捕獲跨任務(wù)通用語(yǔ)義模式。統(tǒng)計(jì)學(xué)習(xí)推動(dòng)了人工智能從點(diǎn)狀任務(wù)（如圖像分類(lèi)）向面狀任務(wù)（如多模態(tài)理解）的擴(kuò)展，但其仍面臨以下挑戰(zhàn)：n數(shù)據(jù)依賴(lài)性強(qiáng)：需高質(zhì)量標(biāo)注數(shù)據(jù)支撐，人工標(biāo)注成本高昂（如RLHF階段需專(zhuān)業(yè)標(biāo)注）；n遷移與泛化不足：模型在跨領(lǐng)域、跨任務(wù)場(chǎng)景中易受分布偏差影響，需額外微調(diào)與領(lǐng)域適配；n推理可解釋性差：黑箱模型難以追溯決策邏輯，在醫(yī)療、法律等高可靠性場(chǎng)景中受限。因此，如何將數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)相結(jié)合成為關(guān)鍵。2.雙系統(tǒng)理論啟示與KG+LLM協(xié)同的必要性隨著推理模型的發(fā)展，雙系統(tǒng)理論逐漸被人們所熟知。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：62/161雙系統(tǒng)理論認(rèn)為人類(lèi)的認(rèn)知和決策過(guò)程存在兩套系統(tǒng)：n系統(tǒng)一（快思考）：負(fù)責(zé)直覺(jué)和快速?zèng)Q策。n系統(tǒng)二（慢思考適合復(fù)雜計(jì)算和需要深思熟慮的任務(wù)。通過(guò)雙系統(tǒng)的協(xié)同，可以實(shí)現(xiàn)感知、認(rèn)知和決策的一體化智能。人工智能的演進(jìn)始終伴隨著對(duì)人類(lèi)認(rèn)知機(jī)制的模仿與突破。雙系統(tǒng)理論（DualProcessTheory）為這一探索提供了重要啟示：系統(tǒng)1（直覺(jué)型快思考）與系統(tǒng)2（邏輯型慢思考）的協(xié)同，恰與當(dāng)前知識(shí)圖譜與大語(yǔ)言模型的融合方向不謀而免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：63/161n系統(tǒng)1：依托預(yù)訓(xùn)練大模型的快速響應(yīng)能力，借助海量先驗(yàn)知識(shí)，能夠?qū)崿F(xiàn)零樣本/小樣本學(xué)習(xí)，在模式匹配與上下文泛化方面優(yōu)勢(shì)顯著。然而，單純依賴(lài)系統(tǒng)1，易產(chǎn)生“幻覺(jué)”，邏輯推理碎片化，可解釋性差。n系統(tǒng)2：基于知識(shí)圖譜的結(jié)構(gòu)化符號(hào)推理，通過(guò)顯式邏輯鏈條，可支持復(fù)雜計(jì)算與可解釋決策，適合多跳推理與因果分析。但存在知識(shí)更新滯后的問(wèn)題，在動(dòng)態(tài)場(chǎng)景中適應(yīng)性較弱，推理效率也會(huì)受限于圖譜規(guī)模。將知識(shí)圖譜與大模型結(jié)合，即神經(jīng)符號(hào)AI系統(tǒng)，可有效緩解大模型幻覺(jué)問(wèn)題，細(xì)化語(yǔ)義處理，增強(qiáng)上下文理解與邏輯推理能力?；谏鲜鰧?duì)知識(shí)圖譜與大語(yǔ)言模型協(xié)同重要性的理解，接下來(lái)探討如何實(shí)現(xiàn)二者的深度融合。KG+LLM的深度融合：如何結(jié)合KG增強(qiáng)LLM的推理能力為實(shí)現(xiàn)KG+LLM的高效協(xié)同，當(dāng)前技術(shù)探索聚焦于五大方向。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：64/161n提示工程（PromptEngineering）：通過(guò)圖譜增強(qiáng)提示模板，將KG結(jié)構(gòu)化知識(shí)注入LLM上下文，引導(dǎo)生成邏輯可靠的答案。n模型微調(diào)（Fine-tuning）：利用KG三元組與推理鏈數(shù)據(jù)優(yōu)化LLM參數(shù)，強(qiáng)化其對(duì)符號(hào)邏輯的理解能力。n檢索增強(qiáng)生成（RAG）：結(jié)合KG檢索與文本語(yǔ)義匹配，動(dòng)態(tài)補(bǔ)充LLM知識(shí)缺口，抑制幻覺(jué)。n推理模型協(xié)同（LargeReasoningModel，LRM設(shè)計(jì)多跳推理引擎，協(xié)調(diào)LLM的語(yǔ)義解析與KG的路徑搜索能力。n知識(shí)智能體（KnowledgeAgent）：構(gòu)建自主化工作流，實(shí)現(xiàn)KG與LLM的閉環(huán)交互與動(dòng)態(tài)知識(shí)迭代。下文將圍繞這五大路徑深入剖析其技術(shù)原理、實(shí)踐方案與行業(yè)應(yīng)用價(jià)值。1.Prompt工程：圖譜增強(qiáng)提示提示工程涉及范圍廣泛，包括指令、示例、思維鏈等眾多方面。本文主題圍繞知識(shí)圖譜，因此重點(diǎn)介紹圖譜增強(qiáng)提示。接下來(lái)將介紹部分代表性工作。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：65/161（1）KG-to-Text：將KG重寫(xiě)為高效的文本表述基于知識(shí)圖譜的問(wèn)答是知識(shí)圖譜領(lǐng)域的一項(xiàng)重要任務(wù)，其核心目標(biāo)是從結(jié)構(gòu)化知識(shí)庫(kù)中檢索并推理出精準(zhǔn)答案，但這一過(guò)程面臨兩大瓶頸：一是自然語(yǔ)言問(wèn)題與知識(shí)圖譜三元組（實(shí)體-關(guān)系-實(shí)體）的映射存在表述差異，繼而導(dǎo)致檢索偏差；二是多跳推理困難，復(fù)雜問(wèn)題需遍歷多步邏輯路徑，傳統(tǒng)方法依賴(lài)人工規(guī)則，難以動(dòng)態(tài)適配。大語(yǔ)言模型雖具備強(qiáng)大的語(yǔ)義理解能力，但其在KGQA任務(wù)中仍受限于幻覺(jué)生成與結(jié)構(gòu)化知識(shí)缺失。為此，KG-to-Text技術(shù)應(yīng)運(yùn)而生，通過(guò)將知識(shí)圖譜中的結(jié)構(gòu)化三元組轉(zhuǎn)化為自然語(yǔ)言文本，增強(qiáng)大語(yǔ)言模型對(duì)知識(shí)邏輯的理解能力。KG-to-Text增強(qiáng)框架通過(guò)檢索-重寫(xiě)-回答（Retrieve-Rewrite-Answer）三階段實(shí)現(xiàn)結(jié)構(gòu)化知識(shí)到文本的精準(zhǔn)轉(zhuǎn)換。n檢索（Retrieve）:基于問(wèn)題語(yǔ)義從KG中提取相關(guān)三元組或子圖（如實(shí)體關(guān)系鏈、多跳路徑）n重寫(xiě)（Rewrite）:將三元組轉(zhuǎn)換為自然語(yǔ)言描述，保留邏輯關(guān)聯(lián)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：66/161模板化生成：預(yù)定義句式模板（如“X的Y是Z”）微調(diào)LLM生成：訓(xùn)練LLM直接輸出流暢文本（如“愛(ài)因斯坦提出的理論包括相對(duì)論”）n回答（Answer）:LLM基于重寫(xiě)后的文本生成最終答案，同時(shí)結(jié)合上下文語(yǔ)義補(bǔ)充細(xì)節(jié)。實(shí)現(xiàn)任務(wù)敏感型知識(shí)生成，針對(duì)復(fù)雜問(wèn)題，通過(guò)答案引導(dǎo)機(jī)制動(dòng)態(tài)篩選與答案強(qiáng)相關(guān)的三元組，避免冗余干擾。使用領(lǐng)域數(shù)據(jù)微調(diào)LLM，使其生成與任務(wù)目標(biāo)對(duì)齊的簡(jiǎn)潔文本。采用自迭代語(yǔ)料構(gòu)建策略，利用LLM對(duì)生成文本的邏輯校驗(yàn)?zāi)芰Γ詣?dòng)創(chuàng)建圖譜-文本對(duì)齊語(yǔ)料，解決KGQA任務(wù)中標(biāo)注數(shù)據(jù)稀缺問(wèn)題，實(shí)現(xiàn)KG-to-Text模型的閉環(huán)訓(xùn)練優(yōu)化。（2）KGStructuresasPrompt：結(jié)合圖譜結(jié)構(gòu)KGStructureasPrompt將知識(shí)圖譜的拓?fù)潢P(guān)系編碼為提示模板，提升小模型的推理能力，彌補(bǔ)其參數(shù)規(guī)模的不足。知識(shí)結(jié)構(gòu)提示融合的核心原理為，將KG的子圖結(jié)構(gòu)（如實(shí)體關(guān)系鏈、多跳路徑）轉(zhuǎn)換為文本提示，嵌入模型輸入上下文。n拓?fù)渚幋a：使用圖神經(jīng)網(wǎng)絡(luò)（GNN）提取子圖特征，生成結(jié)構(gòu)化描述；n動(dòng)態(tài)提示：根據(jù)問(wèn)題類(lèi)型選擇模板（因果推理、實(shí)體定位等）。構(gòu)建輕量化因果推理引擎：n三維評(píng)估體系參數(shù)效率：優(yōu)化提示長(zhǎng)度與模型參數(shù)量級(jí)的關(guān)系；知識(shí)泛化：驗(yàn)證跨領(lǐng)域任務(wù)（如科學(xué)→醫(yī)學(xué)）的遷移能力；頁(yè)碼：67/161推理速度：確保實(shí)時(shí)響應(yīng)（如對(duì)話場(chǎng)景需<500ms）。n帕累托最優(yōu)邊界平衡模型性能與計(jì)算成本，動(dòng)態(tài)選擇最佳提示策略（如短提示+簡(jiǎn)單模型vs.長(zhǎng)提示+復(fù)雜模型）上述技術(shù)可有效解決自然語(yǔ)言與結(jié)構(gòu)化知識(shí)間的語(yǔ)義對(duì)齊問(wèn)題，而復(fù)雜場(chǎng)景下的多跳推理仍需更深入的協(xié)同機(jī)制，實(shí)現(xiàn)可解釋的推理鏈條與動(dòng)態(tài)知識(shí)融合。（3）KG-to-CoT：結(jié)合圖推理模型生成推理鏈通過(guò)圖推理模型遍歷知識(shí)圖譜中的多跳路徑（如“愛(ài)因斯坦→提出→相對(duì)論→影響→現(xiàn)代物理學(xué)”），生成結(jié)構(gòu)化推理鏈?；趩?wèn)題中的實(shí)體（如“愛(ài)因斯坦”還可以反向解析圖譜中的潛在路徑，生成可回溯的推理步驟（如“第一步：愛(ài)因斯坦提出相對(duì)論；第二步：相對(duì)論影響現(xiàn)代物理學(xué)”）。從而彌合大模型與知識(shí)庫(kù)的認(rèn)知鴻溝，提升二者的協(xié)同推理能（4）MindMap：結(jié)合KG綜合信息免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：68/161將圖譜檢索到的子圖（顯性事實(shí)）與LLM內(nèi)部知識(shí)（隱式關(guān)聯(lián)）動(dòng)態(tài)結(jié)合，構(gòu)建聯(lián)合推理網(wǎng)絡(luò)。例如，回答“愛(ài)因斯坦對(duì)量子力學(xué)的貢獻(xiàn)”時(shí)，圖譜提供“愛(ài)因斯坦-研究-光電效應(yīng)”路徑，LLM補(bǔ)充“光電效應(yīng)與量子力學(xué)關(guān)聯(lián)”的上下文。通過(guò)提示工程直接嵌入圖譜拓?fù)潢P(guān)系（如實(shí)體鄰接矩陣無(wú)需微調(diào)模型，實(shí)現(xiàn)零成本知識(shí)增強(qiáng)。提示工程是融合KG技術(shù)實(shí)現(xiàn)知識(shí)增強(qiáng)最簡(jiǎn)單最直接的方式，其優(yōu)勢(shì)在于無(wú)需修改模型參數(shù)。更進(jìn)一步，在模型微調(diào)過(guò)程中，知識(shí)圖譜也可以發(fā)揮重要作用。2.模型微調(diào)（1）圖譜知識(shí)注入①未知知識(shí)注?（InfuserKI）將知識(shí)圖譜中的新實(shí)體/關(guān)系（如領(lǐng)域?qū)Ｓ行g(shù)語(yǔ)）嵌?LLM，避免與已有知識(shí)沖n知識(shí)探測(cè)與篩選：對(duì)?已知與未知知識(shí)，動(dòng)態(tài)選擇需注?的三元組；n適配器隔離機(jī)制：在Transformer層插?輕量適配器（Adapter），僅訓(xùn)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：69/161練適配器參數(shù)，保留原始模型權(quán)重；n多任務(wù)聯(lián)合訓(xùn)練：聯(lián)合優(yōu)化語(yǔ)?模型損失、三元組關(guān)系分類(lèi)損失及知識(shí)沖突檢測(cè)損失。②低資源知識(shí)注?（GAILFine-tuning）在標(biāo)注數(shù)據(jù)稀缺的場(chǎng)景下，利?知識(shí)圖譜?成合成數(shù)據(jù)，優(yōu)化模型性能。n模板化SPARQL擴(kuò)充：設(shè)計(jì)多類(lèi)型查詢(xún)模板（如單跳、多跳從KG批量采樣實(shí)例化數(shù)據(jù)；n對(duì)抗數(shù)據(jù)?成：基于GAIL框架，驅(qū)動(dòng)LLM?成?擬真問(wèn)題，結(jié)合PPO算法穩(wěn)定訓(xùn)練；n漸進(jìn)式增強(qiáng)：將合成數(shù)據(jù)注?輕量模型（如T5-small），分階段優(yōu)化推理能（2）圖譜推理微調(diào)在KG+LLM的深度融合過(guò)程中，?圖檢索與微調(diào)?法能夠顯著提升模型的多跳推理能?。主要包括以下?個(gè)關(guān)鍵點(diǎn)：免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：70/161n基于思維鏈的?圖構(gòu)造：采?“ThinkStepbyStep”的?式，將復(fù)雜問(wèn)題拆解為多個(gè)?問(wèn)題，并檢索相關(guān)的知識(shí)圖譜?圖，從?增強(qiáng)推理鏈的可解釋性。在檢索過(guò)程中，模型能夠識(shí)別關(guān)鍵的中間事實(shí)，確保推理鏈的邏輯性和準(zhǔn)確性。n優(yōu)化輸??式，降低Token消耗：傳統(tǒng)KG的三元組表示可能存在冗余，可采?YAML或JSON等格式進(jìn)?壓縮，使得輸?數(shù)據(jù)結(jié)構(gòu)完整的同時(shí)減少Token數(shù)量，提?LLM的計(jì)算效率。n多層次增強(qiáng)（實(shí)體、關(guān)系、?圖級(jí)別實(shí)體級(jí)別，提升KG中的實(shí)體預(yù)測(cè)能?，使得檢索和推理更精準(zhǔn)；關(guān)系級(jí)別，加強(qiáng)對(duì)關(guān)系的推斷能?，提?KG知識(shí)融合的深度；?圖級(jí)別，優(yōu)化?圖構(gòu)建，確保多跳推理鏈的完整性和?效性。通過(guò)輕量級(jí)微調(diào)（Tuning在KG?圖基礎(chǔ)上增強(qiáng)檢索效果，提?推理能?。實(shí)驗(yàn)表明，子圖增強(qiáng)?法可使召回率提升20個(gè)百分點(diǎn)。?圖增強(qiáng)結(jié)合微調(diào)?法能夠有效提升模型在復(fù)雜推理任務(wù)中的表現(xiàn)，使其在多跳推理、?鏈推理任務(wù)中具備更?的準(zhǔn)確性和召回率。（3）知識(shí)圖譜對(duì)齊免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：71/161在KG+LLM融合過(guò)程中，實(shí)現(xiàn)符號(hào)知識(shí)表征與隱式知識(shí)表征的對(duì)?，是提升推理能?的重要環(huán)節(jié)。顯式知識(shí)對(duì)?，通過(guò)三元組（頭實(shí)體+關(guān)系+尾實(shí)體）的模式，實(shí)現(xiàn)結(jié)構(gòu)化知識(shí)的映射。采?對(duì)?學(xué)習(xí)（ContrastiveLearning）?法，使頭實(shí)體和關(guān)系的描述構(gòu)成輸?，?尾實(shí)體的描述作為預(yù)測(cè)?標(biāo)，以此促進(jìn)語(yǔ)義對(duì)?。采用共享參數(shù)的?模型?于構(gòu)建頭實(shí)體、關(guān)系實(shí)體、尾實(shí)體的語(yǔ)義表示，并通過(guò)正負(fù)樣本構(gòu)造對(duì)?損失，優(yōu)化知識(shí)嵌?。另一方面，基于包括指令、頭實(shí)體描述、關(guān)系描述在內(nèi)的token輸入，讓模型學(xué)習(xí)結(jié)構(gòu)化知識(shí)，預(yù)測(cè)尾實(shí)體描述，實(shí)現(xiàn)隱式知識(shí)的對(duì)齊。結(jié)合顯式與隱式知識(shí)對(duì)齊，微調(diào)后的模型在?成式知識(shí)推理任務(wù)上有顯著提升。相似度矩陣顯示，優(yōu)化后頭尾實(shí)體的區(qū)分度顯著提?，從原本的混亂狀態(tài)變?yōu)榍逦闹R(shí)結(jié)構(gòu)。接下來(lái)，將圍繞知識(shí)圖譜增強(qiáng)檢索，以及輕量化和個(gè)性化GraphRAG技術(shù)展開(kāi)免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：72/161討論。檢索增強(qiáng)?成（Retrieval-AugmentedGeneration,RAG）經(jīng)歷了多個(gè)發(fā)展階段，從基礎(chǔ)檢索到復(fù)雜流程編排，不斷優(yōu)化檢索效率和?成質(zhì)量。其演進(jìn)過(guò)程可以歸納為以下?個(gè)關(guān)鍵階段：nNaiveRAG：遵循索引-檢索-?成三步流程。nAdvancedRAG：結(jié)合檢索前優(yōu)化（如查詢(xún)改寫(xiě)、查詢(xún)路由）、檢索后優(yōu)化（如重排、過(guò)濾、壓縮）等技術(shù)提升檢索效果。nModularRAG：對(duì)算?進(jìn)行抽象和模塊化組裝，實(shí)現(xiàn)流程編排。在RAG的實(shí)現(xiàn)過(guò)程中，知識(shí)圖譜的引導(dǎo)至關(guān)重要。（1）圖譜增強(qiáng)檢索免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：73/161圖譜增強(qiáng)檢索的關(guān)鍵在于對(duì)問(wèn)題的分解，KELDaR這一工作正是聚焦于此。基于問(wèn)題復(fù)雜度分類(lèi)構(gòu)建分解樹(shù)（DecompositionTree），將復(fù)雜問(wèn)題拆解為多步推理結(jié)構(gòu)，各步驟在知識(shí)圖譜上執(zhí)行原子檢索。并采用高效原子檢索策略，快速定位相關(guān)?圖，同時(shí)擴(kuò)展候選子圖范圍，從而優(yōu)化知識(shí)圖譜檢索效率。RGR-KBQA這項(xiàng)工作的重點(diǎn)則是結(jié)合邏輯形式減少模型幻覺(jué)問(wèn)題。通過(guò)知識(shí)引導(dǎo)的關(guān)系鏈檢索，增強(qiáng)邏輯形式生成的相關(guān)性和細(xì)粒度性。并通過(guò)微調(diào)?模型，優(yōu)化邏輯形式的?成與檢索的協(xié)同作?。結(jié)合對(duì)?學(xué)習(xí)（ContrastiveLearning在語(yǔ)義相似度基礎(chǔ)上優(yōu)化實(shí)體和關(guān)系的匹配。在解碼階段，動(dòng)態(tài)校準(zhǔn)生成結(jié)果，提升邏輯形式的準(zhǔn)確性與知識(shí)?致性。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：74/161圖結(jié)構(gòu)存在一些天然的優(yōu)勢(shì)，例如具有更強(qiáng)的復(fù)雜推理能力，更好的可解釋性、知識(shí)表達(dá)與關(guān)聯(lián)性，以及更靈活的知識(shí)源集成能力，可以為大模型落地提供關(guān)鍵支撐。因此，GraphRAG已成為業(yè)界前沿探索方向，核心議題包括圖推理能力增強(qiáng)、圖結(jié)構(gòu)化知識(shí)表示、高效的圖信息檢索以及利用圖上知識(shí)進(jìn)行校驗(yàn)等等。（2）輕量化GraphRAG傳統(tǒng)GraphRAG計(jì)算開(kāi)銷(xiāo)?、查詢(xún)速度慢，為此，優(yōu)化?案主要圍繞輕量化構(gòu)建與路徑優(yōu)化展開(kāi)。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：75/161第一個(gè)思路是僅構(gòu)建核心圖。首先，基于KNN圖的中?性篩選核心文本塊，構(gòu)建?架，減小圖規(guī)模。另外，利用文本-關(guān)鍵詞構(gòu)建?分圖，將關(guān)鍵詞作為候選實(shí)體，共現(xiàn)關(guān)系作為知識(shí)表征，同時(shí)保留原始文本語(yǔ)義信息以避免信息損失。在檢索時(shí)形成雙通道形式，融合知識(shí)圖譜骨架和二分圖的局部子圖信息，以保證大模型的生成質(zhì)量。另一思路是對(duì)路徑剪枝。僅索引關(guān)鍵路徑，避免對(duì)所有路徑進(jìn)?索引，以降低存儲(chǔ)與計(jì)算成本。結(jié)合Streaming裁剪策略，基于可靠性排序，提???本情況下的?成準(zhǔn)確性，緩解“中間信息丟失”問(wèn)題。該優(yōu)化?案在保留圖結(jié)構(gòu)優(yōu)勢(shì)的同時(shí)，?幅提升了查詢(xún)效率、計(jì)算開(kāi)銷(xiāo)控制能?，增強(qiáng)了LLM?成的準(zhǔn)確性與連貫性。（3）個(gè)性化GraphRAG個(gè)性化GraphRAG旨在通過(guò)?期記憶建模與動(dòng)態(tài)記憶管理提升檢索增強(qiáng)?成的效果，使其更加貼合?戶(hù)的個(gè)性化需求。其中，HippoRAG2模擬了?類(lèi)的?期記憶，結(jié)合個(gè)性化PageRank實(shí)現(xiàn)信息免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：76/161篩選與排序。通過(guò)引入短語(yǔ)節(jié)點(diǎn)和段落節(jié)點(diǎn)，模擬人類(lèi)大腦的密集-稀疏編碼機(jī)制，從而更好地整合概念和上下文。EMG-RAG，通過(guò)分層結(jié)構(gòu)定義不同類(lèi)型的記憶，并實(shí)現(xiàn)了動(dòng)態(tài)管理，提?檢索效率。利用強(qiáng)化學(xué)習(xí)手段，學(xué)習(xí)在圖上選擇相關(guān)記憶，動(dòng)態(tài)調(diào)整記憶選擇策略，根據(jù)?戶(hù)偏好優(yōu)化記憶篩選過(guò)程。4.LRM協(xié)同在GraphRAG的基礎(chǔ)上，DeepSeek的出現(xiàn)，帶來(lái)了大型推理模型的新突破，也為知識(shí)圖譜與大模型的融合提供了新的契機(jī)。DeepSeek的問(wèn)世到升級(jí)過(guò)程，也伴隨著從大語(yǔ)言模型到多模態(tài)模型，再到推理模型的演化。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：77/161從訓(xùn)練時(shí)計(jì)算到測(cè)試時(shí)計(jì)算，使得思考問(wèn)題的中間步驟成為可能，模型在回答之前會(huì)“推理”并探索可能的解決方案，因此更多復(fù)雜問(wèn)題有望得到解決。（1）檢索鏈規(guī)劃在DeepSeek及其推理范式的基礎(chǔ)上，我們可以進(jìn)一步優(yōu)化RAG的檢索過(guò)程，使其更具動(dòng)態(tài)性和適應(yīng)性。其中，ChainofRetrieval（CoR）取代了傳統(tǒng)的ChainofThought（CoT使檢索和推理相結(jié)合，實(shí)現(xiàn)更高效的知識(shí)獲取和決策支持。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：78/161n動(dòng)態(tài)檢索策略：通過(guò)拒絕采樣?成多個(gè)?查詢(xún)和對(duì)應(yīng)的?答案，并從多個(gè)候選?案中優(yōu)化檢索路徑。結(jié)合貪?搜索（Greedy）、最優(yōu)選擇（Best-of-M）、樹(shù)搜索（TreeSearch）等測(cè)論，提?動(dòng)態(tài)檢索調(diào)整的精準(zhǔn)度。n動(dòng)態(tài)代理檢索機(jī)制：讓LLM能夠根據(jù)當(dāng)前任務(wù)狀態(tài)?動(dòng)決定何時(shí)檢索、檢索哪些知識(shí)、檢索多少次，形成?適應(yīng)查詢(xún)機(jī)制。結(jié)合多輪檢索補(bǔ)充知識(shí)缺?，增強(qiáng)推理的完整性。nReason-in-Documents知識(shí)精煉提取?檔中的核?信息，減少冗余和噪聲，提?檢索內(nèi)容的可信度。結(jié)合上下?優(yōu)化推理鏈路，避免邏輯斷裂，使?成結(jié)果更準(zhǔn)確、更具連貫性。（2）算子/實(shí)體規(guī)劃結(jié)合強(qiáng)化學(xué)習(xí)?法，優(yōu)化算?規(guī)劃和知識(shí)圖推理，可以提升信息檢索和推理的精準(zhǔn)度。免費(fèi)下載資料掃碼關(guān)注公眾號(hào)免費(fèi)下載資料頁(yè)碼：79/161n細(xì)粒度算?規(guī)劃：智能交互式推理通過(guò)強(qiáng)化學(xué)習(xí)建模，定義Agent-Environment-State-Action結(jié)構(gòu)