大模型驅(qū)動(dòng)下的知識圖譜應(yīng)用解析：實(shí)踐與案例

掃碼關(guān)注公眾號掃碼關(guān)注公眾號費(fèi)下載資料頁碼：頁碼：2/161掃碼關(guān)注公眾號免費(fèi)下載資料多模態(tài)GraphRAG初探：文檔智能+知識圖譜+大模型結(jié)合范式 3知識圖譜與大模型雙輪驅(qū)動(dòng)：金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路 融合知識圖譜與大模型的中醫(yī)臨床輔助決策體系 44智譜共融：大模型驅(qū)動(dòng)的知識圖譜范式重構(gòu)與演進(jìn)路徑 59Graph+AI時(shí)代私域知識問答鏈路的建設(shè)與優(yōu)化 89大模型+知識管理發(fā)展趨勢及標(biāo)準(zhǔn)化工作介紹 106圖驅(qū)動(dòng)的知識管理：觀察與思考 123大模型和知識圖譜雙輪驅(qū)動(dòng)的汽車制造業(yè)知識服務(wù) 頁碼：3/161掃碼關(guān)注公眾號免費(fèi)下載資料多模態(tài)GraphRAG初探：文檔智能+知識圖譜+大模型結(jié)合范式導(dǎo)讀：本次分享聚焦多模態(tài)GraphRAG，深度剖析了文檔智能解析的技術(shù)鏈路，并梳理了相關(guān)工作進(jìn)展，全方位呈現(xiàn)了文檔智能、知識圖譜與大模型結(jié)合的應(yīng)用范式。文章主要包括以下幾大部分：1.文檔智能解析技術(shù)鏈路與文檔層級關(guān)系構(gòu)建2.多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程3.知識圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問題4.文檔多模態(tài)RAG相關(guān)工作進(jìn)展5.總結(jié)6.問答環(huán)節(jié)分享嘉賓｜余俊暉360高級算法工程師編輯整理｜盧學(xué)林內(nèi)容校對｜李瑤出品社區(qū)｜DataFun文檔智能解析技術(shù)鏈路與文檔層級關(guān)系構(gòu)建免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：4/161首先來整體介紹一下文檔智能解析技術(shù)方案。上圖中對傳統(tǒng)RAG和微軟GraphRAG的鏈路進(jìn)行了對比，GraphRAG在知識庫和知識圖譜的構(gòu)建方面開展了大量工作。知識庫的構(gòu)建是整個(gè)流程中至關(guān)重要的一個(gè)環(huán)節(jié)，所以接下來會重點(diǎn)介紹知識庫和文檔構(gòu)建的技術(shù)鏈路。文檔處理技術(shù)經(jīng)歷了一系列演變，從早期基于規(guī)則模板，發(fā)展到利用PDFParse等工具來進(jìn)行解析，再到基于深度學(xué)習(xí)的版面分析。當(dāng)前在深度學(xué)習(xí)的基礎(chǔ)上有各種分析技術(shù)，比如板式分析、公式識別、公式檢測、表格解析等。頁碼：5/161隨著大模型的發(fā)展，智能文檔處理主要參與到大模型語料加工的工作中，在RAG系統(tǒng)中主要承擔(dān)數(shù)據(jù)清洗的相關(guān)工作。文檔智能解析有三個(gè)技術(shù)方向，OCR-PIPELINE、OCR-Free和PDF-Parse。nOCR-PIPELINE輸入pdf文檔后，將其轉(zhuǎn)換為圖片，并進(jìn)行版式分析，把內(nèi)容進(jìn)行區(qū)塊切割，針對文檔中的段落、標(biāo)題、公式等區(qū)塊進(jìn)行相應(yīng)的處理。比如使用OCR識別文本中的標(biāo)題、段落；通過表格分析處理文本內(nèi)的表格；利用公式解析將文本內(nèi)的公式轉(zhuǎn)換為LaTeX格式；對圖片也進(jìn)行相應(yīng)的處理。得到區(qū)塊的boundingbox后對其進(jìn)行閱讀順序的排序，最終進(jìn)行文檔的恢復(fù)，轉(zhuǎn)化為markdown格式。nOCR-Free多模態(tài)大模型端到端的智能解析，主要是以數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)大模型。nPDF-parse對于一些可以直接編輯的pdf文檔，文字提取直接使用PDFParser的效果免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：6/161會比用OCR模型的效果更好。OCR-PIPELINE方案具有以下優(yōu)點(diǎn)：其一，能夠獲取boundingbox信息、版式標(biāo)簽信息等，并進(jìn)行相應(yīng)處理；其二，模塊靈活，可單獨(dú)做優(yōu)化；其三，支持CPU離線部署，對于垂直場景可研發(fā)版式分析的輕量模型；其四，支持掃描版文檔。然而，該方案也存在缺點(diǎn)：OCR鏈路依賴于場景數(shù)據(jù)，現(xiàn)在大部分是采用目標(biāo)檢測的方案去做版式劃分，導(dǎo)致泛化性較差；另外，精度不高，在版式分析、表格解析、段落合并等環(huán)節(jié)均有改進(jìn)空間；第三，CPU環(huán)境下速度較慢，涉及模塊眾多，整體速度較慢。OCR-FREE方案利用近期開源的OCR大模型olmOCR和mistralORC等，端到端地解析出markdown格式，為模型做預(yù)加工。盡管模型官方宣稱效果很好，但實(shí)際測試結(jié)果顯示欠佳。這種方案的缺點(diǎn)也很明顯：首先不支持區(qū)域分塊，不輸出boundingbox信息；第二，不支持CPU離線部署；第三，速度很慢，消耗大量GPU資源；第四，免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：7/161部署成本高，針對長文本情況，顯存占用大；第五，存在幻覺問題，容易出現(xiàn)多字少字等和原文不一致的情況；第六，對于比較復(fù)雜的文檔無法做截圖存儲。PDF2TEXT方案，利用規(guī)則驅(qū)動(dòng)的工具，速度快、效果好，在可編輯場景下比OCR的文字信息識別更為準(zhǔn)確。其缺點(diǎn)是不支持掃描版本文檔，并且對圖片和表格等處理效果欠佳。OCR-PIPELINE中最關(guān)鍵的就是版式分析。版式分析是一個(gè)目標(biāo)檢測任務(wù)，用于對文檔的區(qū)域進(jìn)行劃分，核心在于標(biāo)簽的定義，包括正文、標(biāo)題、圖片、圖片標(biāo)題、表格等等。目前表現(xiàn)較為出色的是上海人工智能實(shí)驗(yàn)室的DocLayout-YOLO，在數(shù)據(jù)的標(biāo)注和多場景的數(shù)據(jù)上面做了大量工作，使泛化性得到了有效提升。版式分析模型與文檔類型強(qiáng)相關(guān)，高度依賴于場景數(shù)據(jù)的標(biāo)注，以及標(biāo)注數(shù)據(jù)的多樣性，在后面的文檔恢復(fù)或markdown轉(zhuǎn)錄時(shí)，需要取舍一些標(biāo)簽，所以要有對粒度的控制。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：8/161去年四月份，我們也開源了一些版式分析的模型，主要針對中文論文、英文論文、中文研報(bào)和教材這四個(gè)領(lǐng)域，在這四個(gè)場景下進(jìn)行了細(xì)粒度的標(biāo)注，訓(xùn)練出了一6.23MB，所以在下游垂直場景中速度很快。版式分析的大部分工作集中在標(biāo)注環(huán)節(jié)，而標(biāo)注高度依賴于對業(yè)務(wù)的理解，業(yè)務(wù)需要控制標(biāo)簽的力度，然后我們進(jìn)行相應(yīng)的數(shù)據(jù)標(biāo)注，以滿足垂直領(lǐng)域場景的要免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：9/161文檔解析中的難點(diǎn)之一是表格解析，分為多線表、缺線表、無線表三種類型。受限于傳統(tǒng)CV的方法，存在多尺寸、分辨率低、跨頁處理等多種情況，而可訓(xùn)練的場景數(shù)據(jù)極為稀缺。傳統(tǒng)CV方法主要檢測cells和tablestructure，將OCR的文本和表格的結(jié)構(gòu)進(jìn)行match，算其間的IOU閾值，然后merge，最后去做表格的重建，輸出excel格式或者是html格式，html兼容markdown語法，所以在markdown里面可以很好地展示。關(guān)于端到端的形式，我們也做了一些自己的工作。端到端的一個(gè)缺點(diǎn)就是非常消耗資源，多模態(tài)大模型基于數(shù)據(jù)驅(qū)動(dòng)，我們研究發(fā)現(xiàn)端到端的數(shù)據(jù)極難構(gòu)造。我們通過一些小模型結(jié)合合成數(shù)表格數(shù)據(jù)的方法，訓(xùn)練了一個(gè)端到端的7B左右的多模態(tài)表格解析模型。該模型的輸入為表格截圖，轉(zhuǎn)成html。其缺點(diǎn)是存在嚴(yán)重的幻覺問題，對于一些特定樣例的表格，效果并不理想。頁碼：10/161對于一些可編輯的pdf表格，可以利用文本自身信息進(jìn)行加速。上圖右側(cè)列出了一些常用的開源的表格解析模型，及其對比效果，目前最好的是百度開源的SLANet-plus模型表現(xiàn)最佳，其在TEDS評價(jià)指標(biāo)上取得了較好分?jǐn)?shù)。實(shí)際測試表明該模型也是對有線表格解析得比較好。我們自研了一些公式解析模型，將公式截圖轉(zhuǎn)成LaTeX語法，markdown可以支持LaTeX公式渲染。該工作在ICPR2024的多行數(shù)學(xué)表達(dá)式識別任務(wù)中獲得了冠軍。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：11/161我們的方案基于傳統(tǒng)的VisionEncoderDecoder模型架構(gòu)，采用預(yù)訓(xùn)練加微調(diào)的方式，在訓(xùn)練過程中采用早停機(jī)制來防止過擬合。擬合目標(biāo)是ExactMatch（精確匹配）和EditDistance（編輯距離）后期我們對上述工作進(jìn)行了改進(jìn)，發(fā)表了一篇論文，提出層次細(xì)節(jié)聚焦識別網(wǎng)絡(luò)（HDNet），已被ICASSP接收。改進(jìn)主要包括一些預(yù)訓(xùn)練，以及更科學(xué)的評估。對于復(fù)雜的層級的公式，類似多模態(tài)預(yù)訓(xùn)練中的動(dòng)態(tài)分辨率方法，其是隨機(jī)crop圖片，而我們是更加復(fù)雜的數(shù)據(jù)公式，按照層級的方式對數(shù)據(jù)公式進(jìn)行劃分，起到類似數(shù)據(jù)增強(qiáng)的效果。通過這個(gè)方法取得了比較好的成果，在Fair-CR評價(jià)指標(biāo)上達(dá)到了0.963。而且模型的參數(shù)量較小，約300m，參數(shù)量上低于業(yè)內(nèi)相關(guān)模型。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：12/161圖表解析方面，圖表中包含數(shù)值圖、柱狀圖、餅狀圖等，核心是輸出圖表摘要，或解析出json數(shù)據(jù)，便于后續(xù)進(jìn)一步渲染。或通過解析出的json_dict，進(jìn)行編輯或可視化。圖表中的另一個(gè)重要部分是流程圖，目前大多是將其轉(zhuǎn)成可渲染的markdown格式。傳統(tǒng)方案主要是采取CV的目標(biāo)檢測分割方案，現(xiàn)在依靠多模態(tài)大模型，可以端到端地輸出流程圖的Mermaid格式，做進(jìn)一步的渲染。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：13/161去年我們針對多模態(tài)大模型在流程圖上的能力做了一些評測。評測發(fā)現(xiàn)GPT4o模型在流程圖解析上僅得到56.63分，仍存在很大的優(yōu)化空間。在開源模型中，Phi-3-Vison多模態(tài)大模型獲得了一個(gè)比較高的分?jǐn)?shù)，該模型主要在訓(xùn)練的數(shù)據(jù)上進(jìn)行了一些預(yù)訓(xùn)練。這也說明多模態(tài)大模型目前還是數(shù)據(jù)驅(qū)動(dòng)的模式。文檔解析中的一個(gè)核心問題是閱讀順序的排列，對文檔的還原或轉(zhuǎn)換為markdown起到了樞紐作用，上接布局分析，下接markdown的轉(zhuǎn)換。之前主要是采用基于規(guī)則的方案，按照bbox排序，這種方式簡單，但效果一免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：14/161般。CV的方法其實(shí)也屬于基于規(guī)則的方案，主要是XYcut，按從左到右、從上到下的閱讀順序。現(xiàn)在出現(xiàn)了基于語義的方法，主要工作是LayoutReader。它可以對劃分出來的區(qū)塊去做相應(yīng)的排序，但是它有一個(gè)缺點(diǎn)是高度依賴于標(biāo)注數(shù)據(jù)。最新的工作是DLAFormer，它是一個(gè)端到端的模型，主要是將閱讀順序和版式分析建模成的關(guān)系預(yù)測任務(wù)。通過版式分析可以得到文檔的標(biāo)題，最后通過閱讀順序還原成markdown的時(shí)候可以得到其層級關(guān)系。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：15/161下面介紹Doc2ToC工作。在獲取標(biāo)題之后，可以構(gòu)建目錄，得到章節(jié)信息，建模成parent-of的關(guān)系。這一工作非常依賴于版式分析中對標(biāo)題的定義，標(biāo)題的粒度需要定義成多級的標(biāo)題，標(biāo)注方式非常不統(tǒng)一，我們發(fā)現(xiàn)每個(gè)版式里面可能標(biāo)題和段落標(biāo)題的字號或字體都相近，這可能對后續(xù)的版式識別模型影響較大。第二，通過PDFParser這種工具可以獲取一些字體的信息，但是基于深度學(xué)習(xí)的模型或者OCR的模型很難獲取字體信息。第三，基于語義的方法，可通過一些BIO標(biāo)注去計(jì)算title和段落之間跳轉(zhuǎn)的概率，拿到標(biāo)題和段落之間的分界點(diǎn)，也可進(jìn)行段落標(biāo)題的識別。第四，融合位置和語義的關(guān)系，有一些工作是去預(yù)測其間的父子關(guān)系，這種方式速度可能較慢，標(biāo)注工作量較大。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：16/161Figure2meta這個(gè)工作是針對文檔解析中圖表meta信息的抽取。文檔解析以后，得到很多表格和圖表，對于圖表可進(jìn)一步細(xì)分，通過路由的控制去分成流程圖、數(shù)值圖、普通圖等類別。分類之后做進(jìn)一步的信息抽取，抽取出<figure,title>、<figure,reference>、<figure,boudingbox>的信息，用于圖表的渲染。實(shí)現(xiàn)思路為，對于簡單的布局，可以利用bcaption/title信息，通過正則或版式分析模型對其boudingbox按就近原則進(jìn)行匹配。也可進(jìn)行有監(jiān)督模型訓(xùn)練，比如用bg去索引段落中的語義信息，按相似性進(jìn)行綁定。類似地，<figure/reference>也可通過一些啟發(fā)式規(guī)則獲取boudingbox，結(jié)合閱讀順序和就近原則進(jìn)行匹配，也可進(jìn)行有監(jiān)督的分類。<figure,boundingbox>，可以直接獲取版式分析結(jié)果，因?yàn)榘媸椒治隹梢缘玫狡渥鴺?biāo)信息。<figure,type>，可訓(xùn)練一個(gè)分類模型，將圖片細(xì)分為流程圖、數(shù)值圖、普通圖等類型。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：17/161最后可得到j(luò)son數(shù)據(jù)。DocChartSearch&Recmmend工作主要是在一些應(yīng)用場景下，基于圖片構(gòu)建一些API去做圖表的檢索，以及以圖搜圖、文圖搜索等一些具體的下游任務(wù)。文檔解析中有層級圖的概念，即DocGraph。通過布局分析，進(jìn)行區(qū)域間關(guān)系的抽取，如一個(gè)表格與其相應(yīng)的標(biāo)題、來源、引用段落、所屬章節(jié)之間的關(guān)系，以及層級邏輯關(guān)系。代表性工作包括DocStruct、HRDoc、Detect-Order-Construct等，主要是免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：18/161構(gòu)建層級圖。在文檔進(jìn)行表述的時(shí)候，圖表會作為一個(gè)鏈接元素，引用到文檔的描述中，在RAG中，經(jīng)常會召回一些chunk，可能提示“如表所示”，但此時(shí)圖可能已經(jīng)丟失，將召回的chunk傳遞給多模態(tài)大模型，模型可能無法回答。我們可以做一些類似于實(shí)體鏈接中的entity-linking的工作，將圖和描述進(jìn)行l(wèi)ink。整個(gè)文檔解析鏈路非常長，誤差會一步步傳播。在應(yīng)用場景中，用戶可能既要求快又要求準(zhǔn)。上圖中列出了我們在實(shí)際的文檔解析研發(fā)過程中遇到的一些問題及免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：19/161其解決方案，供參考。多模態(tài)圖索引構(gòu)建與多模態(tài)檢索生成流程多模態(tài)圖結(jié)構(gòu)索引的構(gòu)建流程如上圖所示。多模態(tài)數(shù)據(jù)源通過一個(gè)預(yù)處理模塊，分配到不同的子模塊。文本模塊，可進(jìn)行文本處理，比如傳統(tǒng)的NLP任務(wù)，或者利用大模型進(jìn)行分詞、實(shí)體識別；圖像處理模塊，進(jìn)行特征抽取或者目標(biāo)檢測；視頻處理和圖像類似，一幀幀的視頻可以看作一張張圖片，進(jìn)行相應(yīng)的處理；音頻處理模塊，對語音轉(zhuǎn)文本。之后，跨模態(tài)進(jìn)行關(guān)聯(lián)，構(gòu)建圖結(jié)構(gòu)。圖結(jié)構(gòu)的構(gòu)建包括節(jié)點(diǎn)的創(chuàng)建，如實(shí)體、圖像、視頻片段；邊關(guān)系的建立，主要是時(shí)空、語義和跨模態(tài)之間的關(guān)系；最后存儲到圖數(shù)據(jù)庫，如Neo4j、TigerGraph。嵌入部分主要是對抽取出的特征進(jìn)行相應(yīng)的嵌入，比如圖像可采用ViT等嵌入模型，視頻可使用3D-CNN等。之后進(jìn)行跨模態(tài)的對齊，包括圖片和文本的對齊、文本和視頻的對齊，以及文本和音頻的對齊等。最后，聯(lián)合索引，采用FAISS、免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：20/161Milvus等向量數(shù)據(jù)庫。多模態(tài)檢索的流程如上圖。先對文檔做版式分析，獲取每個(gè)區(qū)塊的一些元素，做chunk的劃分。傳統(tǒng)RAG鏈路中，對于文本就直接用文本，對表格和圖片進(jìn)行summary，最終得到的仍是文本模態(tài)的信息，進(jìn)行embedding操作后存儲到向量數(shù)據(jù)庫，用于后續(xù)檢索。更高維的形式是多模態(tài)嵌入，對文本模態(tài)做文本的嵌入，對表格和圖片分別做表格和圖片的嵌入，最后轉(zhuǎn)儲到向量數(shù)據(jù)庫中。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：21/161檢索生成的流程為，用戶輸入純文本形式或文本加圖片形式的query，首先對query進(jìn)行解析，分為文本解析、圖像解析、語音解析，形成多模態(tài)檢索。檢索有多種檢索策略，包括圖模式匹配的子圖檢索、向量相似度檢索、跨模態(tài)關(guān)聯(lián)檢索等。之后對檢索出來的結(jié)果進(jìn)行融合，做相關(guān)性排序，再送到大模型中做生成。圖文多模態(tài)檢索可以利用多模態(tài)大模型，結(jié)合prompt的構(gòu)造進(jìn)行拼接，然后生成檢索的答案數(shù)據(jù)，之后對答案數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理或引文來源的標(biāo)注。上圖中列出了多模態(tài)GraphRAG的主要優(yōu)勢，包括更細(xì)致的檢索、更高的準(zhǔn)確性和可解釋性等等。知識圖譜解決chunk之間關(guān)聯(lián)以及細(xì)粒度問題免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：22/161傳統(tǒng)RAG方法存在諸多問題，比如chunk的模式會導(dǎo)致召回大量噪聲片段；涉及聚合、過濾、統(tǒng)計(jì)時(shí)向量召回準(zhǔn)確性低，因?yàn)橄蛄磕Ｐ蛯τ跀?shù)字比較敏感，所以魯棒性不強(qiáng)，并且大模型在數(shù)學(xué)計(jì)算方面的能力有限；傳統(tǒng)RAG的chunk之間彼此孤立，缺乏關(guān)聯(lián)，在跨文檔任務(wù)上表現(xiàn)不佳；對于答案涉及多文本塊、多文檔的問題，普通的向量召回或者ES召回能力有限；用大模型進(jìn)行任務(wù)規(guī)劃時(shí)，不確定性較高，在特定可控生成任務(wù)上表現(xiàn)欠佳；大模型改寫、推薦任務(wù)非常發(fā)散，存在幻覺；領(lǐng)域語料不足，大模型跳出問答，需要學(xué)會拒答；RAG整體理解受限，文本embedding后可解釋性低。知識圖譜，通過引入專家知識，可以通過實(shí)體層級特征增強(qiáng)相關(guān)性，并且可以增強(qiáng)chunk之間的關(guān)聯(lián)。例如微軟的GraphRAG可以通過search摘要增強(qiáng)chunk之間的關(guān)系，從而提升相關(guān)性召回。假設(shè)已有KG數(shù)據(jù)存在，那么可以將KG作為召回信息源，補(bǔ)充上下文信息。此外，可將各類知識形成一個(gè)KG，提供圖視角上的embedding，以補(bǔ)充召回的特征。知識圖譜也是另一種形式的規(guī)則知識庫，可作為規(guī)范引導(dǎo)大模型進(jìn)行可控生成。利用結(jié)構(gòu)化知識構(gòu)建場景圖免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：23/161譜，可以進(jìn)行Cyther圖檢索。然而，構(gòu)建一個(gè)高質(zhì)量、更新靈活、計(jì)算簡單的大規(guī)模圖譜成本極高。在大模型的背景下，知識圖譜應(yīng)具有更為廣泛的含義，并不局限于傳統(tǒng)的三元組形式，而是可以擴(kuò)充到更深層次的關(guān)系。例如文檔領(lǐng)域，文檔元數(shù)據(jù)級關(guān)系圖譜，節(jié)點(diǎn)是各個(gè)文檔的名稱或者主題等元數(shù)據(jù)，關(guān)系為文檔之間的相似關(guān)系或者父子關(guān)系；文檔塊級關(guān)系圖譜，節(jié)點(diǎn)可以是各個(gè)chunk（如通過版式分析識別出的標(biāo)題、段落、表格或圖片等關(guān)系是chunk之間的父子、共現(xiàn)、相似等關(guān)系；文檔實(shí)體級關(guān)系圖譜，節(jié)點(diǎn)為文檔中的特定實(shí)體類型及關(guān)系，或者關(guān)系鍵詞網(wǎng)絡(luò)。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：24/161典型的應(yīng)用范式主要包括：nKG-enhancedprompt；nHiQA方案（引入文檔層級結(jié)構(gòu)細(xì)分召回）；nLinkedinKG-RAG方案（雙層嵌入索引）；nUniQA-Text2cypher的KG-RAG；nHippoRAG框架（考慮實(shí)體特異性）；nGRAG方案（考慮拓?fù)浣Y(jié)構(gòu)）；免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：25/161n微軟GraphRAG方案（集KG大成，先做實(shí)體關(guān)系的抽取，再構(gòu)建社區(qū)摘）；nKAG方案（將知識圖譜全盤納入到RAG范式中）。各類應(yīng)用范式的代表工作如上圖所示。我們認(rèn)為，知識圖譜增強(qiáng)大模型問答要淺投入，因?yàn)榍捌诘闹R庫構(gòu)建，還有后續(xù)的檢索，整體耗時(shí)較長，且消耗大量計(jì)算資源。一些相關(guān)優(yōu)化工作，如LightRAG，在GraphRAG上進(jìn)行了簡化，主要去除了社區(qū)、社區(qū)摘要等環(huán)節(jié)，使整個(gè)系統(tǒng)更為輕量，知識更新也更快。但無論是LightRAG，還是GraphRAG，知識圖譜本身構(gòu)建不準(zhǔn)確的問題都較為棘手。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：26/161對比傳統(tǒng)RAG、GraphRAG和KGQA：nRAG主要進(jìn)行chunk和向量檢索，方式簡單，但精確性和邏輯性較差。nGraphRAG可進(jìn)行實(shí)體關(guān)系抽取，再做社區(qū)摘要，這樣文檔語義關(guān)聯(lián)性更強(qiáng)，但缺點(diǎn)就是圖譜質(zhì)量不高，邏輯性不足。nKGQA，指的是早期pipeline的KGQA的方式，要做很多細(xì)致的操作，比如query解析、實(shí)體鏈接、語義推理等，然后做原文的引用。其優(yōu)點(diǎn)是比較精確，邏輯性較高，因?yàn)槊總€(gè)鏈路都需進(jìn)行相應(yīng)優(yōu)化，生成結(jié)果可信度較高，尤其在時(shí)間和數(shù)值問答方面較為準(zhǔn)確。缺點(diǎn)則是圖譜構(gòu)建成本較高，信息可能有損，假設(shè)實(shí)體鏈接做得不好，可能導(dǎo)致鏈接實(shí)體有誤，知識缺失。此外，可讀性較差。總結(jié)而言，KG方案構(gòu)建門檻高、知識稀疏；RAG方法缺少語義和邏輯關(guān)聯(lián)；GraphRAG高度依賴開放域信息抽取，會引入大量噪聲，最后用大模型進(jìn)行生成，可能存在幻覺問題。頁碼：27/161掃碼關(guān)注公眾號免費(fèi)下載資料文檔多模態(tài)RAG相關(guān)工作進(jìn)展目前，涌現(xiàn)出大量文檔多模態(tài)RAG相關(guān)工作，輸入文檔截圖，通過大模型實(shí)現(xiàn)端到端的問答，省去了之前的OCRpipeline鏈路。下面介紹一些代表性的工作。解析式文檔多模態(tài)RAG，其核心思想是將文檔切分為頁面，再利用版式識別的方式對文檔進(jìn)行各種模態(tài)元素的分割、解析、提取，然后再嵌入、檢索。主要包括三種路線：n對于文本和圖片模態(tài)直接做embedding，通過多模態(tài)的嵌入模型執(zhí)行向量檢索，通過相似度搜索，將原始圖片和文本塊傳入多模態(tài)大模型去做問答的生成。此路線的核心大模型為多模態(tài)大模型。n使用多模態(tài)大模型對圖片生成摘要，將非文本模態(tài)轉(zhuǎn)化為純文本，并使用textembedding的方法做嵌入，將文本塊傳遞給文本生成模型以進(jìn)行答案的生成。這里主要利用多模態(tài)大模型對圖片做摘要，使用的是純文本的大模免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：28/161textembedding以獲得嵌入表示，同時(shí)使用參考原始圖像嵌入和檢索圖像摘要，最后將原始圖像和文本塊傳遞給多模態(tài)大模型進(jìn)行整合。這里用到的是多模態(tài)大模型。DocVQA式文檔多模態(tài)RAG，其核心思想是將文檔切分成頁面，不再細(xì)分區(qū)塊，直接把文檔整頁送入大模型進(jìn)行VQA工作。VisRAG、M3DocRAG，均為端到端利用多模態(tài)大模型進(jìn)行知識問答。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：29/161多模態(tài)大模型RAG的實(shí)踐流程可概括如上圖所示。首先，將文檔轉(zhuǎn)成頁面，通過ColPali等工具將圖片編碼成向量數(shù)據(jù)，同時(shí)對文本進(jìn)行相應(yīng)編碼，之后將圖片的embedding和prompt的embedding同時(shí)輸入多模態(tài)大模型，生成問答?？偨Y(jié)最后，對當(dāng)前工作中的要點(diǎn)總結(jié)如下：n語料加工是RAG中的一個(gè)重要環(huán)節(jié)，占據(jù)龍頭地位，其加工的程度和質(zhì)量直接影響知識問答的效果。n多模態(tài)大模型為文檔處理帶來新契機(jī)，例如可利用大模型進(jìn)行端到端的處理，或是使用大模型對細(xì)分塊進(jìn)行處理，還有更多潛在場景值得探索；n需要思考如何將文檔挖得好、挖得深，雖然已經(jīng)有很多工具用于深度挖掘，但當(dāng)前仍難以脫離人工操作，要保證質(zhì)量可信，需要人進(jìn)行check；免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：30/161n文檔智能因?yàn)榇竽Ｐ偷膽?yīng)用而再次受到關(guān)注，但傳統(tǒng)的很多長尾問題還未得到根本解決；n知識圖譜要積極擁抱變化，之前的包袱太重，但不能丟，內(nèi)涵要改變，要從結(jié)構(gòu)、粒度、形式等多方面發(fā)展。NLP/CV/BERT等）仍具有應(yīng)用價(jià)值，不可摒棄。以上即為本次分享的全部內(nèi)容，謝謝大家。問答環(huán)節(jié)A1：在搭建MMOCR多模態(tài)大模型的實(shí)踐中發(fā)現(xiàn)，該模型對資源的消耗極大。即便是企業(yè)用戶，可能也難以具備充足資源用于部署多模態(tài)大模型。此外，多模態(tài)大模型屬于數(shù)據(jù)驅(qū)動(dòng)型模型，在前期訓(xùn)練階段，可能需要成百上千萬的數(shù)據(jù)才免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：31/161能訓(xùn)練出一個(gè)多模態(tài)大模型。再者，關(guān)于幻覺問題，普通RAG在處理自上而下這類簡單版式時(shí)，效果或許較好，但面對包含多種元素的復(fù)雜版式，效果可能欠佳。對于簡單表格，多模態(tài)大模型能夠端到端輸出為markdown格式。然而，圖片多模態(tài)大模型無法進(jìn)行截圖或定位操作。綜上所述，在資源有限的情況下，建議采用pipeline模式。A2：標(biāo)題識別的準(zhǔn)確性主要與版式識別中標(biāo)簽的定義相關(guān)。其一，標(biāo)題級別可定義為一級標(biāo)題、二級標(biāo)題、三級標(biāo)題等。但在實(shí)際落地過程中發(fā)現(xiàn)，盡管標(biāo)題定義粒度精細(xì)，采用CV方式時(shí)有時(shí)會出現(xiàn)漏檢情況，從而導(dǎo)致識別不準(zhǔn)確。建議將標(biāo)題定義為統(tǒng)一形式，標(biāo)題分級可通過一些規(guī)則進(jìn)行后處理。其二，可以訓(xùn)練一個(gè)語義模型。若語義模型獲取的數(shù)據(jù)量足夠多，其具備一定的標(biāo)題層級劃分能力。通過語義標(biāo)記，結(jié)合相應(yīng)規(guī)則的后處理，能夠?qū)崿F(xiàn)標(biāo)題分級。不過，很難保證能夠做到盡善盡美。頁碼：32/161掃碼關(guān)注公眾號免費(fèi)下載資料知識圖譜與大模型雙輪驅(qū)動(dòng)：金融行業(yè)智能化產(chǎn)品與架構(gòu)的演進(jìn)之路導(dǎo)讀：恒生作為一家專注于助力金融領(lǐng)域客戶實(shí)現(xiàn)智能化產(chǎn)品落地的服務(wù)機(jī)構(gòu)，積累了豐富的產(chǎn)業(yè)實(shí)踐經(jīng)驗(yàn)。在協(xié)助企業(yè)落地智能化產(chǎn)品的過程中，我們遭遇了一系列關(guān)鍵難題，包括但不限于性價(jià)比、準(zhǔn)確率等核心問題。同時(shí)，隨著技術(shù)的快速演進(jìn)，自2019年以來，特別是大模型興起之后，金融知識圖譜領(lǐng)域也出現(xiàn)了新的發(fā)展范式。在此，我們將基于實(shí)際案例，深入分享在實(shí)踐過程中所積累的寶貴經(jīng)驗(yàn)，同時(shí)對新范式是否會替代知識圖譜，以及大模型如何助力解決知識圖譜先前面臨的問題展開探討。主要內(nèi)容包括以下幾大部分：1.金融場景的困局與破局2.大模型技術(shù)帶來的新范式3.產(chǎn)品功能與設(shè)計(jì)的演進(jìn)4.落地挑戰(zhàn)與未來變化分享嘉賓｜李明明恒生電子股份有限公司AI產(chǎn)品經(jīng)理編輯整理｜李天星內(nèi)容校對｜李瑤出品社區(qū)｜DataFun頁碼：33/161掃碼關(guān)注公眾號免費(fèi)下載資料金融場景的困局與破局1.聚焦金融+AI領(lǐng)域恒生知識圖譜團(tuán)隊(duì)在過往實(shí)踐中，成功搭建了如下幾類重要應(yīng)用場景：n證券交易行為畫像：該場景旨在通過股票與債券交易行為構(gòu)建知識圖譜，實(shí)現(xiàn)對相關(guān)機(jī)構(gòu)的交易行為的精準(zhǔn)刻畫。恒生憑借與眾多交易所級別金融機(jī)構(gòu)的緊密合作，深入洞悉金融行業(yè)交易行為，此外還引入諸如產(chǎn)業(yè)鏈、輿情等信息，在此基礎(chǔ)上構(gòu)建了證券交易行為畫像。其中的挑戰(zhàn)在于，圖譜本身并非一種對時(shí)間序列數(shù)據(jù)敏感的工具，而證券交易行為的場景往往需要對過往交易數(shù)據(jù)進(jìn)行加工。在大模型興起后，我們對這類場景進(jìn)行了優(yōu)化。n投研投顧：即基于產(chǎn)業(yè)鏈上下游進(jìn)行產(chǎn)業(yè)分析與傳導(dǎo)。主要聚焦于國內(nèi)權(quán)益市場，特別是債券違約預(yù)警與發(fā)現(xiàn)的場景。n信用分析：基于企業(yè)圖譜、產(chǎn)業(yè)鏈圖譜進(jìn)行多層事件風(fēng)險(xiǎn)傳導(dǎo)、滲透評估和免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：34/161風(fēng)險(xiǎn)影響面估計(jì)。如兩年前恒大違約事件，在此之前我們已經(jīng)基于圖譜進(jìn)行了事件的發(fā)現(xiàn)，并對違約可能影響的金融機(jī)構(gòu)，以及后續(xù)可能衍生的行為進(jìn)行了分析與預(yù)測。信用分析工作的核心就在于解決此類重大風(fēng)險(xiǎn)事件的前瞻性評估與連鎖反應(yīng)預(yù)測問題。n反洗錢：即基于反洗錢報(bào)送的高風(fēng)險(xiǎn)用戶進(jìn)行多跳關(guān)聯(lián)。當(dāng)前國內(nèi)數(shù)據(jù)不夠完善，證券基金領(lǐng)域相對于銀行領(lǐng)域而言比較落后，機(jī)構(gòu)之間缺乏數(shù)據(jù)共享。當(dāng)前主要在高風(fēng)險(xiǎn)客戶應(yīng)用知識圖譜。中國人民銀行反洗錢交易中心要求各機(jī)構(gòu)上報(bào)高風(fēng)險(xiǎn)用戶，在一定領(lǐng)域內(nèi)可以共享，如何利用上述信息開展多跳關(guān)聯(lián)是我們的關(guān)注重點(diǎn)。2.金融知識圖譜平臺基于上述場景，我們構(gòu)建了金融知識圖譜平臺。該平臺與常規(guī)圖譜產(chǎn)品的主要差別點(diǎn)在于：n恒生并不涉足底層圖數(shù)據(jù)庫存儲層研發(fā)，而是致力于兼容主流圖數(shù)據(jù)庫廠商，如為用戶提供D2R（數(shù)據(jù)轉(zhuǎn)關(guān)系）工具，用于快速將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為圖免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：35/161數(shù)據(jù)并完成導(dǎo)入。同時(shí)，還提供定時(shí)任務(wù)工具與任務(wù)調(diào)度框架等。n聚焦不同金融場景，如事件傳導(dǎo)分析、股權(quán)穿透、反洗錢等，沉淀出插件類產(chǎn)品或基礎(chǔ)類應(yīng)用，提供給金融機(jī)構(gòu)，作為底層技術(shù)平臺與上層應(yīng)用之間的技術(shù)中間件。我們提供了底層存儲、緩存、ES檢索、圖計(jì)算的常用算法、圖譜實(shí)體關(guān)系標(biāo)簽與相關(guān)參數(shù)，以及數(shù)據(jù)可視化、實(shí)體關(guān)系深度分析等工具和方案。這是曾經(jīng)的一個(gè)案例——銅掌柜暴雷事件，通過事件影響傳導(dǎo)，針對該事件對產(chǎn)業(yè)鏈上下游相關(guān)系企業(yè)以及股權(quán)關(guān)系關(guān)聯(lián)企業(yè)可能產(chǎn)生的影響進(jìn)行了定量分析。3.金融場景的困局與破局免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：36/161金融知識圖譜面臨諸多問題，從AI產(chǎn)品經(jīng)理角度來看，困局主要在以下幾個(gè)方n用戶風(fēng)險(xiǎn)厭惡性高，可控性要求高金融機(jī)構(gòu)用戶對風(fēng)險(xiǎn)的厭惡程度高，雖追求業(yè)務(wù)智能化，但當(dāng)智能化表現(xiàn)超出其理解時(shí)，往往會質(zhì)疑結(jié)果。若智能化分析與用戶認(rèn)知相悖，產(chǎn)品經(jīng)理需加以引導(dǎo)。因此，圖譜、機(jī)器學(xué)習(xí)等智能化應(yīng)用中，可解釋性與傳導(dǎo)邏輯比結(jié)果更關(guān)鍵。演繹推理往往比歸納推理更受業(yè)內(nèi)認(rèn)可。例如在新冠疫情期間，要分析其對金融資產(chǎn)的影響，業(yè)務(wù)人員會按照之前SARS的情況進(jìn)行推理，盡管SARS造成的影響范圍與新冠并不一樣。歸納推理數(shù)據(jù)不夠且可解釋性不足，給推理結(jié)果帶來了挑戰(zhàn)。n規(guī)則邏輯的局限性在方案落地進(jìn)程中，我們期望融入更多金融知識。然而，金融知識的邏輯梳理、維護(hù)及更新工作，投入產(chǎn)出比極低。實(shí)際操作里，既沒人愿意承擔(dān)這項(xiàng)免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：37/161工作，維護(hù)質(zhì)量也難以保證。大模型的出現(xiàn)，有望在一定程度上彌補(bǔ)這一短板。另外，由于不同機(jī)構(gòu)、不同行業(yè)、不同規(guī)模，乃至同一金融機(jī)構(gòu)的不同業(yè)務(wù)，對金融知識的理解各不相同，規(guī)則存在極大局限性，所以不存在通用的完美解決方案。當(dāng)下，我們認(rèn)為性價(jià)比最高的方案當(dāng)屬DeepSearch等，這類面向AI的優(yōu)化搜索方式，能更好地感知外部世界，也是未來方案落地更合理的切入點(diǎn)。n數(shù)據(jù)表示的局限性知識圖譜的核心是三元組，是一種對已有知識的壓縮。例如，同樣是債券交易，但交易目的不同，如資產(chǎn)配置或短期套利，不同目的會有不同的預(yù)測和傳導(dǎo)風(fēng)險(xiǎn)，而圖譜三元組難以記錄這些屬性，會導(dǎo)致大量信息損失，進(jìn)而致使圖譜在推理過程中暴露出局限性。上述問題導(dǎo)致金融知識圖譜產(chǎn)品愈發(fā)偏向于另外一種規(guī)則引擎。大模型技術(shù)帶來的新范式1.新范式：KG+LLM的一些方向免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：38/161大模型的興起為知識圖譜帶來了新的契機(jī)。nLLM輔助圖譜構(gòu)建在知識圖譜的構(gòu)建、知識表示、推理及運(yùn)用過程中，大模型相較于傳統(tǒng)自然語言處理（NLP）方法展現(xiàn)出更高的性價(jià)比。借助大模型的提示（prompt）功能，能夠高效完成實(shí)體關(guān)系抽取任務(wù)，已實(shí)現(xiàn)對傳統(tǒng)NLP算法的替代。不僅如此，大模型還具備挖掘隱含知識的能力，即便是那些處于長尾分布的小眾、低頻知識，也能精準(zhǔn)發(fā)現(xiàn)。nLLM輔助圖譜推理其一，利用大模型可以實(shí)現(xiàn)知識的動(dòng)態(tài)更新，尤其是對推理邏輯的實(shí)時(shí)優(yōu)化；其二，演繹推理可有效填補(bǔ)因數(shù)據(jù)局限性而導(dǎo)致的歸納推理的不足。n基于圖譜技術(shù)的RAGGraphRAG/LightGraphRAG，借助圖結(jié)構(gòu)可增強(qiáng)對復(fù)雜關(guān)系的建模和推理能力，但由于性價(jià)比較低尚難以在金融領(lǐng)域普及。KAG通過結(jié)構(gòu)化圖譜與知免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：39/161Think-on-Graph，通過識別與問題相關(guān)實(shí)體，檢索相關(guān)三元組進(jìn)行探索推理，生成多個(gè)推理路徑，直至收集到足夠信息回答問題或達(dá)到最大深度。盡管三個(gè)方向都有嘗試，但目前比較成熟的是前兩種方式。2.質(zhì)疑陸奇老師層提出，知識圖譜真的不行。對此我們也展開過相關(guān)討論。用知識圖譜做大模型，是不是馬拉火車？在2020年前，普遍認(rèn)為圖譜技術(shù)會引免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：40/161領(lǐng)AI發(fā)展，但現(xiàn)在人們則質(zhì)疑LLM是否一定要套圖譜的外殼。產(chǎn)品功能與設(shè)計(jì)的演進(jìn)AI或大模型在金融領(lǐng)域落地，需要考慮三個(gè)核心因素：準(zhǔn)確率、成本、速度。以如下三個(gè)問題為例，針對不同場景，大模型和知識圖譜各有其優(yōu)勢。問題1：螞蟻和恒生電子的關(guān)系是什么？這種問題使用純LLM的方式更優(yōu)，更新圖譜性價(jià)比不高。大模型基于外部信息檢索的結(jié)果更符合業(yè)務(wù)人員認(rèn)知，且可以避免知識更新不及時(shí)帶來的問題。問題2：反洗錢系統(tǒng)中張三和李四的關(guān)系是什么？在這個(gè)問題中，張三和李四代表行業(yè)專有名詞或公司內(nèi)部數(shù)據(jù)。針對這種專業(yè)知識的多跳關(guān)系搜索，采用圖譜方案更優(yōu)，無論速度還是專業(yè)性與精確度上都更具優(yōu)勢。問題3：機(jī)構(gòu)A和XXX債券的關(guān)系是什么？或者機(jī)構(gòu)A、機(jī)構(gòu)B頻繁買入XXX債券說明了什么？這種既涉及通用知識又涉及私域知識的情況下，大模型頁碼：41/161和圖譜結(jié)合的方式則更為有效。知識專業(yè)性越強(qiáng)、私域化和時(shí)效性要求越高，同時(shí)企業(yè)圖譜完備度越高時(shí)，更偏向采用圖譜產(chǎn)品；反之，則更偏向選擇大模型。當(dāng)前，大模型的適用領(lǐng)域持續(xù)擴(kuò)展，而知識圖譜的應(yīng)用空間正在被不斷壓縮。基于上述思考，我們對產(chǎn)品做了一些改變，上圖中橙色部分，如圖數(shù)據(jù)庫、圖譜的查詢分析算法等還是以圖譜為主；紅色部分，如信息抽取、三元組表示和圖譜構(gòu)建等，則轉(zhuǎn)向LLM為主；藍(lán)色部分，如知識推理等，根據(jù)場景與客戶情況進(jìn)頁碼：42/161行區(qū)分。落地挑戰(zhàn)與未來變化1.落地挑戰(zhàn)n有得必有失三元組本身就是知識的有損壓縮，并不是所有內(nèi)容都適合進(jìn)圖譜。GraphRAG和LightGraphRAG如果能夠?qū)⑦m合的內(nèi)容抽進(jìn)圖譜，其落地才能更好地推廣。n圖譜知識的可維護(hù)性圖譜是沒有時(shí)間維度的，金融領(lǐng)域的數(shù)據(jù)如何更快更好地進(jìn)行維護(hù)是一大挑nChatBot的挑戰(zhàn)在ChatBot的應(yīng)用場景中，面臨的挑戰(zhàn)之一是如何精準(zhǔn)判斷：哪些問題需要借助KG能力來解答，哪些問題則無需KG便可處理。n是否有銀彈金融業(yè)務(wù)和人遠(yuǎn)遠(yuǎn)比IT解決方案復(fù)雜，因此沒有統(tǒng)一的解決方案可以解決所有問題。nKG與LLM更深地融合利用圖譜輔助LLM訓(xùn)練，以及基于圖學(xué)習(xí)的Adapter可訓(xùn)練結(jié)構(gòu)等，是值得探索的領(lǐng)域。2.未來變化免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：43/161n圖譜回歸到自己更適合的領(lǐng)域圖譜未來可能作為智能體的一部分，與API、結(jié)構(gòu)化數(shù)據(jù)庫、RAG結(jié)合， 成為Agent長短記憶體和Tools的一部分，在合適的情況下讓大模型調(diào)用，讓圖譜回歸到自己更適合的領(lǐng)域。nAI應(yīng)用一定是ChatBot嗎？當(dāng)前，大模型應(yīng)用更多以問答形式呈現(xiàn)。而在2B領(lǐng)域的非即時(shí)性任務(wù)中，知識圖譜可以發(fā)揮重要作用。因此，探索非ChatBot形式的應(yīng)用，能夠更好地釋放知識圖譜的價(jià)值。n特定的私域數(shù)據(jù)場景依舊需要圖譜多跳計(jì)算、社團(tuán)分析、最短路、可控傳導(dǎo)等領(lǐng)域，仍然要依靠知識圖譜。n讓子彈飛一會兒所謂的統(tǒng)一的框架、解決方案還在路上。頁碼：44/161掃碼關(guān)注公眾號免費(fèi)下載資料融合知識圖譜與大模型的中醫(yī)臨床輔助決策體系導(dǎo)讀：隨著信息技術(shù)的發(fā)展，現(xiàn)代醫(yī)學(xué)逐漸向數(shù)字化和智能化方向邁進(jìn)。尤其是在中醫(yī)藥領(lǐng)域，通過將傳統(tǒng)的中醫(yī)療法與先進(jìn)的計(jì)算技術(shù)相結(jié)合，不僅可以提高診療效率，還能增強(qiáng)診斷的準(zhǔn)確性和個(gè)性化治療方案的有效性。本報(bào)告旨在探討如何利用大模型與知識圖譜構(gòu)建一個(gè)高效的中醫(yī)臨床輔助決策體系，并詳細(xì)說明其在實(shí)際應(yīng)用中的優(yōu)勢及未來發(fā)展方向。主要內(nèi)容包括以下幾個(gè)部分：1.政策背景與行業(yè)現(xiàn)狀2.核心技術(shù)體系構(gòu)建3.臨床應(yīng)用與成效分享嘉賓｜文天才博士中國中醫(yī)科學(xué)院中醫(yī)藥數(shù)據(jù)中心教授級高工編輯整理｜Kathy內(nèi)容校對｜李瑤出品社區(qū)｜DataFun政策背景與行業(yè)現(xiàn)狀1.政策背景免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：45/1612024年7月19日，國家中醫(yī)藥管理局和國家數(shù)據(jù)局聯(lián)合發(fā)布了《關(guān)于促進(jìn)數(shù)字中醫(yī)藥發(fā)展的若干意見》，意見中明確指出用3-5年時(shí)間推動(dòng)大數(shù)據(jù)、人工智能技術(shù)與中醫(yī)藥全鏈條深度融合，重點(diǎn)推進(jìn)中醫(yī)藥數(shù)據(jù)共享與流通，構(gòu)建數(shù)字中醫(yī)藥生態(tài)體系，支撐中醫(yī)藥現(xiàn)代化與國際化。2021年發(fā)布的"十四五"規(guī)劃綱要中也提出了關(guān)于智慧醫(yī)療的一些重要指示，強(qiáng)調(diào)要加快科技創(chuàng)新與數(shù)字化產(chǎn)業(yè)升級，構(gòu)建智慧醫(yī)療等重點(diǎn)領(lǐng)域生態(tài)體系，建設(shè)中醫(yī)藥科技支撐平臺，加強(qiáng)中醫(yī)藥文化傳承與國際傳播。2022年，國務(wù)院辦公廳印發(fā)《"十四五"中醫(yī)藥發(fā)展規(guī)劃》，提出建設(shè)智慧醫(yī)療、智慧服務(wù)、智慧管理“三位一體”的智慧中醫(yī)醫(yī)院，持續(xù)推動(dòng)"互聯(lián)網(wǎng)+醫(yī)療健康"覆蓋診前、診中、診后全流程，鼓勵(lì)研發(fā)中醫(yī)辯證論治智能輔助診療系統(tǒng)（CDSS）。2.行業(yè)現(xiàn)狀中醫(yī)藥行業(yè)早已告別往昔僅靠鶴發(fā)童顏的老中醫(yī)通過號脈、觀察舌苔來診療的傳統(tǒng)模式，步入高度信息化的時(shí)代。當(dāng)下，人工智能的深度融入更是為其發(fā)展按下“加速鍵”。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：46/161然而，快速發(fā)展的進(jìn)程中也面臨諸多痛點(diǎn)：n數(shù)據(jù)標(biāo)準(zhǔn)化和互操作性：中醫(yī)的診療數(shù)據(jù)和西醫(yī)的數(shù)據(jù)標(biāo)準(zhǔn)有很大不同，數(shù)據(jù)標(biāo)準(zhǔn)化程度較低，導(dǎo)致在整合和共享數(shù)據(jù)時(shí)存在困難。中醫(yī)診療中的“四診”(望、聞、問、切)數(shù)據(jù)難以標(biāo)準(zhǔn)化和數(shù)字化，尤其是主觀性較強(qiáng)的部分。n技術(shù)支持不足：中醫(yī)藥的理論體系復(fù)雜且獨(dú)特，需要特定的算法和模型來進(jìn)行智能診斷和治療方案推薦?，F(xiàn)有的人工智能和大數(shù)據(jù)技術(shù)在中醫(yī)領(lǐng)域的應(yīng)用還不夠成熟，缺乏針對性的技術(shù)解決方案。n中醫(yī)藥知識庫建設(shè)：中醫(yī)藥的理論和實(shí)踐知識龐大而分散，缺乏系統(tǒng)化的數(shù)字化知識庫。現(xiàn)有的中醫(yī)藥文獻(xiàn)、案例和臨床數(shù)據(jù)的數(shù)字化和結(jié)構(gòu)化工作量大，進(jìn)展緩慢。n用戶體驗(yàn)和系統(tǒng)易用性：智能診療系統(tǒng)的界面設(shè)計(jì)和操作流程需要符合中醫(yī)診療的習(xí)慣和特點(diǎn)，以提升用戶體驗(yàn)。系統(tǒng)的易用性和可靠性直接影響醫(yī)生和患者的使用意愿和效果。核心技術(shù)體系構(gòu)建為了推動(dòng)中醫(yī)藥現(xiàn)代化，眾多科研團(tuán)隊(duì)致力于將現(xiàn)代科學(xué)技術(shù)，特別是信息技術(shù)應(yīng)用于傳統(tǒng)中醫(yī)領(lǐng)域。這一努力旨在通過系統(tǒng)化、科學(xué)化的手段提升中醫(yī)診療的有效性和準(zhǔn)確性。1.中醫(yī)學(xué)的信息學(xué)原理為了推動(dòng)中醫(yī)學(xué)與信息學(xué)的融合發(fā)展，中國中醫(yī)科學(xué)院劉保延教授和文天才教授免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：47/161針對該領(lǐng)域進(jìn)行了深入地研究，并撰寫了一篇題為《從信息科學(xué)與物質(zhì)科學(xué)及其范式認(rèn)識中西醫(yī)體系的科學(xué)原理》的文章，于2023年7月在《科技導(dǎo)報(bào)》上作為封面文章發(fā)表，并在同年11月被權(quán)威雜志《新華文摘》全文轉(zhuǎn)載，本文內(nèi)容為本報(bào)告相關(guān)工作提供了理論和方向支撐。本文深入探討了中醫(yī)學(xué)與信息學(xué)之間的關(guān)系，提出了中醫(yī)學(xué)本質(zhì)上是一門信息科學(xué)的觀點(diǎn)：醫(yī)者在中醫(yī)理論指導(dǎo)下和臨床經(jīng)驗(yàn)的約束下，圍繞著幫助患者解除病痛這一目標(biāo)，利用自己的感官望聞問切，有目的的收集患者的臨床表現(xiàn)及其相關(guān)信息，將其記錄下來，就形成了數(shù)據(jù)；進(jìn)一步用原有的信息如中醫(yī)病因、病機(jī)、病位、病勢等來理解已收集的數(shù)據(jù)，形成初步認(rèn)識，就將來自患者的數(shù)據(jù)通過分類轉(zhuǎn)變成了信息；再利用自己所掌握的疾病、證候等知識等做出判斷，形成診斷結(jié)果，就將信息轉(zhuǎn)換為知識，進(jìn)一步依據(jù)診斷結(jié)果、結(jié)合自己臨床經(jīng)驗(yàn)和所掌握的干預(yù)手段提出診療方案和處方用藥，這就將知識進(jìn)一步轉(zhuǎn)變?yōu)橹腔??？梢姳孀C論治的信息轉(zhuǎn)換是在醫(yī)患交互的過程中，在中醫(yī)藥已經(jīng)構(gòu)建的知識體系的基礎(chǔ)上，利用人的信息器官在信息技術(shù)支撐下所實(shí)現(xiàn)的。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：48/161n中醫(yī)診療過程模型化信息采集：通過“望聞問切”獲取患者體征癥狀信息。信息處理：醫(yī)生基于經(jīng)驗(yàn)與知識進(jìn)行辨證分析，判斷病因、病機(jī)、病位、病知識應(yīng)用：制定治則治法，開具方藥并觀察療效反饋。n中醫(yī)科學(xué)原理闡釋中醫(yī)診療本質(zhì)是信息感知、處理與決策的過程，與現(xiàn)代信息科學(xué)范式高度契醫(yī)生作為“人肉計(jì)算機(jī)”，通過感官采集數(shù)據(jù)，大腦進(jìn)行信息加工與知識轉(zhuǎn)中醫(yī)理論（如《黃帝內(nèi)經(jīng)》《傷寒論》）是歷代醫(yī)家經(jīng)驗(yàn)的知識化總結(jié)?，F(xiàn)代技術(shù)（知識圖譜、大模型）可系統(tǒng)化構(gòu)建中醫(yī)知識體系，實(shí)現(xiàn)經(jīng)驗(yàn)傳承與創(chuàng)新。為了提升中醫(yī)藥領(lǐng)域的科技能力，文天才教授帶領(lǐng)科研團(tuán)隊(duì)正在利用現(xiàn)代信息技術(shù)（如大數(shù)據(jù)、人工智能、知識圖譜等開展了一系列工作，包括中醫(yī)智慧診療、智慧健康管理、智慧科研。2.大模型+知識圖譜助力中醫(yī)診療盡管當(dāng)前的大模型已經(jīng)能夠?qū)W習(xí)到大量公開的知識，但由于其知識較為寬泛并缺乏專業(yè)領(lǐng)域深度知識思考和因果推理能力，無法為診療過程提供精確的專業(yè)指導(dǎo)。因此，在中醫(yī)診療過程中，除了使用大模型外，還需引入諸如知識圖譜等規(guī)則化知識來增強(qiáng)模型診斷的精準(zhǔn)度和可靠性。以模擬醫(yī)生問診過程為例，當(dāng)患者描述癥狀（如腰酸腿痛）時(shí)，大模型可能會初免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：49/161步推測可能是腎虛引起的問題，并進(jìn)一步詢問相關(guān)癥狀（如夜間盜汗、尿頻尿急）。然而，這樣的推理過程可能存在不確定性或“幻覺”。通過結(jié)合知識圖譜，可以為大模型提供結(jié)構(gòu)化的知識支持，使其在推理過程中更加精確。最終，大模型可以結(jié)合知識圖譜實(shí)現(xiàn)患者的證候診斷，并據(jù)此提出更為準(zhǔn)確的治療建議。中醫(yī)的知識體系可以采用知識樹或知識圖譜來表達(dá)（模式層）。例如，一個(gè)疾病可以包含多個(gè)證候，因?yàn)榧膊∈菍σ环N“病”全生命周期的概括，而證候是“病”在某一階段的特征總結(jié)；證候又可表現(xiàn)為多種癥狀，一個(gè)證候可以對應(yīng)一個(gè)治法治則等等。當(dāng)面對具體患者時(shí)，則可以將模式層轉(zhuǎn)換為數(shù)據(jù)層。例如，糖尿病腎病的一種證型為脾腎陽虛，而脾腎陽虛則可以表現(xiàn)為水腫、腰膝酸軟、面色蒼白和乏力等。這種結(jié)構(gòu)化的知識表示方式非常適合用知識圖譜的形式來組織和存儲，以便于后續(xù)與大模型結(jié)果進(jìn)行推理。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：50/161此外，還可以構(gòu)建更深層次的認(rèn)知圖譜，通過為節(jié)點(diǎn)和邊添加權(quán)重來反映不同信息的重要性，從而提高推理精度。通過上述工作，文天才教授帶領(lǐng)團(tuán)隊(duì)構(gòu)建了中醫(yī)藥診療知識庫。該知識庫不僅涵蓋了具體疾病的治療方案，還包括典籍術(shù)語、名醫(yī)名家的診療經(jīng)驗(yàn)等多層次的知識。鑒于醫(yī)學(xué)領(lǐng)域的嚴(yán)謹(jǐn)性，團(tuán)隊(duì)將所有知識按照證據(jù)級別分為三級：一級知識包括指南、教材、專家共識等；二級知識則涉及名醫(yī)的臨床經(jīng)驗(yàn)和專業(yè)書籍；三級知識則涵蓋古籍文獻(xiàn)等。這種分級有助于確保診療建議的科學(xué)性和有效性。結(jié)免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：51/161合大模型相關(guān)技術(shù)與中醫(yī)專屬知識庫，為中醫(yī)診療智能化應(yīng)用提供支撐。臨床應(yīng)用與成效1.平臺核心功能最終，在大模型和知識圖譜的支撐下，團(tuán)隊(duì)構(gòu)建了包括智慧問診、智慧辯證和輔助開方三大功能的中醫(yī)臨床輔助決策平臺。智慧問診借助智能語義技術(shù)和邏輯化疾病知識集，感知病歷文字，推薦相關(guān)癥狀，減少問診遺漏；智慧辯證基于邏輯化疾病知識集，通過智能算法結(jié)合多方面信息，推薦診斷結(jié)果，降低漏診誤診；輔助開方依據(jù)中西醫(yī)結(jié)合診療知識集，關(guān)聯(lián)患者多項(xiàng)信息，為不同科室智能推薦最佳中醫(yī)診療處方。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：52/1612.應(yīng)用場景示例在實(shí)際應(yīng)用中，可將上述知識圖譜和大模型的能力以API方式嵌入到醫(yī)院現(xiàn)有的HIS系統(tǒng)中，使得醫(yī)生能夠在日常工作中便捷地使用這些工具。例如，當(dāng)醫(yī)生輸入患者的癥狀后，系統(tǒng)能自動(dòng)推薦相關(guān)的癥狀和可能的疾病類型和分析并推薦最有可能的診斷結(jié)果，并給出個(gè)性化的治療方案。這不僅可以提高診療效率，還可以通過知識共享提升基層醫(yī)療服務(wù)的質(zhì)量。頁碼：53/161現(xiàn)在，團(tuán)隊(duì)還接入了最新的DeepSeek大模型，同時(shí)結(jié)合知識圖譜和醫(yī)學(xué)推理私有模型，充分發(fā)揮私有小模型的精確性的優(yōu)勢和大模型處理模糊信息的優(yōu)勢，使臨床服務(wù)能力進(jìn)一步提升。目前，該平臺不僅支持結(jié)構(gòu)化數(shù)據(jù)的處理，還可以解析圖像數(shù)據(jù)。這使得系統(tǒng)可以更全面地分析患者的病情，提供更為精準(zhǔn)的診斷建議。此外，為了保證大模型生成處方的合規(guī)和安全，團(tuán)隊(duì)還建立了包含7萬余種西藥、4萬余種中成藥和8千余種中藥的數(shù)據(jù)庫，并在此基礎(chǔ)上構(gòu)建了涵蓋17大免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：54/161類300余萬條規(guī)則的方劑審查規(guī)則庫，該規(guī)則庫不僅包括中藥之間的“十八反十九畏”等規(guī)則，還包括了西藥聯(lián)用、中西醫(yī)藥聯(lián)用審查規(guī)則。同時(shí)，考慮到兒童、老年人、運(yùn)動(dòng)員等特殊人群的需求，規(guī)則庫中特別加入了針對這些群體的安全用藥指導(dǎo)，從而為模型推薦處方進(jìn)行最后把關(guān)。3.科研成果作為一支國家級科研團(tuán)隊(duì)，文天才教授團(tuán)隊(duì)在既往科研工作中形成了大量軟件、專利、獎(jiǎng)勵(lì)、論文、著作等成果。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：55/161頁碼：56/161頁碼：57/161頁碼：58/161未來，團(tuán)隊(duì)也將秉持開放合作的態(tài)度，為中醫(yī)藥行業(yè)的數(shù)字化、智能化轉(zhuǎn)型注入持久動(dòng)力，開拓更為廣闊的發(fā)展天地。頁碼：59/161掃碼關(guān)注公眾號免費(fèi)下載資料智譜共融：大模型驅(qū)動(dòng)的知識圖譜范式重構(gòu)與演進(jìn)路徑導(dǎo)讀：在人工智能領(lǐng)域，隨著大模型的迅速發(fā)展，其對知識圖譜的作用引發(fā)了廣泛關(guān)注。知識圖譜作為一種結(jié)構(gòu)化的知識表示方式，能夠有效增強(qiáng)大模型的推理能力和可解釋性，彌補(bǔ)其推理能力單一和幻覺問題。在數(shù)據(jù)驅(qū)動(dòng)與知識驅(qū)動(dòng)的結(jié)合中，知識圖譜提供了一種可控、可解釋的方式，幫助大模型實(shí)現(xiàn)更高級的智能。本文將深入探討知識圖譜與大模型的深度融合路徑，包括提示工程、模型微調(diào)、檢索增強(qiáng)、推理協(xié)同等方面的應(yīng)用，通過這些融合，將有助于構(gòu)建下一代可信的智能系統(tǒng)，為實(shí)現(xiàn)通用人工智能奠定基礎(chǔ)。今天的分享會圍繞以下三個(gè)方面展開：1.KG+LLM概述2.KG+LLM的深度融合3.應(yīng)用與展望分享嘉賓｜王昊奮同濟(jì)大學(xué)OpenKGTOC輪值主席特聘研究員編輯整理｜莫觀德內(nèi)容校對｜李瑤出品社區(qū)｜DataFun免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：60/161KG+LLM概述人工智能的發(fā)展歷程從早期的專家系統(tǒng)到統(tǒng)計(jì)學(xué)習(xí)、深度學(xué)習(xí)，再到如今的大模型，始終是數(shù)據(jù)驅(qū)動(dòng)的。1.實(shí)現(xiàn)數(shù)據(jù)智能的兩種方式實(shí)現(xiàn)數(shù)據(jù)智能有兩種方式，即專家系統(tǒng)與統(tǒng)計(jì)學(xué)習(xí)。二者在數(shù)據(jù)來源、知識表示、應(yīng)用場景等方面存在顯著差異，同時(shí)也面臨不同的瓶頸。專家系統(tǒng)以符號知識為核心，依賴專家經(jīng)驗(yàn)對多源異構(gòu)數(shù)據(jù)進(jìn)行人工治理與形式化組織。數(shù)據(jù)來源多樣（如文檔、規(guī)則庫等但形態(tài)復(fù)雜且治理困難。專家需將隱性知識（如經(jīng)驗(yàn)、邏輯規(guī)則）轉(zhuǎn)化為機(jī)器可理解的符號化表示（如規(guī)則樹、知識圖譜這一過程面臨兩大痛點(diǎn)：n知識外化困難：專家知識高度隱性且難以結(jié)構(gòu)化表達(dá)，導(dǎo)致知識體系龐雜且更新緩慢；n信息損失嚴(yán)重：符號化過程易丟失上下文語義與關(guān)聯(lián)性知識，僅能保留顯性邏輯片段。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：61/161專家系統(tǒng)的智能表現(xiàn)為單點(diǎn)推理能力，適用于邏輯鏈條長、規(guī)則明確的復(fù)雜場景（如醫(yī)療診斷、工業(yè)控制）。然而，其局限性顯著：n知識獲取成本高：依賴少數(shù)專家手動(dòng)構(gòu)建知識庫，周期長且難以規(guī)模化；n泛化能力弱：規(guī)則系統(tǒng)難以應(yīng)對動(dòng)態(tài)變化的場景，人機(jī)交互復(fù)雜度高。統(tǒng)計(jì)學(xué)習(xí)（含深度學(xué)習(xí)與大模型）以海量標(biāo)注數(shù)據(jù)為基礎(chǔ)，通過擬合數(shù)據(jù)分布挖掘內(nèi)部模式。其核心優(yōu)勢在于：n特征自動(dòng)化提?。荷疃葘W(xué)習(xí)通過多層非線性變換，從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)高階表征；n模式內(nèi)蘊(yùn)性增強(qiáng)：大模型（如GPT、BERT）利用預(yù)訓(xùn)練技術(shù)，可捕獲跨任務(wù)通用語義模式。統(tǒng)計(jì)學(xué)習(xí)推動(dòng)了人工智能從點(diǎn)狀任務(wù)（如圖像分類）向面狀任務(wù)（如多模態(tài)理解）的擴(kuò)展，但其仍面臨以下挑戰(zhàn)：n數(shù)據(jù)依賴性強(qiáng)：需高質(zhì)量標(biāo)注數(shù)據(jù)支撐，人工標(biāo)注成本高昂（如RLHF階段需專業(yè)標(biāo)注）；n遷移與泛化不足：模型在跨領(lǐng)域、跨任務(wù)場景中易受分布偏差影響，需額外微調(diào)與領(lǐng)域適配；n推理可解釋性差：黑箱模型難以追溯決策邏輯，在醫(yī)療、法律等高可靠性場景中受限。因此，如何將數(shù)據(jù)驅(qū)動(dòng)與知識驅(qū)動(dòng)相結(jié)合成為關(guān)鍵。2.雙系統(tǒng)理論啟示與KG+LLM協(xié)同的必要性隨著推理模型的發(fā)展，雙系統(tǒng)理論逐漸被人們所熟知。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：62/161雙系統(tǒng)理論認(rèn)為人類的認(rèn)知和決策過程存在兩套系統(tǒng)：n系統(tǒng)一（快思考）：負(fù)責(zé)直覺和快速決策。n系統(tǒng)二（慢思考適合復(fù)雜計(jì)算和需要深思熟慮的任務(wù)。通過雙系統(tǒng)的協(xié)同，可以實(shí)現(xiàn)感知、認(rèn)知和決策的一體化智能。人工智能的演進(jìn)始終伴隨著對人類認(rèn)知機(jī)制的模仿與突破。雙系統(tǒng)理論（DualProcessTheory）為這一探索提供了重要啟示：系統(tǒng)1（直覺型快思考）與系統(tǒng)2（邏輯型慢思考）的協(xié)同，恰與當(dāng)前知識圖譜與大語言模型的融合方向不謀而免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：63/161n系統(tǒng)1：依托預(yù)訓(xùn)練大模型的快速響應(yīng)能力，借助海量先驗(yàn)知識，能夠?qū)崿F(xiàn)零樣本/小樣本學(xué)習(xí)，在模式匹配與上下文泛化方面優(yōu)勢顯著。然而，單純依賴系統(tǒng)1，易產(chǎn)生“幻覺”，邏輯推理碎片化，可解釋性差。n系統(tǒng)2：基于知識圖譜的結(jié)構(gòu)化符號推理，通過顯式邏輯鏈條，可支持復(fù)雜計(jì)算與可解釋決策，適合多跳推理與因果分析。但存在知識更新滯后的問題，在動(dòng)態(tài)場景中適應(yīng)性較弱，推理效率也會受限于圖譜規(guī)模。將知識圖譜與大模型結(jié)合，即神經(jīng)符號AI系統(tǒng)，可有效緩解大模型幻覺問題，細(xì)化語義處理，增強(qiáng)上下文理解與邏輯推理能力?；谏鲜鰧χR圖譜與大語言模型協(xié)同重要性的理解，接下來探討如何實(shí)現(xiàn)二者的深度融合。KG+LLM的深度融合：如何結(jié)合KG增強(qiáng)LLM的推理能力為實(shí)現(xiàn)KG+LLM的高效協(xié)同，當(dāng)前技術(shù)探索聚焦于五大方向。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：64/161n提示工程（PromptEngineering）：通過圖譜增強(qiáng)提示模板，將KG結(jié)構(gòu)化知識注入LLM上下文，引導(dǎo)生成邏輯可靠的答案。n模型微調(diào)（Fine-tuning）：利用KG三元組與推理鏈數(shù)據(jù)優(yōu)化LLM參數(shù)，強(qiáng)化其對符號邏輯的理解能力。n檢索增強(qiáng)生成（RAG）：結(jié)合KG檢索與文本語義匹配，動(dòng)態(tài)補(bǔ)充LLM知識缺口，抑制幻覺。n推理模型協(xié)同（LargeReasoningModel，LRM設(shè)計(jì)多跳推理引擎，協(xié)調(diào)LLM的語義解析與KG的路徑搜索能力。n知識智能體（KnowledgeAgent）：構(gòu)建自主化工作流，實(shí)現(xiàn)KG與LLM的閉環(huán)交互與動(dòng)態(tài)知識迭代。下文將圍繞這五大路徑深入剖析其技術(shù)原理、實(shí)踐方案與行業(yè)應(yīng)用價(jià)值。1.Prompt工程：圖譜增強(qiáng)提示提示工程涉及范圍廣泛，包括指令、示例、思維鏈等眾多方面。本文主題圍繞知識圖譜，因此重點(diǎn)介紹圖譜增強(qiáng)提示。接下來將介紹部分代表性工作。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：65/161（1）KG-to-Text：將KG重寫為高效的文本表述基于知識圖譜的問答是知識圖譜領(lǐng)域的一項(xiàng)重要任務(wù)，其核心目標(biāo)是從結(jié)構(gòu)化知識庫中檢索并推理出精準(zhǔn)答案，但這一過程面臨兩大瓶頸：一是自然語言問題與知識圖譜三元組（實(shí)體-關(guān)系-實(shí)體）的映射存在表述差異，繼而導(dǎo)致檢索偏差；二是多跳推理困難，復(fù)雜問題需遍歷多步邏輯路徑，傳統(tǒng)方法依賴人工規(guī)則，難以動(dòng)態(tài)適配。大語言模型雖具備強(qiáng)大的語義理解能力，但其在KGQA任務(wù)中仍受限于幻覺生成與結(jié)構(gòu)化知識缺失。為此，KG-to-Text技術(shù)應(yīng)運(yùn)而生，通過將知識圖譜中的結(jié)構(gòu)化三元組轉(zhuǎn)化為自然語言文本，增強(qiáng)大語言模型對知識邏輯的理解能力。KG-to-Text增強(qiáng)框架通過檢索-重寫-回答（Retrieve-Rewrite-Answer）三階段實(shí)現(xiàn)結(jié)構(gòu)化知識到文本的精準(zhǔn)轉(zhuǎn)換。n檢索（Retrieve）:基于問題語義從KG中提取相關(guān)三元組或子圖（如實(shí)體關(guān)系鏈、多跳路徑）n重寫（Rewrite）:將三元組轉(zhuǎn)換為自然語言描述，保留邏輯關(guān)聯(lián)免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：66/161模板化生成：預(yù)定義句式模板（如“X的Y是Z”）微調(diào)LLM生成：訓(xùn)練LLM直接輸出流暢文本（如“愛因斯坦提出的理論包括相對論”）n回答（Answer）:LLM基于重寫后的文本生成最終答案，同時(shí)結(jié)合上下文語義補(bǔ)充細(xì)節(jié)。實(shí)現(xiàn)任務(wù)敏感型知識生成，針對復(fù)雜問題，通過答案引導(dǎo)機(jī)制動(dòng)態(tài)篩選與答案強(qiáng)相關(guān)的三元組，避免冗余干擾。使用領(lǐng)域數(shù)據(jù)微調(diào)LLM，使其生成與任務(wù)目標(biāo)對齊的簡潔文本。采用自迭代語料構(gòu)建策略，利用LLM對生成文本的邏輯校驗(yàn)?zāi)芰?，自?dòng)創(chuàng)建圖譜-文本對齊語料，解決KGQA任務(wù)中標(biāo)注數(shù)據(jù)稀缺問題，實(shí)現(xiàn)KG-to-Text模型的閉環(huán)訓(xùn)練優(yōu)化。（2）KGStructuresasPrompt：結(jié)合圖譜結(jié)構(gòu)KGStructureasPrompt將知識圖譜的拓?fù)潢P(guān)系編碼為提示模板，提升小模型的推理能力，彌補(bǔ)其參數(shù)規(guī)模的不足。知識結(jié)構(gòu)提示融合的核心原理為，將KG的子圖結(jié)構(gòu)（如實(shí)體關(guān)系鏈、多跳路徑）轉(zhuǎn)換為文本提示，嵌入模型輸入上下文。n拓?fù)渚幋a：使用圖神經(jīng)網(wǎng)絡(luò)（GNN）提取子圖特征，生成結(jié)構(gòu)化描述；n動(dòng)態(tài)提示：根據(jù)問題類型選擇模板（因果推理、實(shí)體定位等）。構(gòu)建輕量化因果推理引擎：n三維評估體系參數(shù)效率：優(yōu)化提示長度與模型參數(shù)量級的關(guān)系；知識泛化：驗(yàn)證跨領(lǐng)域任務(wù)（如科學(xué)→醫(yī)學(xué)）的遷移能力；頁碼：67/161推理速度：確保實(shí)時(shí)響應(yīng)（如對話場景需<500ms）。n帕累托最優(yōu)邊界平衡模型性能與計(jì)算成本，動(dòng)態(tài)選擇最佳提示策略（如短提示+簡單模型vs.長提示+復(fù)雜模型）上述技術(shù)可有效解決自然語言與結(jié)構(gòu)化知識間的語義對齊問題，而復(fù)雜場景下的多跳推理仍需更深入的協(xié)同機(jī)制，實(shí)現(xiàn)可解釋的推理鏈條與動(dòng)態(tài)知識融合。（3）KG-to-CoT：結(jié)合圖推理模型生成推理鏈通過圖推理模型遍歷知識圖譜中的多跳路徑（如“愛因斯坦→提出→相對論→影響→現(xiàn)代物理學(xué)”），生成結(jié)構(gòu)化推理鏈?；趩栴}中的實(shí)體（如“愛因斯坦”還可以反向解析圖譜中的潛在路徑，生成可回溯的推理步驟（如“第一步：愛因斯坦提出相對論；第二步：相對論影響現(xiàn)代物理學(xué)”）。從而彌合大模型與知識庫的認(rèn)知鴻溝，提升二者的協(xié)同推理能（4）MindMap：結(jié)合KG綜合信息免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：68/161將圖譜檢索到的子圖（顯性事實(shí)）與LLM內(nèi)部知識（隱式關(guān)聯(lián)）動(dòng)態(tài)結(jié)合，構(gòu)建聯(lián)合推理網(wǎng)絡(luò)。例如，回答“愛因斯坦對量子力學(xué)的貢獻(xiàn)”時(shí)，圖譜提供“愛因斯坦-研究-光電效應(yīng)”路徑，LLM補(bǔ)充“光電效應(yīng)與量子力學(xué)關(guān)聯(lián)”的上下文。通過提示工程直接嵌入圖譜拓?fù)潢P(guān)系（如實(shí)體鄰接矩陣無需微調(diào)模型，實(shí)現(xiàn)零成本知識增強(qiáng)。提示工程是融合KG技術(shù)實(shí)現(xiàn)知識增強(qiáng)最簡單最直接的方式，其優(yōu)勢在于無需修改模型參數(shù)。更進(jìn)一步，在模型微調(diào)過程中，知識圖譜也可以發(fā)揮重要作用。2.模型微調(diào)（1）圖譜知識注入①未知知識注?（InfuserKI）將知識圖譜中的新實(shí)體/關(guān)系（如領(lǐng)域?qū)Ｓ行g(shù)語）嵌?LLM，避免與已有知識沖n知識探測與篩選：對?已知與未知知識，動(dòng)態(tài)選擇需注?的三元組；n適配器隔離機(jī)制：在Transformer層插?輕量適配器（Adapter），僅訓(xùn)免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：69/161練適配器參數(shù)，保留原始模型權(quán)重；n多任務(wù)聯(lián)合訓(xùn)練：聯(lián)合優(yōu)化語?模型損失、三元組關(guān)系分類損失及知識沖突檢測損失。②低資源知識注?（GAILFine-tuning）在標(biāo)注數(shù)據(jù)稀缺的場景下，利?知識圖譜?成合成數(shù)據(jù)，優(yōu)化模型性能。n模板化SPARQL擴(kuò)充：設(shè)計(jì)多類型查詢模板（如單跳、多跳從KG批量采樣實(shí)例化數(shù)據(jù)；n對抗數(shù)據(jù)?成：基于GAIL框架，驅(qū)動(dòng)LLM?成?擬真問題，結(jié)合PPO算法穩(wěn)定訓(xùn)練；n漸進(jìn)式增強(qiáng)：將合成數(shù)據(jù)注?輕量模型（如T5-small），分階段優(yōu)化推理能（2）圖譜推理微調(diào)在KG+LLM的深度融合過程中，?圖檢索與微調(diào)?法能夠顯著提升模型的多跳推理能?。主要包括以下?個(gè)關(guān)鍵點(diǎn)：免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：70/161n基于思維鏈的?圖構(gòu)造：采?“ThinkStepbyStep”的?式，將復(fù)雜問題拆解為多個(gè)?問題，并檢索相關(guān)的知識圖譜?圖，從?增強(qiáng)推理鏈的可解釋性。在檢索過程中，模型能夠識別關(guān)鍵的中間事實(shí)，確保推理鏈的邏輯性和準(zhǔn)確性。n優(yōu)化輸??式，降低Token消耗：傳統(tǒng)KG的三元組表示可能存在冗余，可采?YAML或JSON等格式進(jìn)?壓縮，使得輸?數(shù)據(jù)結(jié)構(gòu)完整的同時(shí)減少Token數(shù)量，提?LLM的計(jì)算效率。n多層次增強(qiáng)（實(shí)體、關(guān)系、?圖級別實(shí)體級別，提升KG中的實(shí)體預(yù)測能?，使得檢索和推理更精準(zhǔn)；關(guān)系級別，加強(qiáng)對關(guān)系的推斷能?，提?KG知識融合的深度；?圖級別，優(yōu)化?圖構(gòu)建，確保多跳推理鏈的完整性和?效性。通過輕量級微調(diào)（Tuning在KG?圖基礎(chǔ)上增強(qiáng)檢索效果，提?推理能?。實(shí)驗(yàn)表明，子圖增強(qiáng)?法可使召回率提升20個(gè)百分點(diǎn)。?圖增強(qiáng)結(jié)合微調(diào)?法能夠有效提升模型在復(fù)雜推理任務(wù)中的表現(xiàn)，使其在多跳推理、?鏈推理任務(wù)中具備更?的準(zhǔn)確性和召回率。（3）知識圖譜對齊免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：71/161在KG+LLM融合過程中，實(shí)現(xiàn)符號知識表征與隱式知識表征的對?，是提升推理能?的重要環(huán)節(jié)。顯式知識對?，通過三元組（頭實(shí)體+關(guān)系+尾實(shí)體）的模式，實(shí)現(xiàn)結(jié)構(gòu)化知識的映射。采?對?學(xué)習(xí)（ContrastiveLearning）?法，使頭實(shí)體和關(guān)系的描述構(gòu)成輸?，?尾實(shí)體的描述作為預(yù)測?標(biāo)，以此促進(jìn)語義對?。采用共享參數(shù)的?模型?于構(gòu)建頭實(shí)體、關(guān)系實(shí)體、尾實(shí)體的語義表示，并通過正負(fù)樣本構(gòu)造對?損失，優(yōu)化知識嵌?。另一方面，基于包括指令、頭實(shí)體描述、關(guān)系描述在內(nèi)的token輸入，讓模型學(xué)習(xí)結(jié)構(gòu)化知識，預(yù)測尾實(shí)體描述，實(shí)現(xiàn)隱式知識的對齊。結(jié)合顯式與隱式知識對齊，微調(diào)后的模型在?成式知識推理任務(wù)上有顯著提升。相似度矩陣顯示，優(yōu)化后頭尾實(shí)體的區(qū)分度顯著提?，從原本的混亂狀態(tài)變?yōu)榍逦闹R結(jié)構(gòu)。接下來，將圍繞知識圖譜增強(qiáng)檢索，以及輕量化和個(gè)性化GraphRAG技術(shù)展開免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：72/161討論。檢索增強(qiáng)?成（Retrieval-AugmentedGeneration,RAG）經(jīng)歷了多個(gè)發(fā)展階段，從基礎(chǔ)檢索到復(fù)雜流程編排，不斷優(yōu)化檢索效率和?成質(zhì)量。其演進(jìn)過程可以歸納為以下?個(gè)關(guān)鍵階段：nNaiveRAG：遵循索引-檢索-?成三步流程。nAdvancedRAG：結(jié)合檢索前優(yōu)化（如查詢改寫、查詢路由）、檢索后優(yōu)化（如重排、過濾、壓縮）等技術(shù)提升檢索效果。nModularRAG：對算?進(jìn)行抽象和模塊化組裝，實(shí)現(xiàn)流程編排。在RAG的實(shí)現(xiàn)過程中，知識圖譜的引導(dǎo)至關(guān)重要。（1）圖譜增強(qiáng)檢索免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：73/161圖譜增強(qiáng)檢索的關(guān)鍵在于對問題的分解，KELDaR這一工作正是聚焦于此?；趩栴}復(fù)雜度分類構(gòu)建分解樹（DecompositionTree），將復(fù)雜問題拆解為多步推理結(jié)構(gòu)，各步驟在知識圖譜上執(zhí)行原子檢索。并采用高效原子檢索策略，快速定位相關(guān)?圖，同時(shí)擴(kuò)展候選子圖范圍，從而優(yōu)化知識圖譜檢索效率。RGR-KBQA這項(xiàng)工作的重點(diǎn)則是結(jié)合邏輯形式減少模型幻覺問題。通過知識引導(dǎo)的關(guān)系鏈檢索，增強(qiáng)邏輯形式生成的相關(guān)性和細(xì)粒度性。并通過微調(diào)?模型，優(yōu)化邏輯形式的?成與檢索的協(xié)同作?。結(jié)合對?學(xué)習(xí)（ContrastiveLearning在語義相似度基礎(chǔ)上優(yōu)化實(shí)體和關(guān)系的匹配。在解碼階段，動(dòng)態(tài)校準(zhǔn)生成結(jié)果，提升邏輯形式的準(zhǔn)確性與知識?致性。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：74/161圖結(jié)構(gòu)存在一些天然的優(yōu)勢，例如具有更強(qiáng)的復(fù)雜推理能力，更好的可解釋性、知識表達(dá)與關(guān)聯(lián)性，以及更靈活的知識源集成能力，可以為大模型落地提供關(guān)鍵支撐。因此，GraphRAG已成為業(yè)界前沿探索方向，核心議題包括圖推理能力增強(qiáng)、圖結(jié)構(gòu)化知識表示、高效的圖信息檢索以及利用圖上知識進(jìn)行校驗(yàn)等等。（2）輕量化GraphRAG傳統(tǒng)GraphRAG計(jì)算開銷?、查詢速度慢，為此，優(yōu)化?案主要圍繞輕量化構(gòu)建與路徑優(yōu)化展開。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：75/161第一個(gè)思路是僅構(gòu)建核心圖。首先，基于KNN圖的中?性篩選核心文本塊，構(gòu)建?架，減小圖規(guī)模。另外，利用文本-關(guān)鍵詞構(gòu)建?分圖，將關(guān)鍵詞作為候選實(shí)體，共現(xiàn)關(guān)系作為知識表征，同時(shí)保留原始文本語義信息以避免信息損失。在檢索時(shí)形成雙通道形式，融合知識圖譜骨架和二分圖的局部子圖信息，以保證大模型的生成質(zhì)量。另一思路是對路徑剪枝。僅索引關(guān)鍵路徑，避免對所有路徑進(jìn)?索引，以降低存儲與計(jì)算成本。結(jié)合Streaming裁剪策略，基于可靠性排序，提???本情況下的?成準(zhǔn)確性，緩解“中間信息丟失”問題。該優(yōu)化?案在保留圖結(jié)構(gòu)優(yōu)勢的同時(shí)，?幅提升了查詢效率、計(jì)算開銷控制能?，增強(qiáng)了LLM?成的準(zhǔn)確性與連貫性。（3）個(gè)性化GraphRAG個(gè)性化GraphRAG旨在通過?期記憶建模與動(dòng)態(tài)記憶管理提升檢索增強(qiáng)?成的效果，使其更加貼合?戶的個(gè)性化需求。其中，HippoRAG2模擬了?類的?期記憶，結(jié)合個(gè)性化PageRank實(shí)現(xiàn)信息免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：76/161篩選與排序。通過引入短語節(jié)點(diǎn)和段落節(jié)點(diǎn)，模擬人類大腦的密集-稀疏編碼機(jī)制，從而更好地整合概念和上下文。EMG-RAG，通過分層結(jié)構(gòu)定義不同類型的記憶，并實(shí)現(xiàn)了動(dòng)態(tài)管理，提?檢索效率。利用強(qiáng)化學(xué)習(xí)手段，學(xué)習(xí)在圖上選擇相關(guān)記憶，動(dòng)態(tài)調(diào)整記憶選擇策略，根據(jù)?戶偏好優(yōu)化記憶篩選過程。4.LRM協(xié)同在GraphRAG的基礎(chǔ)上，DeepSeek的出現(xiàn)，帶來了大型推理模型的新突破，也為知識圖譜與大模型的融合提供了新的契機(jī)。DeepSeek的問世到升級過程，也伴隨著從大語言模型到多模態(tài)模型，再到推理模型的演化。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：77/161從訓(xùn)練時(shí)計(jì)算到測試時(shí)計(jì)算，使得思考問題的中間步驟成為可能，模型在回答之前會“推理”并探索可能的解決方案，因此更多復(fù)雜問題有望得到解決。（1）檢索鏈規(guī)劃在DeepSeek及其推理范式的基礎(chǔ)上，我們可以進(jìn)一步優(yōu)化RAG的檢索過程，使其更具動(dòng)態(tài)性和適應(yīng)性。其中，ChainofRetrieval（CoR）取代了傳統(tǒng)的ChainofThought（CoT使檢索和推理相結(jié)合，實(shí)現(xiàn)更高效的知識獲取和決策支持。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：78/161n動(dòng)態(tài)檢索策略：通過拒絕采樣?成多個(gè)?查詢和對應(yīng)的?答案，并從多個(gè)候選?案中優(yōu)化檢索路徑。結(jié)合貪?搜索（Greedy）、最優(yōu)選擇（Best-of-M）、樹搜索（TreeSearch）等測論，提?動(dòng)態(tài)檢索調(diào)整的精準(zhǔn)度。n動(dòng)態(tài)代理檢索機(jī)制：讓LLM能夠根據(jù)當(dāng)前任務(wù)狀態(tài)?動(dòng)決定何時(shí)檢索、檢索哪些知識、檢索多少次，形成?適應(yīng)查詢機(jī)制。結(jié)合多輪檢索補(bǔ)充知識缺?，增強(qiáng)推理的完整性。nReason-in-Documents知識精煉提取?檔中的核?信息，減少冗余和噪聲，提?檢索內(nèi)容的可信度。結(jié)合上下?優(yōu)化推理鏈路，避免邏輯斷裂，使?成結(jié)果更準(zhǔn)確、更具連貫性。（2）算子/實(shí)體規(guī)劃結(jié)合強(qiáng)化學(xué)習(xí)?法，優(yōu)化算?規(guī)劃和知識圖推理，可以提升信息檢索和推理的精準(zhǔn)度。免費(fèi)下載資料掃碼關(guān)注公眾號免費(fèi)下載資料頁碼：79/161n細(xì)粒度算?規(guī)劃：智能交互式推理通過強(qiáng)化學(xué)習(xí)建模，定義Agent-Environment-State-Action結(jié)構(gòu)