《深度學(xué)習(xí) 》課件 第7章-圖神經(jīng)網(wǎng)絡(luò)

7圖神經(jīng)網(wǎng)絡(luò)目錄

|

CONTENTS圖神經(jīng)網(wǎng)絡(luò)概述1圖卷積神經(jīng)網(wǎng)絡(luò)2圖循環(huán)網(wǎng)絡(luò)3圖注意力網(wǎng)絡(luò)4圖神經(jīng)網(wǎng)絡(luò)概述11.1傳統(tǒng)深度學(xué)習(xí)的局限性歐式空間數(shù)據(jù)的特點(diǎn)圖像(網(wǎng)格結(jié)構(gòu))、文本(序列結(jié)構(gòu))、語音(時域信號)傳統(tǒng)方法的不足

手工特征工程效率低(如PageRank僅利用結(jié)構(gòu)信息)

CNN/RNN無法直接處理圖結(jié)構(gòu)數(shù)據(jù)非歐式空間數(shù)據(jù)的挑戰(zhàn)

示例:社交網(wǎng)絡(luò)(節(jié)點(diǎn)間關(guān)系復(fù)雜)、分子結(jié)構(gòu)(拓?fù)洳灰?guī)則)、知識圖譜(多關(guān)系圖)

核心問題:如何建模不規(guī)則拓?fù)潢P(guān)系?如何聚合鄰居信息?1.2圖數(shù)據(jù)與圖神經(jīng)網(wǎng)絡(luò)的興起圖數(shù)據(jù)的定義與表示

圖結(jié)構(gòu)：節(jié)點(diǎn)（Node）、邊（Edge）、鄰接矩陣（AdjacencyMatrix）

屬性圖：節(jié)點(diǎn)特征（Feature）、邊權(quán)重（Weight）GNN的核心目標(biāo)

結(jié)合圖結(jié)構(gòu)信息與節(jié)點(diǎn)特征，學(xué)習(xí)節(jié)點(diǎn)/邊/圖的嵌入表示

解決任務(wù)：節(jié)點(diǎn)分類、鏈接預(yù)測、圖分類、聚類GNN的優(yōu)勢

對比傳統(tǒng)方法：端到端學(xué)習(xí)、自動特征提取、可擴(kuò)展性1.3圖神經(jīng)網(wǎng)絡(luò)的發(fā)展起源-早期探索Sperduti等人(1990s):將遞歸神經(jīng)網(wǎng)絡(luò)(RNN)應(yīng)用于有向無環(huán)圖(DAG)目標(biāo):圖結(jié)構(gòu)分類(圖級任務(wù))局限性:僅支持特定圖結(jié)構(gòu)(DAG),無法處理節(jié)點(diǎn)級任務(wù)RNN在圖結(jié)構(gòu)上的首次嘗試如何建模任意拓?fù)鋱D(循環(huán)圖、異構(gòu)圖)?如何聚合鄰居信息并學(xué)習(xí)節(jié)點(diǎn)表示?圖數(shù)據(jù)分析的早期挑戰(zhàn)1.3圖神經(jīng)網(wǎng)絡(luò)的發(fā)展起源-理論奠基-MarcoGori的突破性工作提出GNN概念（2005）：

突破RNN的DAG限制，支持任意拓?fù)鋱D

支持節(jié)點(diǎn)級任務(wù)（如節(jié)點(diǎn)分類）

-FrancoScarselli的深化研究

核心貢獻(xiàn)（2009）：基于巴拿赫不動點(diǎn)定理的迭代傳播機(jī)制過程：通過多次迭代更新節(jié)點(diǎn)表示，直至收斂到穩(wěn)定狀態(tài)

特點(diǎn)：處理無向同構(gòu)圖（所有節(jié)點(diǎn)/邊類型單一）示例圖：社交網(wǎng)絡(luò)（用戶為節(jié)點(diǎn)，關(guān)注為邊）

-早期GNN的局限性計(jì)算效率低（依賴不動點(diǎn)迭代）僅適用于靜態(tài)同構(gòu)圖，難以擴(kuò)展1.3圖神經(jīng)網(wǎng)絡(luò)的發(fā)展起源-

CNN的啟發(fā)-卷積神經(jīng)網(wǎng)絡(luò)（CNN）的三大特征局部連接、權(quán)重共享、多層結(jié)構(gòu)對圖數(shù)據(jù)的啟示：圖是天然的局部連接結(jié)構(gòu)共享權(quán)重降低計(jì)算成本（對比傳統(tǒng)譜方法）分層特征提取適合層次化圖數(shù)據(jù)-CNN的局限性僅適用于歐式數(shù)據(jù)（圖像、文本）關(guān)鍵問題：無法定義圖上的局部卷積核與池化算子示例對比：圖像（規(guī)則網(wǎng)格）vs.社交網(wǎng)絡(luò)（不規(guī)則拓?fù)洌?新興研究方向?qū)NN遷移到非歐式數(shù)據(jù)→

幾何深度學(xué)習(xí)（GeometricDeepLearning）核心目標(biāo)：設(shè)計(jì)圖上的卷積操作（GCN）1.3圖神經(jīng)網(wǎng)絡(luò)的發(fā)展起源-圖卷積神經(jīng)的誕生圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）主要分為兩大類：基于譜的方法和基于空間的方法?；谧V的方法（Spectral-based）：起源：Bruna等人（2013）利用譜圖理論定義圖卷積核心思想：在圖頻域進(jìn)行信號濾波缺點(diǎn)：計(jì)算復(fù)雜，難以擴(kuò)展基于空間的方法（Spatial-based）：起源：Micheli等人（2009）提出復(fù)合非遞歸層架構(gòu)核心思想：通過鄰居聚合直接定義局部操作優(yōu)點(diǎn)：高效、可擴(kuò)展

方法代表工作特點(diǎn)譜方法Bruna(2013)依賴圖傅里葉變換，理論嚴(yán)謹(jǐn)?shù)?jì)算量大空間方法Micheli(2009)直接聚合鄰居信息，靈活高效1.4圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)-尋找圖結(jié)構(gòu)結(jié)構(gòu)性場景vs.非結(jié)構(gòu)性場景顯式圖結(jié)構(gòu)：分子結(jié)構(gòu)（原子為節(jié)點(diǎn)，化學(xué)鍵為邊）社交網(wǎng)絡(luò)（用戶為節(jié)點(diǎn)，關(guān)注關(guān)系為邊）隱式圖構(gòu)建：文本處理：全連接詞圖（節(jié)點(diǎn)為詞，邊為共現(xiàn)關(guān)系）圖像處理：場景圖（物體為節(jié)點(diǎn)，空間/語義關(guān)系為邊）關(guān)鍵問題如何建模非結(jié)構(gòu)化數(shù)據(jù)中的潛在關(guān)系？案例：推薦系統(tǒng)中用戶-商品交互圖的構(gòu)建1.4圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)-確定圖類型與規(guī)模圖類型的三維分類方向性：有向圖（社交網(wǎng)絡(luò)關(guān)注關(guān)系）vs.無向圖（分子結(jié)構(gòu)）同構(gòu)性：同構(gòu)圖（單一節(jié)點(diǎn)/邊類型）vs.異構(gòu)圖（電商網(wǎng)絡(luò)：用戶、商品、評論）動態(tài)性：靜態(tài)圖（知識圖譜）vs.動態(tài)圖（交通流量隨時間的路網(wǎng)）圖規(guī)模的影響小規(guī)模圖（單GPU訓(xùn)練）vs.大規(guī)模圖（分布式采樣與訓(xùn)練）1.4圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)-設(shè)計(jì)損失函數(shù)根據(jù)任務(wù)類型設(shè)計(jì)損失-節(jié)點(diǎn)級任務(wù)：分類任務(wù)→交叉熵?fù)p失（如Cora論文分類）回歸任務(wù)→均方誤差（如房價(jià)預(yù)測）-邊級任務(wù)：鏈接預(yù)測→二元交叉熵（如社交網(wǎng)絡(luò)好友推薦）-圖級任務(wù)：圖分類→對比損失（如分子毒性分類）根據(jù)訓(xùn)練類型設(shè)計(jì)損失-監(jiān)督學(xué)習(xí)：標(biāo)注數(shù)據(jù)驅(qū)動（如節(jié)點(diǎn)分類）-半監(jiān)督學(xué)習(xí)：直推式學(xué)習(xí)（僅預(yù)測訓(xùn)練圖中的未標(biāo)記節(jié)點(diǎn)）歸納式學(xué)習(xí)（泛化到新圖，如GraphSAGE）-無監(jiān)督學(xué)習(xí)：圖自編碼器→重構(gòu)損失（如DeepGraphInfomax）1.4圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)-構(gòu)建計(jì)算模塊核心三大模塊-傳播模塊：卷積算子（GCN、GAT）→聚合鄰居特征循環(huán)算子（GGNN）→迭代更新節(jié)點(diǎn)狀態(tài)跳躍連接→緩解過平滑（如ResGCN）-采樣模塊：鄰居采樣（GraphSAGE的隨機(jī)游走）子圖采樣（Cluster-GCN的圖分區(qū)）-池化模塊：全局池化（平均/最大池化）層次化池化（DiffPool生成粗粒度圖）模型架構(gòu)設(shè)計(jì)多層堆疊：逐層提取高階特征（類似CNN的深度結(jié)構(gòu)）模塊組合示例：GCN（傳播）+TopKPooling（池化）→圖分類模型1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-傳播模塊：卷積算子核心目標(biāo)：通過信息傳遞與聚合更新節(jié)點(diǎn)/圖表示卷積算子（ConvolutionOperators）·

圖像卷積vs圖卷積（對比示意圖）o

圖像卷積：規(guī)則網(wǎng)格、有序鄰域、固定濾波器o

圖卷積：非歐空間、無序鄰域、動態(tài)聚合·

譜方法（SpectralMethods）o

理論基礎(chǔ)：圖傅里葉變換+譜域?yàn)V波器o

局限性：依賴圖結(jié)構(gòu)（拉普拉斯矩陣特征基）、泛化性差o

典型模型：ChebNet（切比雪夫多項(xiàng)式近似）、GCN（簡化版譜方法）·

空間方法（SpatialMethods）o

直接聚合鄰居信息，獨(dú)立于圖結(jié)構(gòu)o

關(guān)鍵操作：消息傳遞（MessagePassing）+聚合（Aggregation）o

典型模型：GraphSAGE、GAT（引入注意力機(jī)制）1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-傳播模塊：循環(huán)算子·

參數(shù)共享機(jī)制：跨層共享參數(shù)，降低計(jì)算復(fù)雜度·

兩類方法對比o

基于收斂的方法（如GGNN）：迭代更新直至穩(wěn)態(tài)，捕捉長程依賴o

基于門控的方法（如Tree-LSTM）：引入GRU/LSTM門控單元，過濾噪聲·

優(yōu)勢：時序建模能力、處理動態(tài)圖1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-傳播模塊：跳躍連接·

問題背景：深層GNN的過平滑（Over-smoothing）與梯度消失·

解決方案o

殘差連接：融合淺層與深層特征（例：ResGCN）o

門控跳躍：自適應(yīng)調(diào)節(jié)信息流（例：HighwayGCN）o

稠密連接：跨層特征拼接（例：DenseGCN）·

經(jīng)典模型：JK-Net（跳躍知識網(wǎng)絡(luò)）、GCNII（深層GCN改進(jìn)）1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-采樣模塊核心目標(biāo)：解決大規(guī)模圖計(jì)算的鄰域爆炸問題與存儲瓶頸采樣動機(jī)·

問題背景：o

鄰域爆炸（NeighborExplosion）：多層GNN的接受域隨層數(shù)指數(shù)級增長o

存儲限制：顯存無法容納全圖鄰接矩陣與節(jié)點(diǎn)特征·

采樣意義：選擇性計(jì)算關(guān)鍵節(jié)點(diǎn)信息，降低計(jì)算復(fù)雜度方法操作邏輯優(yōu)點(diǎn)缺點(diǎn)典型模型逐點(diǎn)采樣每節(jié)點(diǎn)獨(dú)立采樣部分鄰居靈活適配異構(gòu)鄰域計(jì)算冗余、并行效率低GraphSAGE(隨機(jī)采樣)逐層采樣每層采樣固定共享節(jié)點(diǎn)集合計(jì)算高效、易于并行忽略節(jié)點(diǎn)鄰域異質(zhì)性FastGCN子圖采樣隨機(jī)抽取子圖（包含節(jié)點(diǎn)及其局部鄰域）保留局部結(jié)構(gòu)、內(nèi)存友好全局信息可能丟失Cluster-GCN1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-采樣模塊關(guān)鍵技術(shù)細(xì)節(jié)·

逐點(diǎn)采樣：o

鄰居采樣策略：均勻采樣vs重要性采樣（如按節(jié)點(diǎn)度加權(quán)）o

層級傳播限制：限定每層采樣鄰居數(shù)（如GraphSAGE的固定K跳）·

逐層采樣：o

共享分布設(shè)計(jì)：基于節(jié)點(diǎn)度或特征相似性定義概率分布o(jì)

小批量訓(xùn)練：通過蒙特卡洛估計(jì)緩解采樣偏差·

子圖采樣：o

子圖生成方法：§

隨機(jī)游走（如GraphSAINT）§

圖劃分算法（如METIS社區(qū)劃分）o

子圖重疊控制：通過分區(qū)重疊保留跨子圖信息1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-采樣模塊挑戰(zhàn)與優(yōu)化方向·

效率-信息完整性權(quán)衡：采樣率與模型性能的平衡·

動態(tài)圖采樣：適應(yīng)圖結(jié)構(gòu)隨時間變化的場景·

可擴(kuò)展性提升：分布式采樣框架（如PyTorchGeometric的NeighborSampler）1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-池化模塊核心目標(biāo)：壓縮圖表示并提取多層次特征

·

任務(wù)驅(qū)動：o

節(jié)點(diǎn)級任務(wù)（如節(jié)點(diǎn)分類）：需保留局部特征o

圖級任務(wù)（如圖分類）：需生成全局表示·

方法分類：直接池化vs分層池化方法適用場景優(yōu)勢局限性直接池化小規(guī)模圖/節(jié)點(diǎn)分類簡單高效、低計(jì)算成本特征抽象能力有限分層池化大規(guī)模圖/圖分類多尺度特征、高表達(dá)能力實(shí)現(xiàn)復(fù)雜、訓(xùn)練難度大1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-池化模塊直接池化（FlatPooling）·

常見方法：o

MaxPooling：取鄰域特征最大值（保留顯著特征）o

MeanPooling：計(jì)算鄰域特征均值（平滑噪聲）o

SumPooling：鄰域特征求和（適用于稀疏圖）o

GlobalPooling：全圖特征聚合（如Readout函數(shù)）·

優(yōu)點(diǎn)：計(jì)算簡單、易于實(shí)現(xiàn)·

缺點(diǎn)：忽略圖拓?fù)鋵哟?，難以捕捉多尺度特征1.5圖神經(jīng)網(wǎng)絡(luò)計(jì)算模塊-池化模塊分層池化（HierarchicalPooling）核心思想：通過多級壓縮逐步抽象圖結(jié)構(gòu)經(jīng)典方法：i.

DiffPool（可微分池化）:§

學(xué)習(xí)軟分配矩陣（節(jié)點(diǎn)→簇的映射）§

生成粗化圖（簇間連邊加權(quán)聚合）§

優(yōu)點(diǎn)：端到端優(yōu)化，支持任意圖結(jié)構(gòu)ii.

EigenPool（譜池化）:§

基于圖傅里葉變換劃分頻段§

保留低頻分量（捕捉全局結(jié)構(gòu)）iii.

SAGPool（自注意力池化）:§

通過注意力分?jǐn)?shù)選擇關(guān)鍵節(jié)點(diǎn)§

動態(tài)調(diào)整池化粒度圖卷積神經(jīng)網(wǎng)絡(luò)22.1基于譜的圖卷積網(wǎng)絡(luò)·

目標(biāo)：將卷積操作擴(kuò)展到圖結(jié)構(gòu)數(shù)據(jù)，利用圖信號處理理論定義頻域卷積。譜方法實(shí)現(xiàn)流程1.

信號變換：將節(jié)點(diǎn)特征XX

投影到譜域（傅里葉基）：X^=UTXX^=UTX。2.

頻域?yàn)V波：設(shè)計(jì)濾波器gθ(Λ)gθ?(Λ)，執(zhí)行逐元素乘積：Y^=gθ(Λ)⊙X^Y^=gθ?(Λ)⊙X^。3.

逆變換：將結(jié)果轉(zhuǎn)換回空域：Y=UY^Y=UY^?！?/p>

核心問題：濾波器設(shè)計(jì)需滿足局部性和計(jì)算效率。譜方法實(shí)現(xiàn)流程1.信號變換：將節(jié)點(diǎn)特征投影到譜域（傅里葉基2.頻域?yàn)V波：設(shè)計(jì)濾波器，執(zhí)行逐元素乘積3.逆變換：將結(jié)果轉(zhuǎn)換回空域核心問題：濾波器設(shè)計(jì)需滿足局部性和計(jì)算效率?！?/p>

優(yōu)點(diǎn)：o

數(shù)學(xué)理論扎實(shí)（圖信號處理理論支撐）。o

捕獲全局結(jié)構(gòu)信息（長程依賴）?！?/p>

缺點(diǎn)：o

計(jì)算昂貴：特征分解復(fù)雜度高，難以擴(kuò)展到大圖。o

拓?fù)涿舾行裕簽V波器依賴固定圖結(jié)構(gòu)，無法泛化到動態(tài)圖。o

缺乏可解釋性：頻域操作難以直觀關(guān)聯(lián)空間語義。2.1基于譜的圖卷積網(wǎng)絡(luò)經(jīng)典模型與改進(jìn)（1）SpectralNetwork[Brunaetal.,2014]

方法：直接在譜域中學(xué)習(xí)濾波器參數(shù)

局限性：o計(jì)算復(fù)雜度高（依賴特征分解，O(n3)）。o缺乏局部性（濾波器可能聚合非鄰域節(jié)點(diǎn)）。（2）小波神經(jīng)網(wǎng)絡(luò)（GWNN）[Xuetal.,2019]

改進(jìn)點(diǎn)：o小波基底：用稀疏小波基替代傅里葉基，提升局部性和稀疏性。o切比雪夫多項(xiàng)式近似：避免顯式特征分解，復(fù)雜度降低至O(mn)（m為多項(xiàng)式階數(shù)）。

優(yōu)勢：局部性、計(jì)算高效、稀疏性。（3）自適應(yīng)圖卷積網(wǎng)絡(luò)（AGCN）[Lietal.,2018]

核心思想：動態(tài)學(xué)習(xí)圖結(jié)構(gòu)的潛在關(guān)系。o自適應(yīng)拉普拉斯矩陣：通過馬氏距離學(xué)習(xí)節(jié)點(diǎn)間特征相似性，構(gòu)造任務(wù)相關(guān)的圖結(jié)構(gòu)。o殘差子圖：捕捉原始圖未覆蓋的拓?fù)淠Ｊ健?/p>

優(yōu)勢：靈活適應(yīng)不同圖結(jié)構(gòu)，緩解固定圖拓?fù)涞木窒扌浴?.2基于空間的圖卷積網(wǎng)絡(luò)·

目標(biāo)：直接在空域（節(jié)點(diǎn)域）定義卷積操作，通過聚合鄰居信息生成節(jié)點(diǎn)表示?！?/p>

核心問題：中心節(jié)點(diǎn)選擇：如何確定需要聚合信息的中心節(jié)點(diǎn)。感受域大?。哼x擇多少層/多少跳（hop）的鄰居（指數(shù)級擴(kuò)展問題）。特征聚合函數(shù)：如何高效聚合鄰居特征（均值、加權(quán)、注意力等）?！?/p>

優(yōu)點(diǎn)：o

計(jì)算高效，支持大規(guī)模圖處理。o

靈活適應(yīng)動態(tài)圖、異構(gòu)圖和復(fù)雜拓?fù)?。o

局部性設(shè)計(jì)更符合直覺（類似傳統(tǒng)CNN）?！?/p>

缺點(diǎn)：o

感受域設(shè)計(jì)依賴經(jīng)驗(yàn)（如鄰居數(shù)量、跳數(shù)）。o

長距離依賴需深層網(wǎng)絡(luò)或特殊結(jié)構(gòu)（如跳躍連接）。o

部分方法需預(yù)定義節(jié)點(diǎn)順序（如PATCHY-SAN）。2.2基于空間的圖卷積網(wǎng)絡(luò)經(jīng)典模型與解決方案（1）PATCHY-SAN[Niepertetal.,2016]·

流程三階段：節(jié)點(diǎn)中心性度量：基于度、PageRank等指標(biāo)排序節(jié)點(diǎn)，按間隔選取中心節(jié)點(diǎn)。鄰域集合構(gòu)建：通過BFS擴(kuò)展鄰居至固定大小，不足時重復(fù)采樣一階鄰居。子圖標(biāo)準(zhǔn)化：對鄰域節(jié)點(diǎn)排序（如按邊標(biāo)簽、度數(shù)），生成規(guī)則網(wǎng)格結(jié)構(gòu)?！?/p>

優(yōu)點(diǎn)：生成固定大小的子圖，便于傳統(tǒng)CNN處理。支持參數(shù)共享和并行計(jì)算?！?/p>

缺點(diǎn)：中心性指標(biāo)選擇敏感，可能丟失局部結(jié)構(gòu)。鄰域擴(kuò)展策略易導(dǎo)致信息冗余或缺失。2.2基于空間的圖卷積網(wǎng)絡(luò)（2）擴(kuò)散卷積網(wǎng)絡(luò)（DCNN）[Atwood&Towsley,2016]·

核心思想：基于擴(kuò)散過程（如隨機(jī)游走）建模多跳鄰居重要性。o

擴(kuò)散核：利用概率轉(zhuǎn)移矩陣Pk（k跳鄰居權(quán)重）加權(quán)聚合特征。o

平移不變性：同構(gòu)圖輸入產(chǎn)生相同輸出?！?/p>

優(yōu)點(diǎn)：o

自然捕獲多跳鄰居的衰減效應(yīng)（距離越遠(yuǎn)權(quán)重越低）?！?/p>

缺點(diǎn)：o

稠密圖下存儲Pk張量導(dǎo)致內(nèi)存爆炸。o

長距離依賴捕捉能力有限。2.2基于空間的圖卷積網(wǎng)絡(luò)3）GraphSAGE[Hamiltonetal.,2017]·

歸納式節(jié)點(diǎn)嵌入：學(xué)習(xí)生成節(jié)點(diǎn)表示的通用函數(shù)（非固定嵌入）?！?/p>

采樣策略：i.

分層鄰居采樣：每層隨機(jī)采樣固定數(shù)量鄰居（如K=25）。ii.

特征聚合函數(shù)：支持均值（Mean）、LSTM、池化（Pooling）等?！?/p>

優(yōu)勢：o

適用于動態(tài)圖和新節(jié)點(diǎn)（無需全圖重訓(xùn)練）。o

平衡計(jì)算效率與信息完整性。關(guān)鍵優(yōu)化技術(shù)·

感受域控制：o

鄰居剪枝：限制每層采樣數(shù)量（如GraphSAGE）。o

層級跳躍連接：緩解指數(shù)級擴(kuò)展問題（如JK-Net）?！?/p>

高效聚合函數(shù)：o

注意力機(jī)制：GAT（GraphAttentionNetwork）通過自適應(yīng)權(quán)重聚合鄰居。殘差連接：防止深層網(wǎng)絡(luò)信息丟失（如ResGCN）2.3總結(jié)空間方法vs譜方法維度譜方法空間方法理論基礎(chǔ)圖信號處理（頻域變換）局部鄰居聚合（空域操作）計(jì)算復(fù)雜度高（依賴特征分解）低（局部操作，支持并行）圖結(jié)構(gòu)依賴性強(qiáng)（需固定圖結(jié)構(gòu)）弱（支持動態(tài)圖和新節(jié)點(diǎn)）適用性無向圖、小規(guī)模圖有向圖、帶權(quán)圖、大規(guī)模圖可解釋性低（頻域操作抽象）高（直觀的鄰居聚合過程）·

意義：空間方法憑借高效性和靈活性成為圖卷積的主流范式。·

挑戰(zhàn)：o

如何平衡局部與全局信息（如層次化聚合）。o

如何設(shè)計(jì)魯棒的采樣策略（避免信息丟失）?！?/p>

未來方向：o

動態(tài)圖實(shí)時卷積（如時空圖網(wǎng)絡(luò)）。o

異構(gòu)圖的統(tǒng)一空間聚合框架（如異構(gòu)圖注意力）。圖循環(huán)網(wǎng)絡(luò)GRN33.1基于門控循環(huán)單元（GRU）的方法門控圖神經(jīng)網(wǎng)絡(luò)（GGNN）1.

核心機(jī)制：?固定循環(huán)步數(shù)（非收斂迭代）?信息聚合函數(shù)：∑鄰節(jié)點(diǎn)狀態(tài)?狀態(tài)更新函數(shù)：GRU融合當(dāng)前狀態(tài)與鄰域信息2.

應(yīng)用場景：程序驗(yàn)證、狀態(tài)推理任務(wù)門控圖序列神經(jīng)網(wǎng)絡(luò)（GGS-NN）1.

創(chuàng)新點(diǎn)：?圖序列特征編碼?全局狀態(tài)向量（GlobalState）設(shè)計(jì)?雙訓(xùn)練模式：全節(jié)點(diǎn)注釋vs單節(jié)點(diǎn)端到端2.

性能優(yōu)勢：?優(yōu)于傳統(tǒng)LSTM的歸納偏置能力?動態(tài)圖結(jié)構(gòu)適應(yīng)性強(qiáng)3.1基于門控循環(huán)單元（GRU）的方法模型核心模塊狀態(tài)更新維度復(fù)雜度GGNNGRU節(jié)點(diǎn)級O(Tn)GGS-NNGRU+Global圖級聚合O(Tn2)GGT-NNGRU+Attention邊-節(jié)點(diǎn)聯(lián)合O(Tn3)門控圖變換網(wǎng)絡(luò)（GGT-NN）關(guān)鍵技術(shù)升級：?邊屬性動態(tài)更新機(jī)制?注意力驅(qū)動的圖全局輸出?圖靈機(jī)狀態(tài)模擬（四狀態(tài)自動機(jī)）任務(wù)表現(xiàn)：?對話問答任務(wù)性能提升?復(fù)雜度隨問題規(guī)模指數(shù)增長3.2基于長短期記憶網(wǎng)絡(luò)（LSTM）的方法樹結(jié)構(gòu)LSTM變體[Taietal.]1.

應(yīng)用場景：語法樹、分子結(jié)構(gòu)等層次化圖2.

Child-SumTree-LSTM?子節(jié)點(diǎn)無序聚合（∑子節(jié)點(diǎn)隱藏狀態(tài)）?多遺忘門設(shè)計(jì)（每個子節(jié)點(diǎn)獨(dú)立門控）N-aryTree-LSTM?有序子節(jié)點(diǎn)處理（位置敏感參數(shù)矩陣）?適用于固定分支結(jié)構(gòu)（如二進(jìn)制樹）Sentence-LSTM(S-LSTM)1.

文本圖構(gòu)建：?單詞節(jié)點(diǎn)+超節(jié)點(diǎn)（全局信息樞紐）?雙向連接：單詞?相鄰詞+單詞?超節(jié)點(diǎn)2.

創(chuàng)新機(jī)制：?分層信息傳遞：局部上下文+全局語義?動態(tài)門控跨節(jié)點(diǎn)信息流3.

解決痛點(diǎn)：?長距離依賴捕捉（通過超節(jié)點(diǎn)）?語義組合性建模3.2基于長短期記憶網(wǎng)絡(luò)（LSTM）的方法Sentence-LSTM(S-LSTM)3.3總結(jié)1.

在動態(tài)圖(DynamicGraphs)中的潛在價(jià)值2.

與小樣本學(xué)習(xí)結(jié)合的可能性1.

遞歸計(jì)算的串行性→難以并行化2.

深層傳播中的梯度消失/爆炸1.

早期探索:驗(yàn)證了循環(huán)機(jī)制在圖數(shù)據(jù)的可行性2.

技術(shù)遺產(chǎn):?全局狀態(tài)設(shè)計(jì)→GAT的圖注意力池化?超節(jié)點(diǎn)機(jī)制→Graph-BERT的[CLS]節(jié)點(diǎn)歷史地位現(xiàn)代啟示性能瓶頸圖注意力網(wǎng)絡(luò)44.1背景與核心概念注意力機(jī)制的本質(zhì)生物學(xué)啟發(fā)：人類視覺的焦點(diǎn)選擇與信息過濾機(jī)制計(jì)算視角：動態(tài)權(quán)重分配解決信息過載問題經(jīng)典應(yīng)用案例：Transformer在機(jī)器翻譯中的序列建模

圖神經(jīng)網(wǎng)絡(luò)痛點(diǎn)傳統(tǒng)GNN的等權(quán)聚合缺陷（如GCN的固定權(quán)重）異構(gòu)圖/動態(tài)圖中鄰居節(jié)點(diǎn)重要性差異問題多關(guān)系數(shù)據(jù)中邊特征的表達(dá)能力限制