eBPF 技術實踐白皮書新特性介紹

新特性介紹演講人毛文安（品文）阿里云智能集團高級技術專家，龍蜥社區(qū)eBPF技術探索SIGMaintainer彭彬彬浪潮數(shù)據(jù)云計算研發(fā)架構(gòu)師2024/09/1901eBPF技術實踐白皮書簡介第二版更新內(nèi)容介紹02eBPF的架構(gòu)和開發(fā)框架介紹eBPF的架構(gòu)和開發(fā)流程介紹軟件網(wǎng)絡eNetSTL、tcp監(jiān)控、持續(xù)剖析、流量鏡像、網(wǎng)絡訪問控制功能實踐由龍蜥社區(qū)組織編寫，阿里云、浪潮信息、浪潮數(shù)據(jù)、東南大學等共同參與貢獻/assets/static/eBPF_technical_practice_v2.pdfTcp網(wǎng)絡監(jiān)控內(nèi)核網(wǎng)絡協(xié)議棧，tcp連接狀態(tài)、連接Tcp網(wǎng)絡監(jiān)控內(nèi)核網(wǎng)絡協(xié)議棧，tcp連接狀態(tài)、連接析各種網(wǎng)絡故障，eBPF可以在大流量ContinuesProfiling持續(xù)剖析極有可能會成為繼追蹤、日能基于eBPF可以分析用戶態(tài)和內(nèi)核態(tài)容器安全基于eBPF的容器安全技術聚焦于容器運行時安全檢測與防御。將eBPF程序掛載至宿主機內(nèi)核，監(jiān)控所有容器進逃逸等惡意行為特征，識別并攔截異常網(wǎng)絡訪問控制基于ebpf程序?qū)崿F(xiàn)網(wǎng)絡訪問控制，在XDP和TC掛載點加載特定程序，使訪問控制規(guī)則在整個網(wǎng)絡鏈路中比較靠前軟件網(wǎng)絡功能庫軟件網(wǎng)絡功能庫加速基于eBPF的網(wǎng)絡功能開發(fā)，確保流量鏡像流量鏡像實現(xiàn)原始數(shù)據(jù)的復制并轉(zhuǎn)發(fā)至指定網(wǎng)卡實現(xiàn)實時流量安全審計、風險檢測、業(yè)務分析等，相較于傳統(tǒng)實現(xiàn)方式具有成觸發(fā)時機是不相同的；并且在eBPF程序運行過程中，用戶空間③④⑤②①⑥eBPF作為一個通用執(zhí)行引eBPF作為一個通用執(zhí)行引擎，可用于性能分析工具、軟件定義網(wǎng)絡等諸多場景的開發(fā)工作。根據(jù)應用場景的不同，eBPF程序類型大致可xdp,sock_ops,sk_msg,sk_skb,xdp,sock_ops,sk_msg,sk_skb,… KernelCoolbpf… KernelCoolbpf……javajavaluajit…………網(wǎng)絡監(jiān)控與分析安全檢測和防御性能優(yōu)化和故障診斷網(wǎng)絡監(jiān)控與分析安全檢測和防御惡意行為，同時記錄審計日志惡意行為，同時記錄審計日志提供了高效且靈活的解決方案o網(wǎng)絡功能架構(gòu)對比KernelNetworkStack:KernelNetworkStack:TCHookKernelNetworkStack:KernelNetworkStack:TCHook基于eBPF基于eBPFkfunc和kptr技術的eBPF網(wǎng)絡功能加速庫:通過抽象并實現(xiàn)網(wǎng)絡功能性能受限的/無法實現(xiàn)的公共功能到eNetSTL中，實現(xiàn)在不修改eBPF基礎架構(gòu)(例如指令集）的前提下加速基于eBPF的網(wǎng)絡功能oUsecase1:實現(xiàn)基于跳表的Key-valuestore從無法實現(xiàn)oUsecase2:加速使用SIMD的網(wǎng)絡功能與響應的場景下識別出請求與響應，進而獲取請求在協(xié)議棧中接收的時間及服務進程處理過程TCP-RT適用于在一個連接上只有一個并發(fā)請求與響應的服務。例如：HTTP/1.1協(xié)議的Web?process_time：服務端的處理時間。服務端收到客戶端最后一個ACK為止，這段時間為數(shù)據(jù)下載時間。對于下載比較大的數(shù)據(jù)響應，該符號解析eBPF內(nèi)核態(tài)推棧4、支持python、c++、java、go等圖表結(jié)合模式熱點分析圖表結(jié)合模式熱點分析調(diào)用圖譜模式調(diào)用圖譜模式 應用代碼火焰圖純網(wǎng)絡時間 應用代碼火焰圖純網(wǎng)絡時間 執(zhí)行執(zhí)行poll或者cplltunnelinterfacetunnelinterface ----btunnelinterfacetunnelinterface ----b 基于eBPF實現(xiàn)流量鏡像的總體方案圖?在內(nèi)核態(tài)執(zhí)行，輕量化、性能高、安全性高?基于軟件實現(xiàn)，無特殊硬件要求，減少了整體方案復雜度?可擴展性高，能快速編程實現(xiàn)各類差異化需求 場景說明：在數(shù)據(jù)庫審計等場景中，為實現(xiàn)對應用操作性能、安全和統(tǒng)計的全面流量精準度問題：通過軟件或者硬件指定某個接口，會將該接口上的流可擴展性問題：較難擴展實現(xiàn)更多的篩選、解析等能力，無法快速滿流量篩選：在ebpfMap中獲取篩選規(guī)則，復制符合條件的流量流量轉(zhuǎn)發(fā)：復制后的流量轉(zhuǎn)發(fā)至指定接口，封裝后轉(zhuǎn)發(fā)至遠端審計服務在某大型企業(yè)客服系統(tǒng)容器化遷移項目中，其使用的基于硬件交換基于eBPF的流量鏡像能夠避免上述問題，實現(xiàn)更加精準在某大型企業(yè)客服系統(tǒng)容器化遷移項目中，其使用的基于硬件交換基于eBPF的流量鏡像能夠避免上述問題，實現(xiàn)更加精準數(shù)據(jù)庫服務啟動時，可將流量鏡像相關eBPF程序掛載到容器生成鏡像流量TC請求入口網(wǎng)卡流量鏡像網(wǎng)卡實現(xiàn)方案filter傳統(tǒng)實現(xiàn)方式及面臨的問題：在云平臺中，傳統(tǒng)的軟件網(wǎng)絡訪問控制通?；趌inuxiptables機制來filter傳統(tǒng)實現(xiàn)方式及面臨的問題：在云平臺中，傳統(tǒng)的軟件網(wǎng)絡訪問控制通常基于linuxiptables機制來可維護性問題：iptables語句規(guī)則兼容性問題：可能與平臺內(nèi)其他網(wǎng)絡規(guī)則產(chǎn)生沖突，容易數(shù)據(jù)鏈路長問題：iptables模塊位于內(nèi)核協(xié)議棧中比較靠后置，被禁止的數(shù)據(jù)包需要經(jīng)過一些不必要的內(nèi)核?；趀bpf實現(xiàn)網(wǎng)絡訪問控制：基于eBPF編寫安全加固處理程序，并將其掛 流量ebpf刪除netfilter刪除優(yōu)化前丟包點 優(yōu)化后丟包點優(yōu)化后丟包點一raw數(shù)據(jù)包位置數(shù)據(jù)包位置ebpf與iptables的流量路徑對比圖?兼容性強：能夠避免與運行在操作系統(tǒng)內(nèi)核網(wǎng)絡協(xié)議棧的iptables、ipvs等傳統(tǒng)容器間通信、負載均衡等網(wǎng)絡處理功能形成依賴或干擾?性能更優(yōu)：縮短了網(wǎng)絡包處理路徑，整體性能?可擴展性高：基于eBPF可編程的特點，可以快速開發(fā)滿足更多的需求場景?易于觀測：可以將攔截的流量記錄上報到用戶態(tài)處理程序，便于問題的處理和統(tǒng)計分析某銀行清算系統(tǒng)部分服務運行于私有云平臺互聯(lián)統(tǒng)的軟件防火墻（iptables）方案滿足其嚴格的互聯(lián)網(wǎng)區(qū)網(wǎng)絡訪問控制要求。其內(nèi)網(wǎng)流量訪問控制也通過iptables方案實現(xiàn)，因此兩種規(guī)則混雜在一起，在系統(tǒng)運行過程尤其是頻繁上下線業(yè)務期間常會出現(xiàn)配置不當、互聯(lián)網(wǎng)與云內(nèi)流量規(guī)則沖突引起訪問控制異常的問題，增基于eBPF的網(wǎng)絡訪問控制能夠避免上述問某銀行清算系統(tǒng)部分服務運行于私有云平臺互聯(lián)統(tǒng)的軟件防火墻（iptables）方案滿足其嚴格的互聯(lián)網(wǎng)區(qū)網(wǎng)絡訪問控制要求。其內(nèi)網(wǎng)流量訪問控制也通過iptables方案實現(xiàn)，因此兩種規(guī)則混雜在一起，在系統(tǒng)運行過程尤其是頻繁上下線業(yè)務期間常會出現(xiàn)配置不當、互聯(lián)網(wǎng)與云內(nèi)流量規(guī)則沖突引起訪問控制異常的問題，增基于eBPF的網(wǎng)絡訪問控