下一代以太網(wǎng)絡(luò)技術(shù)需求白皮書(shū)

分布式存儲(chǔ)技術(shù)與產(chǎn)業(yè)分析報(bào)告1分布式存儲(chǔ)技術(shù)與產(chǎn)業(yè)分析報(bào)告1開(kāi)放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)版權(quán)聲明ODCC（開(kāi)放數(shù)據(jù)中心委員會(huì)）發(fā)布的各項(xiàng)成對(duì)于未經(jīng)著作權(quán)人書(shū)面同意而實(shí)施的剽竊、復(fù)制、修I編制說(shuō)明本報(bào)告由華為技術(shù)有限公司牽頭撰寫(xiě)，在撰寫(xiě)）：），）：前言數(shù)字經(jīng)濟(jì)時(shí)代的到來(lái)，讓數(shù)據(jù)成為了新的戰(zhàn)略轉(zhuǎn)換為經(jīng)濟(jì)價(jià)值的算力，也已經(jīng)成為了社會(huì)生產(chǎn)力的重要深度的融合到了社會(huì)生活的方方面面，為各行各業(yè)生物醫(yī)療、自動(dòng)駕駛等領(lǐng)域，逐步邁向支撐解決世界科技人們生產(chǎn)生活的各個(gè)領(lǐng)域，數(shù)據(jù)中心正走向以太歸一的超融合數(shù)據(jù)中心網(wǎng)絡(luò)。關(guān)注時(shí)延、可靠性、網(wǎng)絡(luò)通量、組網(wǎng)規(guī)模等維度的性能提升，從“盡力而為”本研究報(bào)告介紹了在新型數(shù)據(jù)中心發(fā)展的大趨 I II III 1 1 4 6 6 7 8 8 8 10 11 12 13 13 14 14 15 15 15 15 16 17 17 18 18V一、新型數(shù)據(jù)中心給以太網(wǎng)絡(luò)發(fā)展帶來(lái)新機(jī)遇（一）數(shù)據(jù)成為新戰(zhàn)略性基礎(chǔ)資源社會(huì)都發(fā)生著深刻的變化。在這個(gè)過(guò)程中，每天大量的數(shù)式增長(zhǎng)的時(shí)代。然而，數(shù)據(jù)并不是停留在表面的數(shù)字，從息和知識(shí)形成寶貴的價(jià)值。在有充分算力的前提下，通過(guò)新技術(shù)，數(shù)據(jù)的價(jià)值被不斷挖掘，并轉(zhuǎn)換為經(jīng)濟(jì)價(jià)值，成生產(chǎn)要素。《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》就指出，圖1IDC統(tǒng)計(jì)和預(yù)測(cè)全球數(shù)據(jù)增長(zhǎng)量GrandStrategyfortheGlobalDigitalEconomy）的1技術(shù)和數(shù)字技術(shù)的重要性，將發(fā)展數(shù)字經(jīng)濟(jì)作為實(shí)現(xiàn)），盟數(shù)字十年戰(zhàn)略》，提出高速、可靠和強(qiáng)大的數(shù)字基礎(chǔ)設(shè)署高性能計(jì)算能力和綜合的數(shù)據(jù)基礎(chǔ)設(shè)施，加速促進(jìn)安全建設(shè)數(shù)字中國(guó)的新階段，這包括“推進(jìn)“新網(wǎng)絡(luò)”部2圖2TOP500超算性能發(fā)展，圖片來(lái)源：硬盤(pán)（HDD，HardDiskDri紀(jì)五十年代既已存在。作為傳統(tǒng)的存儲(chǔ)單元速度慢，存儲(chǔ)性能低。相對(duì)于HDD，之后出現(xiàn)的固HDD，且發(fā)貨量差距逐年攀升。而近幾年隨著數(shù)據(jù)量的爆發(fā)傳輸性能、時(shí)延等要求增加，出現(xiàn)了儲(chǔ)存級(jí)存儲(chǔ)器(SCM，Stor3圖3存儲(chǔ)介質(zhì)類型從網(wǎng)絡(luò)領(lǐng)域看，不管是無(wú)線網(wǎng)絡(luò)還是有線網(wǎng)絡(luò)都全球范圍內(nèi)以新一代信息技術(shù)為代表的科技據(jù)構(gòu)建的下一代數(shù)字基礎(chǔ)設(shè)施也正在加快發(fā)展。數(shù)存儲(chǔ)的地方，是下一代數(shù)字基礎(chǔ)設(shè)施的重要組機(jī)資源龐大的集合體，有大量的服務(wù)器、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)4理設(shè)備的形態(tài)對(duì)外呈現(xiàn)，還是以統(tǒng)一資源調(diào)度的形式進(jìn)到資源利用最大化，達(dá)到最大的投入產(chǎn)出比。中心能更好的為企業(yè)提供數(shù)字化生產(chǎn)業(yè)務(wù)，如的刺激影響下，全球數(shù)字化進(jìn)程加速，算力需求急劇爆發(fā)將在其選擇的地點(diǎn)使用分布式云,從而實(shí)現(xiàn)轉(zhuǎn)型業(yè)務(wù)模式。向以異構(gòu)計(jì)算為中心，分布式多云的新架構(gòu)，為智能化的力，如金融行業(yè)的智能風(fēng)控、數(shù)字貨幣，交通行業(yè)圖4HPC和AI融合加速，圖片來(lái)源：Tractica5數(shù)據(jù)中心發(fā)展進(jìn)入到了全新的階段，新型數(shù)據(jù)中2021數(shù)據(jù)中心高質(zhì)量發(fā)展大會(huì)上發(fā)布的《超融合數(shù)據(jù)中心網(wǎng)絡(luò)白皮書(shū)》中指出，四大變革驅(qū)動(dòng)數(shù)據(jù)中心網(wǎng)絡(luò)走向全以太化。首先，數(shù)據(jù)中心云化加速，開(kāi)放的以太網(wǎng)可以很好地滿足云業(yè)務(wù)按需自助服務(wù)和快速?gòu)椥缘脑V求，可天然被云調(diào)用和管理，并具備良好的互通性、彈性、敏捷性以及多租戶安全能力；其次，存儲(chǔ)全閃存化趨勢(shì)明顯，NVMeoverFabric技術(shù)應(yīng)運(yùn)而生，相比于overFC，基于以太的NVMeoverRoCE無(wú)論從產(chǎn)業(yè)規(guī)模、技術(shù)活躍度、架構(gòu)擴(kuò)展性、開(kāi)放生態(tài)、和多年SDN管理運(yùn)維能力積累上都具有明顯的優(yōu)勢(shì)；第三，CPU/GPU探索去PCIe化的變革，用直出以太接口的方式，解決傳統(tǒng)PCIe架構(gòu)速率瓶頸的問(wèn)題；最后，IPv6大規(guī)模部署的形勢(shì)下，以太網(wǎng)絡(luò)基于協(xié)議創(chuàng)新與面向新型數(shù)據(jù)中心，以太網(wǎng)絡(luò)將連接更多算力，承載更大數(shù)據(jù)量，完成更快數(shù)據(jù)傳輸，從而滿足人們?nèi)粘９ぷ魃畹幕具B接走向應(yīng)對(duì)科技前沿、國(guó)計(jì)民生領(lǐng)域的高品質(zhì)連接，全面支撐算力系統(tǒng)互聯(lián)實(shí)現(xiàn)數(shù)據(jù)價(jià)值。工信部新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021-2023年）中提到，算力規(guī)模方面，總算力規(guī)模超過(guò)200EFLOPS，高性能算力占比達(dá)到10%；網(wǎng)絡(luò)時(shí)延方面，國(guó)家樞紐節(jié)點(diǎn)內(nèi)數(shù)據(jù)中心端到端網(wǎng)絡(luò)單向時(shí)延原則上小于20毫秒。同時(shí)，工臺(tái)的《行動(dòng)計(jì)劃》也提出了“網(wǎng)絡(luò)質(zhì)量升級(jí)行動(dòng)”，要求支持國(guó)家樞紐節(jié)點(diǎn)內(nèi)的新型數(shù)據(jù)中心集群間網(wǎng)絡(luò)直連，促進(jìn)跨網(wǎng)、跨地區(qū)、跨企業(yè)數(shù)據(jù)交互。這都6下一代以太網(wǎng)絡(luò)技術(shù)需求白皮書(shū)ODCC以太網(wǎng)絡(luò)發(fā)展已有40多年，在這40年里，以太網(wǎng)絡(luò)不斷改進(jìn)，帶寬得到極大的提升，并通過(guò)開(kāi)放的標(biāo)準(zhǔn)制定，以太產(chǎn)業(yè)鏈形成了良好的生態(tài)，被應(yīng)用于不同的市場(chǎng)領(lǐng)域。以太網(wǎng)絡(luò)逐漸成為世界了一篇論文《以太網(wǎng)：本地計(jì)算機(jī)網(wǎng)絡(luò)的分布式包交換》，圖5：梅特卡夫手繪的以太網(wǎng)架構(gòu)，圖片來(lái)源：/3/ethernet_diag.html能力；應(yīng)用范圍也從最初的局域網(wǎng)，進(jìn)入到城僅是局域網(wǎng)內(nèi)的電腦、打印機(jī)、服務(wù)器等設(shè)備的連接7中將數(shù)據(jù)鏈路層又進(jìn)一步細(xì)分為介質(zhì)訪問(wèn)控制子層（MA圖6IEEE802以太標(biāo)準(zhǔn)發(fā)展歷史8圖7NLP模型規(guī)模演進(jìn)趨勢(shì)，圖片來(lái)源的數(shù)據(jù)需要及時(shí)的交互與同步，更大的網(wǎng)絡(luò)帶寬對(duì)于圖8網(wǎng)絡(luò)帶寬對(duì)訓(xùn)練完成時(shí)間的影響，圖片來(lái)源論文“SiP-ML:High-BandwidthOpticalNetworkInterconnectsforMachineLearningTraining”9圖9HPL與時(shí)延/帶寬之間的關(guān)系圖10網(wǎng)絡(luò)時(shí)延成為端到端訪問(wèn)時(shí)延的瓶頸存儲(chǔ)介質(zhì)的變化也驅(qū)動(dòng)著存儲(chǔ)架構(gòu)發(fā)生變化，從等應(yīng)用需求。因此，降低網(wǎng)絡(luò)時(shí)延逼近內(nèi)存級(jí)的訪問(wèn)時(shí)延在計(jì)算、存儲(chǔ)系統(tǒng)的變化下，需要全新的百納秒量級(jí)交換機(jī)緩存溢出產(chǎn)生丟包，不但造成業(yè)務(wù)性能受損，而海量參數(shù)的同步通過(guò)網(wǎng)絡(luò)在參與計(jì)算的各個(gè)服務(wù)器之間圖11哈希不均帶來(lái)?yè)砣麊?wèn)題，圖片來(lái)源論文“JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle’sDatacenterNetwork”要條件。而當(dāng)前業(yè)界主流的負(fù)載分擔(dān)算法均存在一定的性能問(wèn)算法適用于流數(shù)量較多的場(chǎng)景，當(dāng)流數(shù)量較少時(shí)易出FlowletSwitching算法法對(duì)接收端緩存壓力大，流重組時(shí)延大。需要全鏈路速度一直在快速增長(zhǎng)，但緩沖區(qū)大小跟不上交換機(jī)容游交換機(jī)出隊(duì)列的發(fā)送速率，擁塞識(shí)別慢，控制粒度粗，圖12交換芯片發(fā)展趨勢(shì)圖13以太網(wǎng)演進(jìn)路線，圖片來(lái)源：EthernetAlliance然而，其網(wǎng)絡(luò)本質(zhì)仍然是提供“盡力而為”的連接，圖14下一代以太網(wǎng)絡(luò)多維度能力提升匹配以太網(wǎng)聯(lián)盟給出的帶寬演進(jìn)路線，從當(dāng)前單端口400G，走向單端口以太網(wǎng)絡(luò)當(dāng)前400Gbit/s帶寬單端口已經(jīng)商用。單端口800Gbit/s和1.6Tbit/s的速率正處于標(biāo)準(zhǔn)制定過(guò)程中，預(yù)計(jì)在2025年至2030間完成標(biāo)準(zhǔn)總線級(jí)以太網(wǎng)絡(luò)通過(guò)極簡(jiǎn)轉(zhuǎn)發(fā)，無(wú)阻塞流控、新網(wǎng)絡(luò)拓?fù)浼軜?gòu)等技術(shù)在靜態(tài)時(shí)延、動(dòng)態(tài)時(shí)延、網(wǎng)絡(luò)跳數(shù)等方面做了系統(tǒng)性優(yōu)化，極大提升了時(shí)延性能（參見(jiàn)“總線級(jí)數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)白皮書(shū)”）。在此基礎(chǔ)上，進(jìn)一步降低接口提供可靠流控機(jī)制保證網(wǎng)絡(luò)傳輸無(wú)丟包，對(duì)擁塞狀態(tài)能使用高效均衡技術(shù)，感知網(wǎng)絡(luò)拓?fù)淞髁?，選取最優(yōu)路支撐E級(jí)/10E級(jí)超級(jí)集群大規(guī)模組網(wǎng)，優(yōu)化網(wǎng)絡(luò)架構(gòu)，引入自適應(yīng)路由，下一代以太網(wǎng)絡(luò)無(wú)法依賴單點(diǎn)技術(shù)的突破而實(shí)現(xiàn)多維度性能的提升，它需要物理層、鏈路層、網(wǎng)絡(luò)層、傳輸層全棧體系、多網(wǎng)絡(luò)層次間的協(xié)同配合，同圖15下一代以太網(wǎng)絡(luò)全棧體系物理層根技術(shù)的突破是達(dá)到極致性能的基石。下一代以太物理層技術(shù)兼容在帶寬方面，通過(guò)更先進(jìn)的DSP算法、更強(qiáng)大的FEC、更高質(zhì)量的封裝/板到，F(xiàn)EC子層的時(shí)延占總時(shí)延的60%，對(duì)于200GbE，PCS/FEC時(shí)延占比達(dá)到67.9%，到400GbE的時(shí)候，占比進(jìn)一步提升到69%。因此，設(shè)計(jì)低時(shí)延FEC架構(gòu)，簡(jiǎn)化復(fù)雜冗余的處理流程，選取合適FEC碼字，并靈活執(zhí)行譯碼過(guò)程，從圖16IEEE802.3定義的接口時(shí)延通過(guò)對(duì)擁塞點(diǎn)上游或者源端流量控速的方式（包括停止流量發(fā)送）緩解擁塞，避免交換機(jī)緩存溢出產(chǎn)生丟包。PBFC（PreciseBackpressureFlow是一種精準(zhǔn)反壓的機(jī)制，相比于傳統(tǒng)PFC，具有更細(xì)粒度的控制；相比于通用PBFC方式下，首先交換機(jī)結(jié)合出入隊(duì)列的狀態(tài)，精準(zhǔn)識(shí)別擁塞流，在此基礎(chǔ)上，交換機(jī)控制上游或者源端流量的發(fā)送隊(duì)列和發(fā)送速率，兼顧控制粒度和響應(yīng)時(shí)延，和傳統(tǒng)PFC相比，性能提升20%。PBFC也可與通用擁塞控制機(jī)制疊圖17PBFC基本原理特征，將路徑狀態(tài)表從指數(shù)級(jí)降低為線性表，從