




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
——工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算——模塊5項(xiàng)目測(cè)試目錄CONTENTS項(xiàng)目測(cè)試的整體設(shè)計(jì)任務(wù)5.1傳輸網(wǎng)絡(luò)測(cè)試任務(wù)5.2邊緣與云中心服務(wù)器測(cè)試任務(wù)5.3邊緣網(wǎng)關(guān)測(cè)試任務(wù)5.4應(yīng)用集成測(cè)試任務(wù)5.5邊緣計(jì)算網(wǎng)絡(luò)安全技術(shù)與安全測(cè)試任務(wù)5.6章節(jié)簡(jiǎn)介項(xiàng)目在交付給使用者之前,或者說項(xiàng)目在驗(yàn)收時(shí),非常重要的一項(xiàng)工作就是測(cè)試。測(cè)試可以保證項(xiàng)目正常、有效、可靠地運(yùn)行。除對(duì)項(xiàng)目的最終結(jié)果需要測(cè)試以外,在項(xiàng)目實(shí)施的各個(gè)階段,項(xiàng)目工程師針對(duì)不同模塊將采用不同的測(cè)試方法和測(cè)試手段,使運(yùn)行結(jié)果接近預(yù)期值。通過測(cè)試可以盡可能早地發(fā)現(xiàn)問題、解決問題,從而保證項(xiàng)目達(dá)到預(yù)定的目標(biāo)。本模塊針對(duì)傳輸網(wǎng)絡(luò)測(cè)試、邊緣與云中心服務(wù)器測(cè)試、邊緣網(wǎng)關(guān)測(cè)試、應(yīng)用集成測(cè)試、安全技術(shù)與安全測(cè)試幾個(gè)方面,使用不同測(cè)試方法和測(cè)試手段對(duì)邊緣計(jì)算項(xiàng)目實(shí)施測(cè)試。學(xué)習(xí)目標(biāo)1.知識(shí)目標(biāo)1)掌握測(cè)試的作用和分類。2)掌握傳輸網(wǎng)絡(luò)測(cè)試的指標(biāo)和方法。3)掌握云服務(wù)器測(cè)試的指標(biāo)和方法,重點(diǎn)掌握云服務(wù)器高可用性與高并發(fā)性測(cè)試的方法并能熟練操作。4)掌握邊緣網(wǎng)關(guān)測(cè)試的方法。5)理解邊緣計(jì)算中常見的安全威脅和常用的安全技術(shù),熟悉邊緣計(jì)算安全測(cè)試的方法。2.技能目標(biāo)1)具備對(duì)項(xiàng)目不同模塊實(shí)施正確測(cè)試的能力。2)具備合理設(shè)計(jì)和規(guī)劃測(cè)試步驟的能力。3)具備不同場(chǎng)景下靈活采取合理測(cè)試方法和手段的能力。3.素質(zhì)目標(biāo)1)具有大國(guó)工匠精益求精、嚴(yán)謹(jǐn)細(xì)致的職業(yè)素養(yǎng);2)具有整合和綜合運(yùn)用,把握大局正確做出判斷的能力;3)具有較強(qiáng)的團(tuán)隊(duì)決策能力、應(yīng)變能力、創(chuàng)新能力;4)具有尊重企業(yè)規(guī)范、誠(chéng)信、保密的素質(zhì)。學(xué)習(xí)導(dǎo)圖任務(wù)5.1項(xiàng)目測(cè)試的整體設(shè)計(jì)5.1.1項(xiàng)目測(cè)試背景工業(yè)互聯(lián)網(wǎng)是連接工業(yè)全系統(tǒng)、全產(chǎn)業(yè)鏈、全價(jià)值鏈,支撐工業(yè)智能化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施,是OT(OperationTechnology)和IT(InformationTechnology)深度融合的產(chǎn)物,其核心是讓互聯(lián)網(wǎng)深度參與到制造業(yè)和工業(yè)生產(chǎn)過程中,實(shí)現(xiàn)工業(yè)企業(yè)及其相關(guān)要素之間的萬(wàn)物互聯(lián)。將邊緣計(jì)算與工業(yè)互聯(lián)網(wǎng)進(jìn)行深度融合,讓云計(jì)算直接在網(wǎng)絡(luò)邊緣實(shí)現(xiàn)計(jì)算,可以有效降低工業(yè)網(wǎng)絡(luò)的傳輸負(fù)擔(dān)和傳輸時(shí)延,處理工業(yè)環(huán)境下對(duì)實(shí)時(shí)性有嚴(yán)格要求的海量數(shù)據(jù),拓展工業(yè)互聯(lián)網(wǎng)收集和管理數(shù)據(jù)的能力。工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算中的設(shè)備和應(yīng)用整體上可以分為五層:設(shè)備層、邊緣控制器層、邊緣網(wǎng)關(guān)層、邊緣云層、云中心層(或工業(yè)互聯(lián)網(wǎng)云平臺(tái)層),如圖所示。實(shí)際部署時(shí),根據(jù)項(xiàng)目需求和項(xiàng)目特點(diǎn),項(xiàng)目的架構(gòu)體系既可以由上述五層的全部結(jié)構(gòu)組成,也可以由上述五層的部分結(jié)構(gòu)組成。5.1.1項(xiàng)目測(cè)試背景比如,隨著人工智能的發(fā)展,機(jī)器視覺被越來越多地應(yīng)用到工業(yè)場(chǎng)景中,既包括在產(chǎn)品質(zhì)量檢測(cè)方面的應(yīng)用,也包括在園區(qū)人員管理方面的應(yīng)用,邊緣計(jì)算的加入可以將機(jī)器視覺中訓(xùn)練后的模型由云中心層下沉到邊緣云層,模型的訓(xùn)練通常在云中心層完成,由此可以部署基于邊緣云層和視覺檢測(cè)模塊的“邊-端”架構(gòu)或者基于云中心層、邊緣云層和視覺檢測(cè)模塊的“云-邊-端”架構(gòu)。再如,工業(yè)現(xiàn)場(chǎng)終端設(shè)備產(chǎn)生海量數(shù)據(jù)實(shí)時(shí)處理需求,工業(yè)網(wǎng)關(guān)也在傳統(tǒng)路由轉(zhuǎn)發(fā)功能的基礎(chǔ)上延伸出了對(duì)工業(yè)數(shù)據(jù)進(jìn)行初步處理和存儲(chǔ)的功能,此類工業(yè)網(wǎng)關(guān)又稱為工業(yè)智能網(wǎng)關(guān)或者邊緣網(wǎng)關(guān),邊緣網(wǎng)關(guān)處理后的數(shù)據(jù)會(huì)進(jìn)一步上傳工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算中的邊緣云層或者云中心層進(jìn)行深度分析,由此可以部署加入了邊緣網(wǎng)關(guān)層和數(shù)據(jù)采集設(shè)備的“邊-端”架構(gòu)或者“云-邊-端”架構(gòu)。多種項(xiàng)目架構(gòu)與應(yīng)用場(chǎng)景的結(jié)合可以基于邊緣計(jì)算的優(yōu)勢(shì)賦能工業(yè)生產(chǎn)。但是工業(yè)生產(chǎn)的特殊性決定了相比消費(fèi)互聯(lián)網(wǎng)而言,工業(yè)互聯(lián)網(wǎng)在實(shí)時(shí)性、穩(wěn)定性、可靠性、安全性等方面有更高的技術(shù)要求。因此需要選擇合理方法進(jìn)行項(xiàng)目測(cè)試,驗(yàn)證部署的邊緣計(jì)算系統(tǒng)能夠滿足工業(yè)互聯(lián)網(wǎng)在實(shí)時(shí)性、穩(wěn)定性、可靠性、安全性等方面的技術(shù)要求,保證邊緣計(jì)算在工業(yè)互聯(lián)網(wǎng)中的應(yīng)用價(jià)值,讓邊緣計(jì)算與工業(yè)互聯(lián)網(wǎng)能夠深度融合、賦能工業(yè)生產(chǎn)。5.1.2測(cè)試的概念和分類測(cè)試是認(rèn)識(shí)客觀世界的手段之一,是科學(xué)研究的基礎(chǔ)方法,在各個(gè)領(lǐng)域都具有重要的作用,對(duì)于工業(yè)生產(chǎn)亦不可或缺,工程研究、產(chǎn)品開發(fā)、生產(chǎn)監(jiān)督、質(zhì)量控制、性能試驗(yàn)等眾多環(huán)節(jié)都離不開測(cè)試技術(shù)??梢哉f,測(cè)試技術(shù)是推動(dòng)工業(yè)發(fā)展、保障生產(chǎn)運(yùn)行的重要技術(shù),是工程技術(shù)人員必須掌握的一門實(shí)踐性很強(qiáng)的技術(shù)。測(cè)試是指通過人工或者自動(dòng)的手段,對(duì)被測(cè)試對(duì)象進(jìn)行檢測(cè)的活動(dòng),目的在于檢測(cè)被測(cè)試對(duì)象是否實(shí)現(xiàn)了用戶需求,或者弄清楚實(shí)際結(jié)果與預(yù)期結(jié)果之間的差異。從不同的角度出發(fā),可以對(duì)測(cè)試進(jìn)行不同的分類,常見的測(cè)試分類包括:(1)單元測(cè)試和集成測(cè)試開發(fā)人員在項(xiàng)目開發(fā)的過程中,針對(duì)用戶需求,把項(xiàng)目?jī)?nèi)容劃分成多個(gè)模塊單元,然后逐一開發(fā)。因此,在項(xiàng)目開發(fā)過程中或者項(xiàng)目驗(yàn)收時(shí),對(duì)每個(gè)模塊單元進(jìn)行的測(cè)試即為單元測(cè)試,對(duì)模塊單元和模塊單元之間相互關(guān)聯(lián)的測(cè)試即為集成測(cè)試。(2)接口測(cè)試、功能測(cè)試、性能測(cè)試和安全測(cè)試從測(cè)試人員的角度出發(fā),往往會(huì)把項(xiàng)目看作一個(gè)整體,針對(duì)項(xiàng)目的不同測(cè)試面,對(duì)測(cè)試內(nèi)容進(jìn)行分類。5.1.2測(cè)試的概念和分類1)接口測(cè)試:對(duì)系統(tǒng)提供的所有接口進(jìn)行測(cè)試。2)功能測(cè)試:根據(jù)產(chǎn)品特性、操作描述和用戶方案,測(cè)試一個(gè)系統(tǒng)的特性和可操作行為,對(duì)其所有功能進(jìn)行測(cè)試,以確定它們是否滿足設(shè)計(jì)的前期需求。功能測(cè)試又稱為黑盒測(cè)試,即把系統(tǒng)看成一個(gè)黑色的盒子,不關(guān)心內(nèi)部邏輯結(jié)構(gòu)是怎樣的,只關(guān)心輸入和輸出的結(jié)果是否達(dá)到預(yù)期目標(biāo)。3)性能測(cè)試:通過自動(dòng)化的測(cè)試工具模擬多種正常、峰值、異常的負(fù)載條件來對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試。性能測(cè)試又分為基準(zhǔn)測(cè)試、負(fù)載測(cè)試、壓力測(cè)試、穩(wěn)定性測(cè)試、并發(fā)測(cè)試等。①基準(zhǔn)測(cè)試:給系統(tǒng)施加較低壓力,查看系統(tǒng)的運(yùn)行狀況并記錄相關(guān)數(shù)據(jù)作為參考。②負(fù)載測(cè)試:給系統(tǒng)不斷增加壓力或者讓系統(tǒng)在加載一定壓力的情況下持續(xù)運(yùn)行一段時(shí)間,直到系統(tǒng)的某項(xiàng)或者多項(xiàng)性能指標(biāo)達(dá)到安全臨界值,例如某種資源已經(jīng)達(dá)到飽和狀態(tài),查看系統(tǒng)的運(yùn)行狀況并記錄相關(guān)數(shù)據(jù)作為參考。③壓力測(cè)試:讓系統(tǒng)在峰值負(fù)載或者超負(fù)載的情況下運(yùn)行,查看系統(tǒng)在峰值負(fù)載或者超負(fù)載的情況下的處理能力。④穩(wěn)定性測(cè)試:讓系統(tǒng)在加載一定壓力的情況下持續(xù)運(yùn)行一段時(shí)間(通常為N×24小時(shí)),查看系統(tǒng)是否能夠穩(wěn)定運(yùn)行。⑤并發(fā)測(cè)試:讓多個(gè)用戶同時(shí)訪問同一個(gè)系統(tǒng)中的同一個(gè)應(yīng)用或者同一個(gè)模塊,查看是否存在死鎖或者其它性能問題。4)安全測(cè)試:針對(duì)系統(tǒng)中可能存在的安全漏洞進(jìn)行探測(cè)和發(fā)現(xiàn)。5.1.2測(cè)試的概念和分類值得注意的是,單元測(cè)試和集成測(cè)試是從開發(fā)順序的角度出發(fā)對(duì)測(cè)試進(jìn)行的分類,接口測(cè)試、功能測(cè)試、性能測(cè)試、安全測(cè)試是從不同測(cè)試面的角度出發(fā)對(duì)測(cè)試進(jìn)行的分類。在實(shí)際的企業(yè)項(xiàng)目測(cè)試中,往往兩種分類方法中的測(cè)試都會(huì)使用,兩者是可共存的。如,可以在單元測(cè)試和集成測(cè)試的過程中采用接口測(cè)試、功能測(cè)試、性能測(cè)試、安全測(cè)試等方法,在接口測(cè)試時(shí)可以針對(duì)不同單元的不同接口來測(cè)試。因此,兩種測(cè)試方法在實(shí)際應(yīng)用中往往是相互交叉、相互補(bǔ)充的。5.1.3項(xiàng)目測(cè)試的具體流程基于模塊1到模塊4的學(xué)習(xí),已經(jīng)具備部署工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算項(xiàng)目的能力,但作為一名工程技術(shù)人員,要保證項(xiàng)目能夠?qū)嶋H應(yīng)用到工業(yè)生產(chǎn)領(lǐng)域、賦能工業(yè)生產(chǎn),測(cè)試是必不可少的關(guān)鍵環(huán)節(jié)?;诓煌嵌葘?duì)測(cè)試進(jìn)行的分類,本模塊提出如下測(cè)試流程:整體上基于單元測(cè)試和集成測(cè)試的思想,先對(duì)項(xiàng)目各組成部分進(jìn)行獨(dú)立測(cè)試,獨(dú)立測(cè)試完成以后再結(jié)合應(yīng)用場(chǎng)景對(duì)項(xiàng)目進(jìn)行集成測(cè)試;獨(dú)立測(cè)試和集成測(cè)試過程中進(jìn)一步根據(jù)實(shí)際情況,從不同測(cè)試面的角度出發(fā),選擇接口測(cè)試、功能測(cè)試、性能測(cè)試、安全測(cè)試中的一種或者多種方法完成測(cè)試。具體流程如圖所示。5.1.3項(xiàng)目測(cè)試的具體流程首先,傳輸網(wǎng)絡(luò)不僅是邊緣計(jì)算項(xiàng)目中連接云、邊、端三部分的重要載體,而且是邊緣計(jì)算項(xiàng)目中實(shí)現(xiàn)信息傳輸、資源共享、模型訓(xùn)練、數(shù)據(jù)處理等一切智能操作的基礎(chǔ),所以傳輸網(wǎng)絡(luò)的部署和測(cè)試是項(xiàng)目順利運(yùn)行的首要保證。故本模塊首先對(duì)邊緣計(jì)算項(xiàng)目中的傳輸網(wǎng)絡(luò)進(jìn)行測(cè)試,測(cè)試時(shí)從傳輸網(wǎng)絡(luò)的性能指標(biāo)出發(fā),對(duì)傳輸網(wǎng)絡(luò)進(jìn)行性能測(cè)試。傳輸網(wǎng)絡(luò)測(cè)試完成以后就可以對(duì)邊緣計(jì)算項(xiàng)目中的其它組成部分進(jìn)行測(cè)試。由前述可知,邊緣計(jì)算項(xiàng)目的體系架構(gòu)包括云平臺(tái)層、邊緣云層、邊緣網(wǎng)關(guān)層、邊緣控制層和設(shè)備層等五大組成部分。本模塊重點(diǎn)聚焦其中的云平臺(tái)層、邊緣云層、邊緣網(wǎng)關(guān)層,分別對(duì)這三個(gè)組成部分進(jìn)行測(cè)試。其中的云平臺(tái)層和邊緣云層,因?yàn)檫@兩層的核心都是服務(wù)器,所以本模塊將其合并敘述,測(cè)試時(shí)從服務(wù)器的性能指標(biāo)出發(fā),對(duì)服務(wù)器進(jìn)行性能測(cè)試。云平臺(tái)層、邊緣云層、邊緣網(wǎng)關(guān)層等三個(gè)組成部分測(cè)試完成以后,本模塊結(jié)合應(yīng)用場(chǎng)景對(duì)邊緣計(jì)算項(xiàng)目進(jìn)行集成測(cè)試,測(cè)試時(shí)以應(yīng)用服務(wù)的功能測(cè)試為主,重點(diǎn)考察部署的應(yīng)用服務(wù)是否能夠承載業(yè)務(wù)需要。最后本模塊對(duì)邊緣計(jì)算項(xiàng)目中常見的安全威脅和常用的安全技術(shù)進(jìn)行分析,提出對(duì)邊緣計(jì)算項(xiàng)目進(jìn)行安全測(cè)試的方案。任務(wù)5.2傳輸網(wǎng)絡(luò)測(cè)試5.2.1傳輸網(wǎng)絡(luò)測(cè)試需求傳輸網(wǎng)絡(luò)不僅是邊緣計(jì)算項(xiàng)目中連接云、邊、端三部分的重要載體,而且是邊緣計(jì)算項(xiàng)目中實(shí)現(xiàn)信息傳輸、資源共享、模型訓(xùn)練、數(shù)據(jù)處理等一切智能操作的基礎(chǔ),所以傳輸網(wǎng)絡(luò)的部署和測(cè)試是項(xiàng)目順利運(yùn)行的首要保證。作為新一代移動(dòng)通信技術(shù),5G網(wǎng)絡(luò)與工業(yè)互聯(lián)網(wǎng)和邊緣計(jì)算之間,都是相互促進(jìn)、彼此成就的關(guān)系。在工業(yè)生產(chǎn)領(lǐng)域,一方面,5G網(wǎng)絡(luò)可以替代傳統(tǒng)的現(xiàn)場(chǎng)總線、工業(yè)以太網(wǎng)、工業(yè)WiFi,為現(xiàn)場(chǎng)海量設(shè)備提供低時(shí)延、高帶寬、安全、可靠的網(wǎng)絡(luò)接入,另一方面,多接入邊緣計(jì)算(Muti-accessEdgeComputing,MEC)已經(jīng)成為5G網(wǎng)絡(luò)架構(gòu)的重要組成部分,5GMEC中的邊緣計(jì)算為工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算體系架構(gòu)中的邊緣云層提供了新的部署模式,也為企業(yè)和運(yùn)營(yíng)商提供了新的商業(yè)模式與合作模式。新模式中,企業(yè)既可以租用運(yùn)營(yíng)商的5G網(wǎng)絡(luò),也可以委托運(yùn)營(yíng)商在企業(yè)園區(qū)內(nèi)部署5G混合專網(wǎng),還可以自己在企業(yè)園區(qū)內(nèi)部署5G獨(dú)立專網(wǎng)。5G網(wǎng)絡(luò)部署完成后,企業(yè)需要從5G網(wǎng)絡(luò)的性能指標(biāo)出發(fā),對(duì)5G網(wǎng)絡(luò)進(jìn)行性能測(cè)試,為項(xiàng)目其它部分順利部署提供首要保證。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式導(dǎo)入傳輸網(wǎng)絡(luò)測(cè)試要從最基本的網(wǎng)絡(luò)指標(biāo)入手,比如,網(wǎng)絡(luò)的速率、帶寬、吞吐量、時(shí)延等等。那么,計(jì)算機(jī)網(wǎng)絡(luò)有哪些性能指標(biāo),無線網(wǎng)絡(luò)又有哪些性能指標(biāo),這些性能指標(biāo)是進(jìn)行傳輸網(wǎng)絡(luò)測(cè)試的基本內(nèi)容。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式1.計(jì)算機(jī)網(wǎng)絡(luò)性能指標(biāo)(1)速率速率是指連接在計(jì)算機(jī)網(wǎng)絡(luò)上的主機(jī)或者路由器每秒在信道上傳送數(shù)據(jù)的位數(shù),也稱為比特率或者數(shù)據(jù)率,單位為位/秒(bit/s,b/s),也可以寫作bps。(2)帶寬帶寬是指單位時(shí)間內(nèi)從網(wǎng)絡(luò)中的某一端到另外一端所能通過的最大數(shù)據(jù)量,即信道上傳送數(shù)據(jù)的能力。(3)吞吐量吞吐量是指單位時(shí)間內(nèi)從網(wǎng)絡(luò)中的某一端到另外一端所能通過的實(shí)際數(shù)據(jù)量,當(dāng)前網(wǎng)絡(luò)的吞吐量/網(wǎng)絡(luò)帶寬=網(wǎng)絡(luò)負(fù)載。(4)時(shí)延時(shí)延是指數(shù)據(jù)從網(wǎng)絡(luò)中的某一端傳送到另外一端所花費(fèi)的時(shí)間,包括四種類型:處理時(shí)延、排隊(duì)時(shí)延、發(fā)送時(shí)延、傳播時(shí)延。1)處理時(shí)延:處理時(shí)延是指主機(jī)或者路由器收到數(shù)據(jù)以后進(jìn)行處理所花費(fèi)的時(shí)間,通常為微秒級(jí)或者更少。2)排隊(duì)時(shí)延:排隊(duì)時(shí)延是指數(shù)據(jù)在主機(jī)或者路由器中排隊(duì)等待發(fā)送所花費(fèi)的時(shí)間,通常為毫秒級(jí)到微秒級(jí)。3)發(fā)送時(shí)延:發(fā)送時(shí)延又稱為傳輸時(shí)延,是指主機(jī)或者路由器發(fā)送數(shù)據(jù)所花費(fèi)的時(shí)間,即:從發(fā)送第一個(gè)比特開始,到最后一個(gè)比特發(fā)送完畢所花費(fèi)的時(shí)間。4)傳播時(shí)延:傳播時(shí)延是指數(shù)據(jù)在信道中傳播所花費(fèi)的時(shí)間。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式1.計(jì)算機(jī)網(wǎng)絡(luò)性能指標(biāo)(5)時(shí)延帶寬積時(shí)延帶寬積是指信道上所能承載的最大數(shù)據(jù)量,時(shí)延帶寬積=傳播時(shí)延×帶寬。(6)往返時(shí)間往返時(shí)間是指從發(fā)送方發(fā)送數(shù)據(jù)開始到發(fā)送方收到接收方確認(rèn)為止所需要的時(shí)間。(7)利用率利用率包括信道利用率和網(wǎng)絡(luò)利用率。1)信道利用率=有數(shù)據(jù)通過時(shí)間/(有+無)數(shù)據(jù)通過時(shí)間。2)網(wǎng)絡(luò)利用率=信道利用率加權(quán)平均值。(8)丟包率丟包率是指在一定的時(shí)間范圍內(nèi),傳輸過程中丟失的分組數(shù)量與總分組數(shù)量的比率。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式2.無線網(wǎng)絡(luò)性能指標(biāo)(1)輻射功率輻射功率全稱為有效全向輻射功率(EffectiveIsotropicRadiatedPower,EIRP),是指天線發(fā)射出去的信號(hào)強(qiáng)度,即射頻發(fā)射功率+天線增益-線路損耗。(2)信號(hào)強(qiáng)度無線網(wǎng)絡(luò)信號(hào)強(qiáng)度有以下四個(gè)重要的衡量指標(biāo):接收信號(hào)強(qiáng)度指示(ReceivedSignalStrengthIndicator,RSSI)、參考信號(hào)接收功率(ReferenceSignalReceivingPower,RSRP)、參考信號(hào)接收質(zhì)量(ReferenceSignalReceivingQuality,RSRQ)、信號(hào)與干擾加噪聲比(SignaltoInterferenceplusNoiseRatio,SINR)。1)RSSI:RSSI是指EIRP經(jīng)過一段傳輸路徑損耗和障礙物衰減以后達(dá)到無線網(wǎng)絡(luò)覆蓋范圍內(nèi)某處的實(shí)際信號(hào)強(qiáng)度。該值通常為負(fù)值,越接近零說明信號(hào)強(qiáng)度越高。該值若持續(xù)過低,說明收到的信號(hào)強(qiáng)度太弱,可能導(dǎo)致解調(diào)失??;該值若持續(xù)過高,說明收到的信號(hào)強(qiáng)度太強(qiáng),相互之間的干擾也可能影響解調(diào)結(jié)果。2)RSRP:由于RSSI表示的是某處接收到的所有信號(hào)的強(qiáng)度,包括導(dǎo)頻信號(hào)(ReferenceSignal,RS)、數(shù)據(jù)信號(hào)、干擾信號(hào)、噪聲信號(hào),所以還有另外一個(gè)參數(shù)專門用來表示某處接收到的RS的功率,即RSRP,該值越高越好。3)RSRQ:RSRQ=RSRP/RSSI×N,N表示載波帶寬中攜帶的資源塊的個(gè)數(shù),該值越高越好。4)SINR:SINR是指某處接收到的有用信號(hào)的強(qiáng)度與接收到的無用信號(hào)(干擾信號(hào)和噪聲信號(hào))的強(qiáng)度的比值,可以簡(jiǎn)單地理解為信噪比,該值越高越好。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式2.無線網(wǎng)絡(luò)性能指標(biāo)上述指標(biāo)在4G網(wǎng)絡(luò)中通過小區(qū)特定參考信號(hào)(Cell-SpecificReferenceSignal,CRS)進(jìn)行定義。5G網(wǎng)絡(luò)中沒有CRS,所以上述指標(biāo)在5G網(wǎng)絡(luò)中通過其它物理信號(hào)進(jìn)行定義,兩種最常用的物理信號(hào)是:同步信號(hào)和PBCH塊(SynchronizationSignalandPBCHblock,SSB)、信道狀態(tài)信息參考信號(hào)(ChannelStateInformationReferenceSignal,CSI-RS)?;谏鲜鰞煞N最常用的物理信號(hào),5G網(wǎng)絡(luò)的RSSI、RSRP、RSRQ、SINR又分為:SSRSSI、SSRSRP、SSRSRQ、SSSINR和CSIRSSI、CSIRSRP、CSIRSRQ、CSISINR。其中,RSRP和SINR的配合使用是衡量4G網(wǎng)絡(luò)信號(hào)強(qiáng)度的常用方式,SSRSRP和SSSINR的配合使用是衡量5G網(wǎng)絡(luò)信號(hào)強(qiáng)度的常用方式。(3)覆蓋率覆蓋率是指無線網(wǎng)絡(luò)的覆蓋范圍,無線網(wǎng)絡(luò)覆蓋范圍內(nèi)的各點(diǎn)通常需要滿足一定的信號(hào)強(qiáng)度的要求。(4)移動(dòng)性移動(dòng)性是指無線網(wǎng)絡(luò)對(duì)用戶終端(UserEquipment,UE)物理位置不斷變化的支持能力。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式3.無線網(wǎng)絡(luò)選點(diǎn)原則(1)4G網(wǎng)絡(luò)選點(diǎn)原則根據(jù)中國(guó)移動(dòng)某測(cè)試報(bào)告,4G網(wǎng)絡(luò)選點(diǎn)原則可以通過RSRP與SINR進(jìn)行定義,具體為:1)極好點(diǎn):RSRP>-85dBm;SINR>25。2)好點(diǎn):RSRP:-85~-95dBm;SINR:16-25。3)中點(diǎn):RSRP:-95~-105dBm;SINR:11-15。4)差點(diǎn):RSRP:-105~-115dBm;SINR:3-10。5)極差點(diǎn):RSRP<-115dB;SINR<3。(2)5G網(wǎng)絡(luò)選點(diǎn)原則根據(jù)中國(guó)移動(dòng)某測(cè)試報(bào)告,5G網(wǎng)絡(luò)選點(diǎn)原則可以在4G網(wǎng)絡(luò)選點(diǎn)原則的基礎(chǔ)上進(jìn)一步通過SSRSRP與SSSINR進(jìn)行定義,但是5G網(wǎng)絡(luò)選點(diǎn)原則通常不像4G網(wǎng)絡(luò)選點(diǎn)原則一樣有一個(gè)統(tǒng)一的標(biāo)準(zhǔn),5G網(wǎng)絡(luò)選點(diǎn)原則在定義時(shí)通常還會(huì)參考不同應(yīng)用場(chǎng)景對(duì)5G網(wǎng)絡(luò)的不同要求,根據(jù)應(yīng)用場(chǎng)景和業(yè)務(wù)需求進(jìn)行定義。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式4.無線網(wǎng)絡(luò)測(cè)試方法(1)ping通信測(cè)試測(cè)試UE向基站發(fā)起ping通信測(cè)試,測(cè)試ping通信時(shí)延,50ms以內(nèi)視為正常的網(wǎng)絡(luò)延遲,如果偶爾出現(xiàn)幾個(gè)稍微較大的延遲數(shù)值也屬于正?,F(xiàn)象,因?yàn)闊o線網(wǎng)絡(luò)連接會(huì)受到信號(hào)強(qiáng)度、干擾、噪聲等因素的影響。(2)tcp業(yè)務(wù)測(cè)試測(cè)試UE向基站發(fā)起tcp業(yè)務(wù)測(cè)試,包括tcp上行業(yè)務(wù)(測(cè)試UE向基站發(fā)送數(shù)據(jù))和tcp下行業(yè)務(wù)(測(cè)試UE從基站接受數(shù)據(jù)),有時(shí)上述業(yè)務(wù)需要在滿buffer情況下進(jìn)行,分別測(cè)試tcp上行業(yè)務(wù)速率和tcp下行業(yè)務(wù)速率。(3)ftp業(yè)務(wù)測(cè)試測(cè)試UE向基站發(fā)起ftp業(yè)務(wù)測(cè)試,包括ftp上行業(yè)務(wù)(測(cè)試UE向基站上傳文件)和ftp下行業(yè)務(wù)(測(cè)試UE從基站下載文件),有時(shí)上述業(yè)務(wù)需要在滿buffer情況下進(jìn)行,分別測(cè)試ftp上行業(yè)務(wù)速率和ftp下行業(yè)務(wù)速率。(4)信號(hào)強(qiáng)度測(cè)試通過專門的測(cè)試設(shè)備,或者在測(cè)試UE上安裝專門的測(cè)試軟件,對(duì)所在位置的RSRP和SINR等指標(biāo)進(jìn)行測(cè)試,5G網(wǎng)絡(luò)中是對(duì)SSRSRP和SSSINR等指標(biāo)進(jìn)行測(cè)試。(5)拉網(wǎng)測(cè)試在一定的區(qū)域內(nèi),按照所需的路線,或者隨機(jī)跑幾條路線,進(jìn)行語(yǔ)音的長(zhǎng)呼測(cè)試、短呼測(cè)試,或者進(jìn)行數(shù)據(jù)業(yè)務(wù)的測(cè)試。5.2.2傳輸網(wǎng)絡(luò)測(cè)試方式4.無線網(wǎng)絡(luò)測(cè)試方法(6)覆蓋率測(cè)試常用流程為:1)測(cè)試UE從極好點(diǎn)出發(fā),向基站發(fā)起滿buffer情況下的下行業(yè)務(wù)。2)選擇與基站天線陣列法線成60度的方向,以勻速?gòu)较蚶h(yuǎn)至下行業(yè)務(wù)中斷點(diǎn),記錄此過程中信號(hào)強(qiáng)度、吞吐量、時(shí)延等指標(biāo),記錄此過程在電子地圖上的GPS坐標(biāo)等參數(shù)。3)測(cè)試該點(diǎn)的上行業(yè)務(wù)運(yùn)行情況:如果不能正常運(yùn)行,以均速?gòu)较蚶吝B續(xù)三次上行業(yè)務(wù)接入成功,記錄該點(diǎn)的拉遠(yuǎn)距離和信號(hào)強(qiáng)度等指標(biāo);如果可以正常運(yùn)行,以均速?gòu)较蚶h(yuǎn)至連續(xù)三次上行業(yè)務(wù)接入失敗,記錄該點(diǎn)的拉遠(yuǎn)距離和信號(hào)強(qiáng)度等指標(biāo)。4)重復(fù)兩次步驟3。5)更換測(cè)試路線,重復(fù)步驟1~4。(7)移動(dòng)性測(cè)試常用流程為:1)兩臺(tái)測(cè)試UE放置在測(cè)試車上,一臺(tái)向基站發(fā)起滿buffer情況下的下行業(yè)務(wù),一臺(tái)向基站發(fā)起滿buffer情況下的上行業(yè)務(wù)。2)測(cè)試車以不同速率遍歷事先選擇的行駛路線,測(cè)試時(shí)長(zhǎng)1小時(shí)以上。3)記錄不同情況下的業(yè)務(wù)中斷時(shí)間。5.2.3信號(hào)強(qiáng)度測(cè)試下面使用Cellular-Z軟件對(duì)5G網(wǎng)絡(luò)的信號(hào)強(qiáng)度進(jìn)行測(cè)試。Cellular-Z軟件是一款專業(yè)的網(wǎng)絡(luò)測(cè)試工具,可以對(duì)當(dāng)前網(wǎng)絡(luò)的服務(wù)小區(qū)信息、信道狀態(tài)、信號(hào)強(qiáng)度、網(wǎng)速進(jìn)行測(cè)試,該軟件在測(cè)試UE上的運(yùn)行結(jié)果如圖所示。圖中展示了5G網(wǎng)絡(luò)信號(hào)強(qiáng)度的三個(gè)重要指標(biāo):SS-RSRP、SS-RSRQ、SS-SINR。其中:SS-RSRP值為-98dBm,SS-RSRQ值為-15dB。圖中“數(shù)據(jù)網(wǎng)”和“小區(qū)類型”后面的“NR”表示測(cè)試UE現(xiàn)在接入的是5G網(wǎng)絡(luò),4G網(wǎng)絡(luò)的話應(yīng)該顯示“LTE”,如圖所示。5.2.4拉網(wǎng)測(cè)試下面委托運(yùn)營(yíng)商在企業(yè)廠房和企業(yè)園區(qū)內(nèi)進(jìn)行兩級(jí)拉網(wǎng)測(cè)試,確保5G網(wǎng)絡(luò)的覆蓋率和各項(xiàng)性能指標(biāo)能夠承載業(yè)務(wù)需要。拉網(wǎng)測(cè)試時(shí)以SSRSRP為測(cè)試指標(biāo),根據(jù)SSRSRP的值將各測(cè)試點(diǎn)用不同顏色標(biāo)注出來,標(biāo)注時(shí)將SSRSRP劃分為五個(gè)區(qū)間:[-85,-31]為第一區(qū)間,此區(qū)間的測(cè)試點(diǎn)用深綠色表示;[-95,-85)為第二區(qū)間,此區(qū)間的測(cè)試點(diǎn)用淺綠色表示;[-105,-95)為第三區(qū)間,此區(qū)間的測(cè)試點(diǎn)用黃色表示;[-115,-105)為第四區(qū)間,此區(qū)間的測(cè)試點(diǎn)用橙色表示;[-157,-115)為第五區(qū)間,此區(qū)間的測(cè)試點(diǎn)用紅色表示。不同測(cè)試過程中測(cè)試指標(biāo)的選擇、區(qū)間的劃分、顏色的取用都可以有所不同。5.2.4拉網(wǎng)測(cè)試(a)是運(yùn)營(yíng)商在企業(yè)廠房?jī)?nèi)根據(jù)終端設(shè)備和邊緣網(wǎng)關(guān)的位置選點(diǎn),對(duì)5G網(wǎng)絡(luò)的SSRSRP進(jìn)行拉網(wǎng)測(cè)試的結(jié)果,由SSRSRP拉網(wǎng)測(cè)試的結(jié)果可知,該廠房?jī)?nèi)大部分測(cè)量點(diǎn)的SSRSRP在[-85,-31]范圍內(nèi),均屬于SSRSRP的“極好點(diǎn)”。在此基礎(chǔ)上,選擇SSRSRP在[-85,-31]范圍內(nèi)的某點(diǎn)進(jìn)行32bytes數(shù)據(jù)的ping通信測(cè)試,由(b)中ping通信測(cè)試的結(jié)果可知,該點(diǎn)的平均ping通信時(shí)延為34.12ms,在正常范圍內(nèi)。(a)(b)5.2.4拉網(wǎng)測(cè)試(a)和(b)是運(yùn)營(yíng)商在企業(yè)園區(qū)內(nèi)根據(jù)工業(yè)廠房的位置選點(diǎn),對(duì)5G網(wǎng)絡(luò)的SSRSRP進(jìn)行拉網(wǎng)測(cè)試的結(jié)果,由SSRSRP拉網(wǎng)測(cè)試的結(jié)果可知,該園區(qū)內(nèi)1號(hào)、2號(hào)、3號(hào)、4號(hào)、8號(hào)、10號(hào)廠房所屬測(cè)量點(diǎn)的SSRSRP在[-95,-31]范圍內(nèi),屬于SSRSRP的“極好點(diǎn)”或者“好點(diǎn)”,5號(hào)、6號(hào)、7號(hào)、9號(hào)廠房所屬測(cè)量點(diǎn)的SSRSRP在[-105,-95)范圍內(nèi),屬于SSRSRP的“中點(diǎn)”。在此基礎(chǔ)上,選擇SSRSRP在[-85,-31]范圍內(nèi)的某點(diǎn)進(jìn)行32bytes數(shù)據(jù)的ping通信測(cè)試,由(c)中ping通信測(cè)試的結(jié)果可知,該點(diǎn)的平均ping通信時(shí)延為60.36ms,略高于正常范圍。(a)(b)(b)5.2.55G基站驗(yàn)證測(cè)試5G基站是5G網(wǎng)絡(luò)的核心設(shè)備,提供無線覆蓋功能,實(shí)現(xiàn)有線通信網(wǎng)絡(luò)與無線移動(dòng)終端之間的無線信號(hào)傳輸。5G基站的架構(gòu)、形態(tài)直接影響5G網(wǎng)絡(luò)的部署方式。5G基站的重要性決定了需要對(duì)其進(jìn)行定期的測(cè)試和維護(hù)。如圖所示,工作人員正在對(duì)5G基站進(jìn)行維修。對(duì)5G基站進(jìn)行驗(yàn)證測(cè)試,該過程需要網(wǎng)絡(luò)優(yōu)化工程師根據(jù)不同基站設(shè)備商的測(cè)試軟件配合授權(quán)進(jìn)行操作,通常企業(yè)提出需求,由運(yùn)營(yíng)商完成并出具報(bào)告。報(bào)告中既包括很多專業(yè)指標(biāo)的測(cè)試結(jié)果,也包括拉網(wǎng)測(cè)試、ping通信測(cè)試、ftp業(yè)務(wù)測(cè)試等常用測(cè)試方法的測(cè)試結(jié)果。下面為報(bào)告中的部分內(nèi)容(敏感信息和道路信息均已隱藏)。5.2.55G基站驗(yàn)證測(cè)試圖中,拉網(wǎng)測(cè)試時(shí),將SSRSRP劃分為[-85,-40)、[-95,-85)、[-105,-95)、[-115,-105)、[-140,-115)五個(gè)區(qū)間,將SSSINR劃分為[25,50)、[16,25)、[10,16)、[3,10)、[-20,3)五個(gè)區(qū)間,依次用深綠色、淺綠色、深黃色、淺黃色、紅色進(jìn)行表示。根據(jù)圖中SSRSRP拉網(wǎng)測(cè)試和SSSINR拉網(wǎng)測(cè)試的結(jié)果可知,大部分測(cè)量點(diǎn)的SSRSRP在[-85,-40)范圍內(nèi)、SSSINR在[10,25)范圍內(nèi)。(a)(b)5.2.55G基站驗(yàn)證測(cè)試首先選擇SSRSRP在[-85,-40)范圍內(nèi)、SSSINR在[25,50)范圍內(nèi)的點(diǎn)進(jìn)行32bytes數(shù)據(jù)和128bytes數(shù)據(jù)的ping通信測(cè)試,如圖所示為兩次測(cè)試結(jié)果,32bytes數(shù)據(jù)的ping通信時(shí)延為10.68ms,128bytes數(shù)據(jù)的ping通信時(shí)延為25.55ms。(a)(b)5.2.55G基站驗(yàn)證測(cè)試?yán)^續(xù)選擇SSRSRP在[-85,-40)范圍內(nèi)、SSSINR在[25,50)范圍內(nèi)的點(diǎn)進(jìn)行ftp下行業(yè)務(wù)和ftp上行業(yè)務(wù)的速率測(cè)試,如圖所示為兩次測(cè)試結(jié)果,ftp下行業(yè)務(wù)的速率為1.18Gbps,ftp上行業(yè)務(wù)的速率為107.56Mbps。(a)(b)任務(wù)5.3邊緣與云中心服務(wù)器測(cè)試5.3.1邊緣與云中心服務(wù)器測(cè)試需求大中型企業(yè)在部署邊緣計(jì)算項(xiàng)目時(shí),從安全和控制的角度出發(fā),常常在公司總部搭建云中心服務(wù)平臺(tái),在各分公司與當(dāng)?shù)毓S搭建邊緣云服務(wù)平臺(tái),即大中型企業(yè)邊緣計(jì)算項(xiàng)目中的云平臺(tái)通常包括云中心與邊緣云兩級(jí)部署方式,提供對(duì)邊緣網(wǎng)關(guān)或者智能設(shè)備的控制與管理,與邊緣網(wǎng)關(guān)或者智能設(shè)備之間進(jìn)行資源、服務(wù)、應(yīng)用的全面協(xié)同。因此,邊緣與云中心服務(wù)器的配置和管理是整個(gè)邊緣計(jì)算項(xiàng)目的核心任務(wù),邊緣與云中心服務(wù)器的測(cè)試更是保證企業(yè)業(yè)務(wù)穩(wěn)定運(yùn)行的關(guān)鍵環(huán)節(jié)。5.3.2邊緣與云中心服務(wù)器測(cè)試方式導(dǎo)入以云服務(wù)器為例,基于虛擬化技術(shù)的發(fā)展,云服務(wù)器上的物理資源虛擬化成邏輯資源池或者資源共享池以后,由資源池負(fù)責(zé)資源的統(tǒng)一管理和對(duì)外服務(wù),此模式下,基于資源池創(chuàng)建的虛擬機(jī)取代實(shí)體物理機(jī)成為新的網(wǎng)絡(luò)節(jié)點(diǎn),依托網(wǎng)絡(luò)環(huán)境進(jìn)行信息傳輸和資源共享,并與項(xiàng)目其它部分協(xié)同作業(yè),共同助力邊緣計(jì)算對(duì)工業(yè)互聯(lián)網(wǎng)的賦能價(jià)值。傳輸網(wǎng)絡(luò)不僅是整個(gè)邊緣計(jì)算項(xiàng)目的基礎(chǔ)架構(gòu),而且是云服務(wù)器虛擬化后各節(jié)點(diǎn)協(xié)同作業(yè)的重要依托,所以在完成傳輸網(wǎng)絡(luò)測(cè)試以后,對(duì)云服務(wù)器或者各虛擬節(jié)點(diǎn)接入網(wǎng)絡(luò)后的實(shí)際情況也應(yīng)進(jìn)行測(cè)試,為云服務(wù)器或者各虛擬節(jié)點(diǎn)上的業(yè)務(wù)運(yùn)行提供首要保證。網(wǎng)絡(luò)測(cè)試完成以后,在云服務(wù)器或者各虛擬節(jié)點(diǎn)上部署一到兩個(gè)簡(jiǎn)單的應(yīng)用服務(wù)用以測(cè)試,測(cè)試過程中,首先在應(yīng)用服務(wù)正常運(yùn)行狀態(tài)下對(duì)云服務(wù)器或者各虛擬節(jié)點(diǎn)的基準(zhǔn)性能進(jìn)行測(cè)試,然后模擬多種并發(fā)情況和故障情況,對(duì)云服務(wù)器或者各虛擬節(jié)點(diǎn)的高并發(fā)性與高可用性進(jìn)行測(cè)試。5.3.2邊緣與云中心服務(wù)器測(cè)試方式1.云服務(wù)器網(wǎng)絡(luò)通信測(cè)試方法任務(wù)5.2中已經(jīng)對(duì)計(jì)算機(jī)網(wǎng)絡(luò)常用的八種性能指標(biāo)和無線網(wǎng)絡(luò)常用的四種性能指標(biāo)進(jìn)行了敘述,在此基礎(chǔ)上對(duì)云服務(wù)器接入網(wǎng)絡(luò)后的實(shí)際情況進(jìn)行測(cè)試,首先需要在云服務(wù)器中部署作為服務(wù)端的服務(wù)節(jié)點(diǎn)和作為客戶端的測(cè)試節(jié)點(diǎn),然后借助iperf、netperf、qperf等網(wǎng)絡(luò)測(cè)試工具在服務(wù)端和客戶端之間進(jìn)行數(shù)據(jù)傳輸測(cè)試,采用TCP傳輸和UDP傳輸?shù)葍煞N不同的傳輸方式,測(cè)試TCP傳輸時(shí)的吞吐量和UDP傳輸時(shí)的丟包率等具體指標(biāo)。5.3.2邊緣與云中心服務(wù)器測(cè)試方式2.云服務(wù)器基準(zhǔn)性能測(cè)試方法(1)top工具top工具可以實(shí)時(shí)展示系統(tǒng)的運(yùn)行狀態(tài),包括CPU、內(nèi)存、進(jìn)程、進(jìn)程資源使用量等重要信息,運(yùn)維工程師時(shí)常會(huì)把top工具比作“加強(qiáng)版的Windows任務(wù)管理器”,該工具非常適合作為接手服務(wù)器后執(zhí)行的第一條命令。top工具的運(yùn)行結(jié)果如圖所示。5.3.2邊緣與云中心服務(wù)器測(cè)試方式2.云服務(wù)器基準(zhǔn)性能測(cè)試方法輸出結(jié)果中:1)loadaverage顯示了系統(tǒng)在之前1分鐘、5分鐘、15分鐘內(nèi)的平均負(fù)載。2)Tasks顯示了系統(tǒng)在當(dāng)前時(shí)刻的進(jìn)程情況:running表示運(yùn)行和將要被調(diào)度運(yùn)行的進(jìn)程數(shù);sleeping表示睡眠的進(jìn)程數(shù);stopped表示停止的進(jìn)程數(shù);zombie表示僵尸進(jìn)程數(shù)。3)%Cpu(s)顯示了系統(tǒng)在當(dāng)前時(shí)刻的CPU占用比:us表示用戶態(tài)的CPU占用比;sy表示內(nèi)核態(tài)的CPU占用比;ni表示低優(yōu)先級(jí)用戶態(tài)的CPU占用比;id表示空閑狀態(tài)的CPU占用比;wa表示等待IO的CPU占用比;hi表示處理硬中斷的CPU占用比;si表示處理軟中斷的CPU占用比;st表示用于虛擬化的CPU占用比。4)KiBMem顯示了系統(tǒng)在當(dāng)前時(shí)刻的物理內(nèi)存使用量:total表示總物理內(nèi)存的大小;free表示空閑狀態(tài)的物理內(nèi)存的大??;used表示使用狀態(tài)的物理內(nèi)存的大小;buff/cache表示用于緩存的物理內(nèi)存的大小。5)KiBSwap顯示了系統(tǒng)在當(dāng)前時(shí)刻的交換分區(qū)使用量:total表示總交換分區(qū)的大??;free表示空閑狀態(tài)的交換分區(qū)的大小;used表示使用狀態(tài)的交換分區(qū)的大小;availMem表示在不進(jìn)行交換的前提下,系統(tǒng)可以給新進(jìn)程使用的內(nèi)存總量。6)接下來是系統(tǒng)在當(dāng)前時(shí)刻的進(jìn)程詳情:PID表示進(jìn)程id;USER表示哪個(gè)用戶啟動(dòng)了進(jìn)程;PR表示進(jìn)程的優(yōu)先級(jí);NI表示進(jìn)程的nice值;VIRT表示進(jìn)程使用的虛擬內(nèi)存的總量;RES表示進(jìn)程使用的、未被換出的物理內(nèi)存的總量;SHR表示進(jìn)程使用的共享內(nèi)存的總量;S表示進(jìn)程狀態(tài)(R=運(yùn)行,S=睡眠,D=不可中斷的睡眠狀態(tài),T=跟蹤/停止,Z=僵尸進(jìn)程);%CPU表示進(jìn)程的CPU占用比;%MEM表示進(jìn)程的物理內(nèi)存占用比;TIME+表示進(jìn)程運(yùn)行的時(shí)間總計(jì);COMMAND表示進(jìn)程的相關(guān)命令。5.3.2邊緣與云中心服務(wù)器測(cè)試方式2.云服務(wù)器基準(zhǔn)性能測(cè)試方法(2)vmstat工具vmstat工具可以整體報(bào)告系統(tǒng)的運(yùn)行狀態(tài),包括CPU、內(nèi)存、IO、進(jìn)程等重要信息,也可以報(bào)告系統(tǒng)的磁盤狀態(tài)或者磁盤分區(qū)。vmstat工具的運(yùn)行結(jié)果如圖所示。5.3.2邊緣與云中心服務(wù)器測(cè)試方式2.云服務(wù)器基準(zhǔn)性能測(cè)試方法輸出結(jié)果中:1)procs顯示了系統(tǒng)在輸出時(shí)刻的進(jìn)程情況:r表示運(yùn)行和將要被調(diào)度運(yùn)行的進(jìn)程數(shù);b表示等待IO的進(jìn)程數(shù)。2)memory顯示了系統(tǒng)在輸出時(shí)刻的物理內(nèi)存使用量:swpd表示使用的交換分區(qū)的大??;free表示空閑狀態(tài)的物理內(nèi)存的大??;buff表示用于buff緩存的物理內(nèi)存的大小;cache表示用于cache緩存的物理內(nèi)存的大小。3)swap顯示了系統(tǒng)在輸出時(shí)刻的交換情況:si表示每秒由磁盤換入到交換分區(qū)的大??;so表示每秒由交換分區(qū)換出到磁盤的大小。4)io顯示了系統(tǒng)在輸出時(shí)刻的IO情況:bi表示每秒塊設(shè)備接收的塊數(shù)量;bo表示每秒塊設(shè)備發(fā)送的塊數(shù)量。5)system顯示了系統(tǒng)在輸出時(shí)刻的內(nèi)核情況:in表示每秒的中斷數(shù),包括時(shí)鐘中斷數(shù);cs表示每秒的上下文切換數(shù)。6)cpu顯示了系統(tǒng)在輸出時(shí)刻的CPU占用比:us表示用戶態(tài)的CPU占用比;sy表示內(nèi)核態(tài)的CPU占用比;id表示空閑狀態(tài)的CPU占用比;wa表示等待IO的CPU占用比;st表示用于虛擬化的CPU占用比。5.3.2邊緣與云中心服務(wù)器測(cè)試方式2.云服務(wù)器基準(zhǔn)性能測(cè)試方法(3)CPU和內(nèi)存的常用指標(biāo)說明基于top命令和vmstat命令可以對(duì)CPU和內(nèi)存中多數(shù)指標(biāo)進(jìn)行全面監(jiān)控。對(duì)于CPU而言,“表示用戶態(tài)的CPU占用比”的us指標(biāo)和“表示內(nèi)核態(tài)的CPU占用比”的sy指標(biāo)是衡量云服務(wù)器CPU性能是否達(dá)到瓶頸的常用指標(biāo),參考值為80%,us+sy>80%說明云服務(wù)器可能處于CPU瓶頸;對(duì)于內(nèi)存而言,“表示每秒由磁盤換入到交換分區(qū)的大小”的si指標(biāo)和“表示每秒由交換分區(qū)換出到磁盤的大小”的so指標(biāo)是衡量云服務(wù)器內(nèi)存性能是否達(dá)到瓶頸的常用指標(biāo),si和so長(zhǎng)期不為0說明云服務(wù)器可能處于內(nèi)存瓶頸。5.3.2邊緣與云中心服務(wù)器測(cè)試方式3.云服務(wù)器高并發(fā)性與高可用性測(cè)試方法(1)負(fù)載均衡能力負(fù)載均衡要求集群在多個(gè)操作單元上進(jìn)行負(fù)載的均攤和平衡,將負(fù)載均衡分配到多個(gè)操作單元上。多個(gè)操作單元和負(fù)載均衡協(xié)同完成整體任務(wù)。(2)穩(wěn)定運(yùn)行能力穩(wěn)定性測(cè)試屬于負(fù)載測(cè)試的一種,讓集群在加載一定業(yè)務(wù)壓力的情況下持續(xù)運(yùn)行N×24小時(shí),檢測(cè)并記錄是系統(tǒng)是否能夠穩(wěn)定運(yùn)行。對(duì)于互聯(lián)網(wǎng)應(yīng)用和大型企業(yè)應(yīng)用而言,多數(shù)要求7×24小時(shí)不間斷運(yùn)行。5.3.2邊緣與云中心服務(wù)器測(cè)試方式3.云服務(wù)器高并發(fā)性與高可用性測(cè)試方法(3)高并發(fā)性測(cè)試衡量系統(tǒng)高并發(fā)性的常用指標(biāo)有:1)每秒查詢(QueriesPerSecond,QPS)與每秒事務(wù)(TransactionsPerSecond,TPS)QPS是系統(tǒng)每秒能夠響應(yīng)的查詢次數(shù)。TPS是系統(tǒng)每秒能夠響應(yīng)的事務(wù)次數(shù)。QPS與TPS基本類似。但是不同的是,對(duì)于一個(gè)頁(yè)面的一次訪問只會(huì)形成一個(gè)TPS,但是一次訪問既可能產(chǎn)生對(duì)系統(tǒng)的一次請(qǐng)求也可能產(chǎn)生對(duì)系統(tǒng)的多次請(qǐng)求。如果是對(duì)系統(tǒng)的一次請(qǐng)求,則一個(gè)TPS對(duì)應(yīng)一個(gè)QPS。如果是對(duì)系統(tǒng)的多次請(qǐng)求,則一個(gè)TPS對(duì)應(yīng)多個(gè)QPS。2)響應(yīng)時(shí)間(ResponseTime,RT)RT是一個(gè)請(qǐng)求從產(chǎn)生開始到收到響應(yīng)為止所花費(fèi)的總體時(shí)間,即:從客戶端發(fā)起請(qǐng)求開始,到客戶端收到服務(wù)端響應(yīng)為止,所花費(fèi)的總體時(shí)間。3)并發(fā)數(shù)并發(fā)數(shù)是指系統(tǒng)能夠同時(shí)處理的請(qǐng)求數(shù)量,并發(fā)數(shù)也反映了系統(tǒng)的負(fù)載能力。4)吞吐量吞吐量是系統(tǒng)每秒能夠處理的請(qǐng)求數(shù)量,是一個(gè)衡量系統(tǒng)抗壓能力的綜合指標(biāo),可以通過前面的QPS、QTS、RT、并發(fā)數(shù)等指標(biāo)進(jìn)行衡量。5.3.2邊緣與云中心服務(wù)器測(cè)試方式3.云服務(wù)器高并發(fā)性與高可用性測(cè)試方法(4)高可用性測(cè)試衡量系統(tǒng)高可用性的常用指標(biāo)有:1)恢復(fù)時(shí)間目標(biāo)(RecoveryTimeObject,RTO)RTO是指故障或者災(zāi)難發(fā)生以后,從系統(tǒng)宕機(jī)導(dǎo)致業(yè)務(wù)停頓開始,到系統(tǒng)恢復(fù)并且業(yè)務(wù)恢復(fù)為止,所花費(fèi)的時(shí)間。業(yè)界一般基于系統(tǒng)在全年的宕機(jī)時(shí)間,用“幾個(gè)九”的標(biāo)準(zhǔn)來進(jìn)一步衡量系統(tǒng)的RTO指標(biāo),如表所示:其中,宕機(jī)時(shí)間/年=(1-系統(tǒng)可用性%)×365天。2)恢復(fù)點(diǎn)目標(biāo)(RecoveryPointObject,RPO)RPO是指故障或者災(zāi)難發(fā)生以后,系統(tǒng)和業(yè)務(wù)必須恢復(fù)到的時(shí)間點(diǎn)的要求,是衡量此過程中數(shù)據(jù)丟失的重要指標(biāo),可以簡(jiǎn)單描述為能夠容忍的最大數(shù)據(jù)丟失量。衡量系統(tǒng)的RPO指標(biāo)不僅要考慮云服務(wù)器的容災(zāi)備份與高可用性,而且要考慮云存儲(chǔ)的容災(zāi)備份與高可用性,是一項(xiàng)綜合任務(wù)。系統(tǒng)可用性級(jí)別系統(tǒng)可用性%宕機(jī)時(shí)間/年不可用90%36.5天基本可用99%87.6小時(shí)較高可用99.9%8.76小時(shí)高可用99.99%52.56分鐘極高可用99.999%5.26分鐘5.3.2邊緣與云中心服務(wù)器測(cè)試方式4.實(shí)驗(yàn)環(huán)境(1)Kubernetes集群的準(zhǔn)備工作部署的Kubernetes集群有如下特點(diǎn):1)包括三個(gè)Master節(jié)點(diǎn)和兩個(gè)Node節(jié)點(diǎn)。2)各節(jié)點(diǎn)依次完成:CentOS764位操作系統(tǒng)的安裝,Docker容器引擎的安裝(以18.09.0版本為例),Kubernetes集群架構(gòu)的安裝(以1.20.0版本為例)。3)三個(gè)Master節(jié)點(diǎn)包括一個(gè)主節(jié)點(diǎn)和兩個(gè)備節(jié)點(diǎn);主節(jié)點(diǎn)的節(jié)點(diǎn)名稱為master,節(jié)點(diǎn)IP為;備節(jié)點(diǎn)的節(jié)點(diǎn)名稱為backup1和backup2,節(jié)點(diǎn)IP為和;基于Haproxy和Keepalived實(shí)現(xiàn)三個(gè)Master節(jié)點(diǎn)的負(fù)載均衡和容災(zāi)備份,虛擬IP設(shè)置為0。4)兩個(gè)Node節(jié)點(diǎn)的節(jié)點(diǎn)名稱為node1和node2,節(jié)點(diǎn)IP為1和2。具體如表所示。5.3.2邊緣與云中心服務(wù)器測(cè)試方式4.實(shí)驗(yàn)環(huán)境節(jié)點(diǎn)名稱節(jié)點(diǎn)IP節(jié)點(diǎn)作用節(jié)點(diǎn)配置master主Master節(jié)點(diǎn)CentOS764位Docker18.09.0Kubernetes1.20.0Haproxy+Keepalivedbackup1備Master節(jié)點(diǎn)backup2備Master節(jié)點(diǎn)
0Master節(jié)點(diǎn)的虛擬IPnode11Node節(jié)點(diǎn)CentOS764位Docker18.09.0Kubernetes1.20.0node22Node節(jié)點(diǎn)5.3.2邊緣與云中心服務(wù)器測(cè)試方式4.實(shí)驗(yàn)環(huán)境(2)測(cè)試集群的準(zhǔn)備工作部署的測(cè)試集群有如下特點(diǎn):1)包括三個(gè)測(cè)試節(jié)點(diǎn),節(jié)點(diǎn)IP為1至3,有需要可根據(jù)實(shí)際情況拓展增加。2)各節(jié)點(diǎn)依次完成CentOS764位操作系統(tǒng)的安裝。具體如表所示。5.3.2邊緣與云中心服務(wù)器測(cè)試方式4.實(shí)驗(yàn)環(huán)境節(jié)點(diǎn)名稱節(jié)點(diǎn)IP節(jié)點(diǎn)作用節(jié)點(diǎn)配置test1測(cè)試節(jié)點(diǎn)CentOS764位test22測(cè)試節(jié)點(diǎn)2test33測(cè)試節(jié)點(diǎn)35.3.2邊緣與云中心服務(wù)器測(cè)試方式4.實(shí)驗(yàn)環(huán)境(3)遠(yuǎn)程連接5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試1.iperf的安裝與啟動(dòng)1)在master節(jié)點(diǎn)和test節(jié)點(diǎn)上安裝iperf,命令如下:#wget/pub/iperf/iperf-3.0.6.tar.gz#tarxzvfiperf-3.0.6.tar.gz#cdiperf-3.0.6&&./configure&&make&&makeinstall&&cd~#iperf3-version其中,iperf3表示使用的是iperf發(fā)行版本3。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試1.iperf的安裝與啟動(dòng)2)在master節(jié)點(diǎn)上將iperf以服務(wù)端形式啟動(dòng),命令如下:#iperf3-s其中,-s表示將iperf以服務(wù)端(server)形式啟動(dòng)。結(jié)果如圖所示。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試1.iperf的安裝與啟動(dòng)3)在test節(jié)點(diǎn)上將iperf以客戶端形式啟動(dòng),命令如下:#iperf3-c其中,-c表示將iperf以客戶端(client)形式啟動(dòng),為master節(jié)點(diǎn)的IP地址,即服務(wù)端的IP地址。結(jié)果如圖所示。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試(1)iperf常用參數(shù)說明前面所示結(jié)果表示在test節(jié)點(diǎn)上將iperf以客戶端形式啟動(dòng),啟動(dòng)過程即為一次TCP通信測(cè)試的過程。分隔線以上每1秒輸出一次傳輸狀態(tài),Transfer列表示1秒內(nèi)傳輸?shù)臄?shù)據(jù)量大小,Bandwidth列表示1秒內(nèi)的帶寬速率,Retr列表示1秒內(nèi)的重傳次數(shù),Cwnd列表示1秒內(nèi)的擁塞窗口;分隔線以下輸出整體傳輸狀態(tài),包括:客戶端總共發(fā)送的數(shù)據(jù)量、客戶端帶寬速率、服務(wù)端總共接收的數(shù)據(jù)量、服務(wù)端帶寬速率、數(shù)據(jù)重傳次數(shù)等。其中的帶寬速率即為客戶端和服務(wù)端之間TCP通信時(shí)的TCP吞吐量,由此可以分析客戶端和服務(wù)端之間TCP通信時(shí)的通信性能。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試在上述命令的基礎(chǔ)上,可以通過iperf的常用參數(shù)得到更多測(cè)試結(jié)果,iperf的常用參數(shù)如下:①-t:指定測(cè)試時(shí)間,默認(rèn)10秒,假設(shè)改為20秒,命令為:iperf3-c-t20。②-i:指定測(cè)試間隔,默認(rèn)1秒,假設(shè)改為2秒,命令為:iperf3-c-i2。③-n:指定要發(fā)送的數(shù)據(jù)大小,以字節(jié)為單位,假設(shè)要發(fā)送5G字節(jié)的隨機(jī)數(shù)據(jù),命令為:iperf3-c-n5000000000。④-F:指定要發(fā)送的文件名稱,假設(shè)要發(fā)送文件名稱為iperf-3.0.6.tar.gz的安裝包,命令為:iperf3-c-Fiperf-3.0.6.tar.gz。⑤-P:指定并行的線程數(shù)目,不指定的話默認(rèn)為1,假設(shè)要在客戶端和服務(wù)端之間建立雙線程通信,命令為:iperf3-c-P2。⑥-f:指定輸出結(jié)果中帶寬速率的顯示單位,共有四種選項(xiàng),-f[kmKM]分別表示以Kbits/s、Mbits/s、Kbytes/s、MBytes/s顯示,默認(rèn)以Mbits/s顯示,假設(shè)要更改為以MBytes/s顯示,命令為:iperf3-c-fM。⑦-b:指定能使用的帶寬速率,TCP模式下默認(rèn)無限制,UDP模式下默認(rèn)為1Mbits/s,假設(shè)要更改為100Mbits/s,命令為:iperf3-c-b100M。⑧-u:指定使用UDP模式通信,不指定的話默認(rèn)使用TCP模式通信?;谏鲜鰠?shù)在客戶端和服務(wù)端之間進(jìn)行進(jìn)一步測(cè)試。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試(2)TCP通信測(cè)試1)指定測(cè)試間隔為2秒,指定測(cè)試時(shí)間為20秒,指定要發(fā)送文件名稱為iperf-3.0.6.tar.gz的安裝包,命令如下:#iperf3-c-Fiperf-3.0.6.tar.gz-i2-t20結(jié)果如圖所示。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試2)指定測(cè)試間隔為2秒,指定輸出結(jié)果中帶寬速率的顯示單位為MBytes/s,指定要發(fā)送5G字節(jié)的隨機(jī)數(shù)據(jù),命令如下:#iperf3-c-n5000000000-i2-fM結(jié)果如圖所示。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試3)進(jìn)一步指定雙線程通信,命令如下:#iperf3-c-n5000000000-i2-fM-P2結(jié)果如圖所示。5.3.3云服務(wù)器網(wǎng)絡(luò)通信測(cè)試2.基于iperf的通信測(cè)試(3)UDP通信測(cè)試1)指定使用UDP模式通信,指定UDP模式下能使用的帶寬速率為100Mbits/s,命令如下:#iperf3-c-u-b100M-i2-fM結(jié)果如圖所示。圖中的Jitter表示抖動(dòng)時(shí)間,或者叫傳輸時(shí)延,Lost/TotalDatagrams列表示總共丟失的數(shù)據(jù)量大小和總共傳輸?shù)臄?shù)據(jù)量大小,0.2%表示丟包率。5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署(1)創(chuàng)建hello-nginx鏡像1)創(chuàng)建Dockerfile文件,內(nèi)容如下:FROMnginxRUNecho'<h1>Hello</h1>'>/usr/share/nginx/html/index.html5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署2)基于Dockerfile文件創(chuàng)建hello-nginx鏡像,命令如下:#dockerbuild-tdocker-hub-name/hello-nginx.--load其中,docker-hub-name為使用者在DockerHub公有倉(cāng)庫(kù)中的賬戶名,也可以基于模塊3的學(xué)習(xí)完成Harbor私有倉(cāng)庫(kù)的搭建,將docker-hub-name替換為Harbor私有倉(cāng)庫(kù)的IP地址或者域名地址,本模塊暫且不對(duì)Harbor私有倉(cāng)庫(kù)進(jìn)行測(cè)試。5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署(2)將hello-nginx鏡像上傳到DockerHub公有倉(cāng)庫(kù)1)登錄DockerHub公有倉(cāng)庫(kù),命令如下:#dockerlogin2)將hello-nginx鏡像上傳到DockerHub公有倉(cāng)庫(kù),命令如下:#dockerpushdocker-hub-name/hello-nginx5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署(3)部署hello-nginx服務(wù)1)創(chuàng)建hello-nginx.yaml文件,內(nèi)容如下:apiVersion:apps/v1kind:Deploymentmetadata:labels:app:hello-nginxname:hello-nginxspec:replicas:4selector:
matchLabels:app:hello-nginxtemplate:metadata:labels:app:hello-nginxspec:containers:-image:docker-hub-name/hello-nginxname:hello-nginx
imagePullPolicy:IfNotPresent---apiVersion:v1kind:Servicemetadata:name:service-nginxspec:type:NodePortports:-name:httpport:80protocol:TCP
targetPort:80
nodePort:32697selector:app:hello-nginx5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署2)基于hello-nginx.yaml文件部署hello-nginx服務(wù),命令如下:#kubectlapply-fhello-nginx.yaml5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試1.服務(wù)部署1)查看集群中的Pod信息,命令如下:#kubectlgetpod-owide結(jié)果如圖所示。可知,部署的hello-nginx服務(wù)在集群中啟動(dòng)了4個(gè)Pod,均衡運(yùn)行在node1節(jié)點(diǎn)和node2節(jié)點(diǎn)上。2)查看集群中的Service信息,命令如下:#kubectlgetsvc-owide結(jié)果如圖所示??芍?,部署的hello-nginx服務(wù)在集群中以各節(jié)點(diǎn)上的32697端口為對(duì)外服務(wù)的端口號(hào)。(4)查看集群服務(wù)信息5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試2.集群基本功能測(cè)試與集群基準(zhǔn)性能測(cè)試(1)對(duì)hello-nginx服務(wù)的基本功能進(jìn)行測(cè)試1)在test節(jié)點(diǎn)上請(qǐng)求hello-nginx服務(wù),命令如下:#curl0:32697其中,0為master節(jié)點(diǎn)、backup1節(jié)點(diǎn)、backup2節(jié)點(diǎn)基于Haproxy和Keepalived設(shè)置的虛擬IP,32697為hello-nginx服務(wù)在各節(jié)點(diǎn)上對(duì)外服務(wù)的端口號(hào)。結(jié)果如圖所示。可知,部署的hello-nginx服務(wù)可以正常響應(yīng)外部請(qǐng)求。5.3.4云服務(wù)器基準(zhǔn)性能測(cè)試2.集群基本功能測(cè)試與集群基準(zhǔn)性能測(cè)試(2)對(duì)各節(jié)點(diǎn)的基準(zhǔn)性能進(jìn)行測(cè)試1)在各節(jié)點(diǎn)上運(yùn)行top命令,以master節(jié)點(diǎn)為例,結(jié)果如圖所示。2)在各節(jié)點(diǎn)上運(yùn)行vmstat命令,以master節(jié)點(diǎn)為例,結(jié)果如圖所示??芍?,正常情況下,master節(jié)點(diǎn)上CPU指標(biāo)中的us+sy為2%??芍?,正常情況下,master節(jié)點(diǎn)上內(nèi)存指標(biāo)中si和so均為0,因?yàn)镈ocker和Kubernetes的配置過程中本身就將swap交換分區(qū)關(guān)閉掉了。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試1.集群負(fù)載均衡能力測(cè)試(1)基于部署好的hello-nginx服務(wù),將提供服務(wù)的對(duì)象名稱展示出來1)在node1節(jié)點(diǎn)和node2節(jié)點(diǎn)上查看提供服務(wù)的容器信息,命令如下:#dockerps2)依次進(jìn)入四個(gè)容器內(nèi)部,修改輸出信息,命令如下:#dockerexec-itcontainID/bin/bashecho"輸出內(nèi)容">/usr/share/nginx/html/index.htmlexit其中,containID為查詢到的容器ID,將node1節(jié)點(diǎn)上兩個(gè)容器的輸出內(nèi)容分別更改為contain1node1和contain3node1,將node2節(jié)點(diǎn)上兩個(gè)容器的輸出內(nèi)容分別更改為contain2node2和contain4node2。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試1.集群負(fù)載均衡能力測(cè)試(2)測(cè)試端發(fā)起測(cè)試1)在test節(jié)點(diǎn)上循環(huán)請(qǐng)求多次hello-nginx服務(wù),命令如下:#foriin{1..30};docurl0:32697;done結(jié)果如圖所示??芍?,Kubernetes集群會(huì)將外部請(qǐng)求在Pod間均衡分配,具有天然的負(fù)載均衡能力。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試2.集群高并發(fā)性測(cè)試(1)在測(cè)試節(jié)點(diǎn)上安裝vegeta負(fù)載測(cè)試工具,執(zhí)行單個(gè)測(cè)試節(jié)點(diǎn)并發(fā)請(qǐng)求1)在test節(jié)點(diǎn)上安裝vegata負(fù)載測(cè)試工具,命令如下:#wget/tsenart/vegeta/releases/download/v7.0.3/vegeta-7.0.3-linux-amd64.tar.gz#tarxzvfvegeta-7.0.3-linux-amd64.tar.gz#mvvegeta/usr/local/bin/#vegeta-version5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試2.集群高并發(fā)性測(cè)試2)在test節(jié)點(diǎn)上執(zhí)行單個(gè)測(cè)試節(jié)點(diǎn)的并發(fā)請(qǐng)求,命令如下:#echo"GET0:32697"|\vegeta-cpus=1attack-connections=1000000-duration=1m-timeout=1h\-rate=500|teereports.bin|vegetareport可知,test節(jié)點(diǎn)以1秒鐘500次的請(qǐng)求頻率向部署好的hello-nginx服務(wù)發(fā)起請(qǐng)求,1分鐘內(nèi)總共請(qǐng)求30000次,成功率為100%。其中:①-cpus=1指定使用的CPU個(gè)數(shù)為1。②-connections=1000000指定每個(gè)任務(wù)的最大連接數(shù)為1000000。③-duration=1m指定測(cè)試時(shí)間為1分鐘。④-timeout=1h指定超時(shí)時(shí)間為1小時(shí)。⑤-rate=500指定請(qǐng)求頻率為1秒鐘500次。結(jié)果如圖所示。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試2.集群高并發(fā)性測(cè)試(2)在測(cè)試節(jié)點(diǎn)上安裝pdsh并行控制工具,執(zhí)行多個(gè)測(cè)試節(jié)點(diǎn)并發(fā)請(qǐng)求1)在test節(jié)點(diǎn)上安裝pdsh并行控制工具,命令如下:#wget/google-code-archive-downloads/v2//pdsh/pdsh-2.29.tar.bz2#tarjxvfpdsh-2.29.tar.bz2#cdpdsh-2.29&&./configure--with-ssh&&make&&makeinstall&&cd~#pdsh-V2)在test節(jié)點(diǎn)上生成ssh密鑰并將密鑰發(fā)送到所有測(cè)試節(jié)點(diǎn)中,命令如下:#ssh-keygen#cd~/.ssh/&&ls#ssh-copy-idroot@1#ssh-copy-idroot@2#ssh-copy-idroot@33)在test2節(jié)點(diǎn)和test3節(jié)點(diǎn)上也安裝vegeta負(fù)載測(cè)試工具,命令同前。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試2.集群高并發(fā)性測(cè)試4)在test節(jié)點(diǎn)上執(zhí)行多個(gè)測(cè)試節(jié)點(diǎn)的并發(fā)請(qǐng)求,命令如下:#pdsh-wssh:192.168.200.[21-23]"echo"GET0:32697"|\vegeta-cpus=1attack-connections=1000000-duration=1m-timeout=1h\-rate=500|teereports.bin|vegetareport"其中:①-wssh:192.168.200.[21-23]表示在test節(jié)點(diǎn)上并行操作IP地址為1/22/23的test節(jié)點(diǎn)、test2節(jié)點(diǎn)、test3節(jié)點(diǎn)。②引號(hào)中的命令為基于vegeta工具的并發(fā)測(cè)試命令。結(jié)果如圖所示??芍?,在test節(jié)點(diǎn)上并行控制三個(gè)測(cè)試節(jié)點(diǎn),讓三個(gè)測(cè)試節(jié)點(diǎn)同步以1秒鐘500次的請(qǐng)求頻率向部署好的hello-nginx服務(wù)發(fā)起請(qǐng)求,1分鐘內(nèi)總共請(qǐng)求90000次,成功率為100%。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試2.集群高并發(fā)性測(cè)試(3)拓展內(nèi)容基于vegeta負(fù)載測(cè)試工具和pdsh并行控制工具:1)在一定并發(fā)量的基礎(chǔ)上,修改并發(fā)請(qǐng)求的測(cè)試時(shí)間,由1分鐘改為N×24小時(shí),測(cè)試集群的穩(wěn)定性。2)增加測(cè)試節(jié)點(diǎn),測(cè)試集群能夠承受的并發(fā)數(shù)。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試(1)模擬容器故障情況1)選擇hello-nginx服務(wù)中的某個(gè)容器,在對(duì)應(yīng)節(jié)點(diǎn)上通過dockerstop命令手動(dòng)停止該容器,假設(shè)容器ID為f52e52d22c7a,命令如下:#dockerstopf52e52d22c7a2)在master節(jié)點(diǎn)上查看集群現(xiàn)有Pod情況,結(jié)果如圖所示??芍?,Kubernetes中的容器停止后會(huì)由Pod自動(dòng)重啟,圖中RESTARTS為1的Pod即為重啟容器的Pod。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試3)在test節(jié)點(diǎn)上循環(huán)請(qǐng)求多次hello-nginx服務(wù),命令同前,因?yàn)樾聠?dòng)的容器沒有修改輸出信息,所以新階段應(yīng)該是三個(gè)輸出信息為“contain1node1”“contain3node1”“contain4node2”的容器和一個(gè)輸出信息為“Hello”的容器之間進(jìn)行負(fù)載均衡,如圖所示。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試(2)模擬Pod故障情況1)選擇hello-nginx服務(wù)中的某個(gè)Pod,在master節(jié)點(diǎn)上通過kubectldelete命令手動(dòng)刪除該P(yáng)od,假設(shè)Pod名稱為hello-nginx-7d96894dd7-x9dp4,命令如下:#kubectldeletepodhello-nginx-7d96894dd7-x9dp42)在master節(jié)點(diǎn)上查看集群現(xiàn)有Pod情況,結(jié)果如圖所示??芍琄ubernetes中的Pod刪除后會(huì)由集群自動(dòng)重啟,圖中NAME為hello-nginx-7d96894dd7-8bpw9的Pod即為重啟以后的Pod。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試3)在test節(jié)點(diǎn)上循環(huán)請(qǐng)求多次hello-nginx服務(wù),命令同前,因?yàn)樾聠?dòng)的容器沒有修改輸出信息,所以新階段應(yīng)該是兩個(gè)輸出信息為“contain1node1”“contain3node1”的容器和兩個(gè)輸出信息為“Hello”的容器之間進(jìn)行負(fù)載均衡,如圖所示。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試(3)模擬Node節(jié)點(diǎn)故障1)將node1節(jié)點(diǎn)所在的虛擬機(jī)或者主機(jī)人為關(guān)機(jī)。2)在master節(jié)點(diǎn)上查看集群現(xiàn)有Pod情況,結(jié)果如圖所示。可知,圖中3個(gè)node1節(jié)點(diǎn)上的Pod都在node2節(jié)點(diǎn)上進(jìn)行了重啟。但該過程默認(rèn)要等五分鐘左右,實(shí)際應(yīng)用中可以對(duì)此時(shí)間進(jìn)行修改。3)在test節(jié)點(diǎn)上循環(huán)請(qǐng)求多次hello-nginx服務(wù),命令同前,結(jié)果應(yīng)該是四個(gè)輸出信息為“Hello”的容器之間進(jìn)行負(fù)載均衡。5.3.5云服務(wù)器高并發(fā)性與高可用性測(cè)試3.集群高可用性測(cè)試(4)模擬Master節(jié)點(diǎn)故障1)將master節(jié)點(diǎn)所在的虛擬機(jī)或者主機(jī)人為關(guān)機(jī)。2)在backup1節(jié)點(diǎn)和backup2節(jié)點(diǎn)上查看集群現(xiàn)有Pod情況和集群現(xiàn)有節(jié)點(diǎn)情況,結(jié)果如圖所示??芍?,master節(jié)點(diǎn)宕機(jī)以后,在backup1節(jié)點(diǎn)和backup2節(jié)點(diǎn)的接管下,Kubernetes集群依舊可以正常工作。3)在test節(jié)點(diǎn)上循環(huán)請(qǐng)求多次hello-nginx服務(wù),結(jié)果同前,可知,master節(jié)點(diǎn)宕機(jī)以后,在backup1節(jié)點(diǎn)和backup2節(jié)點(diǎn)的接管下,Kubernetes集群依舊可以在虛擬IP不變的情況下正常對(duì)外提供服務(wù)。任務(wù)5.4邊緣網(wǎng)關(guān)測(cè)試5.4.1邊緣網(wǎng)關(guān)測(cè)試需求工業(yè)智能網(wǎng)關(guān)在邊緣計(jì)算項(xiàng)目中作為邊緣網(wǎng)關(guān),不僅負(fù)責(zé)工業(yè)場(chǎng)景下的網(wǎng)絡(luò)連接和協(xié)議轉(zhuǎn)換,而且負(fù)責(zé)終端采集數(shù)據(jù)的實(shí)時(shí)分析,與云服務(wù)器之間進(jìn)行資源、服務(wù)、應(yīng)用的全面協(xié)同。對(duì)邊緣網(wǎng)關(guān)進(jìn)行測(cè)試是保證邊緣正常運(yùn)行的關(guān)鍵環(huán)節(jié)。工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟標(biāo)準(zhǔn)AII/008-2021《工業(yè)互聯(lián)網(wǎng)邊緣計(jì)算邊緣網(wǎng)關(guān)技術(shù)要求及測(cè)試方法》中對(duì)工業(yè)場(chǎng)景下邊緣網(wǎng)關(guān)的技術(shù)要求及測(cè)試方法進(jìn)行了詳細(xì)說明,包括:邊緣網(wǎng)關(guān)硬件的測(cè)試方法,邊緣網(wǎng)關(guān)網(wǎng)絡(luò)的測(cè)試方法,邊緣網(wǎng)關(guān)控制轉(zhuǎn)換、數(shù)據(jù)采集、數(shù)據(jù)分析、斷網(wǎng)續(xù)傳等能力的測(cè)試方法,邊緣網(wǎng)關(guān)二次開發(fā)、智能作業(yè)、運(yùn)維管理、日志管理等能力的測(cè)試方法,邊緣網(wǎng)關(guān)相互之間協(xié)同運(yùn)行、與云服務(wù)器協(xié)同運(yùn)行、獨(dú)立運(yùn)行等多種運(yùn)行方式的測(cè)試方法,邊緣網(wǎng)關(guān)安全功能的測(cè)試方法?;谶吘壘W(wǎng)關(guān)在邊緣計(jì)算項(xiàng)目中的常用角色和作用,本模塊重點(diǎn)介紹以下四方面內(nèi)容:(1)邊緣網(wǎng)關(guān)硬件的測(cè)試方法;(2)邊緣網(wǎng)關(guān)網(wǎng)絡(luò)的測(cè)試方法;(3)邊緣網(wǎng)關(guān)數(shù)據(jù)采集、數(shù)據(jù)分析、斷網(wǎng)續(xù)傳、智能作業(yè)等業(yè)務(wù)能力的測(cè)試方法;(4)邊緣網(wǎng)關(guān)相互之間協(xié)同運(yùn)行、與云服務(wù)器協(xié)同運(yùn)行、獨(dú)立運(yùn)行等運(yùn)行方式的測(cè)試方法;其中,對(duì)邊緣網(wǎng)關(guān)斷網(wǎng)續(xù)傳能力的測(cè)試其實(shí)是從邊緣網(wǎng)關(guān)的角度對(duì)系統(tǒng)高可用性的測(cè)試。5.4.2邊緣網(wǎng)關(guān)測(cè)試方法1.邊緣網(wǎng)關(guān)硬件的測(cè)試方法1)用戶側(cè)和網(wǎng)絡(luò)側(cè)接口的測(cè)試:在邊緣網(wǎng)關(guān)的用戶側(cè)接入PLC或者其它現(xiàn)場(chǎng)設(shè)備,現(xiàn)場(chǎng)設(shè)備使用MQTT、HTTP、OPCUA等方式向邊緣網(wǎng)關(guān)發(fā)送數(shù)據(jù),查看邊緣網(wǎng)關(guān)是否能夠接收到正確的數(shù)據(jù);在邊緣網(wǎng)關(guān)的網(wǎng)絡(luò)側(cè)配置轉(zhuǎn)發(fā)方式,如以太網(wǎng)或者WIFI等方式,讓邊緣網(wǎng)關(guān)將數(shù)據(jù)轉(zhuǎn)發(fā)至云服務(wù)器,查看云服務(wù)器是否能夠接收到正確的數(shù)據(jù);如果數(shù)據(jù)上報(bào)正確、穩(wěn)定、連續(xù),判定邊緣網(wǎng)關(guān)中用戶側(cè)和網(wǎng)絡(luò)側(cè)接口通過測(cè)試,否則判定不通過。2)計(jì)算存儲(chǔ)等基礎(chǔ)能力的測(cè)試:測(cè)試邊緣網(wǎng)關(guān)中flash閃存能夠連續(xù)寫入的最大數(shù)據(jù)量,記錄最大值;測(cè)試向邊緣網(wǎng)關(guān)中寫入256字節(jié)數(shù)據(jù)所需要的時(shí)間,計(jì)算邊緣網(wǎng)關(guān)單條記錄的寫速度;測(cè)試從邊緣網(wǎng)關(guān)中讀出256字節(jié)數(shù)據(jù)所需要的時(shí)間,計(jì)算邊緣網(wǎng)關(guān)單條記錄的讀速度;測(cè)試從邊緣網(wǎng)關(guān)中循環(huán)讀出多條記錄的所需要的時(shí)間,計(jì)算邊緣網(wǎng)關(guān)循環(huán)讀取的讀速度;如果上述測(cè)量值在業(yè)務(wù)要求的范圍內(nèi),判定邊緣網(wǎng)關(guān)計(jì)算存儲(chǔ)等基礎(chǔ)能力通過測(cè)試,否則判定不通過。3)穩(wěn)定性的測(cè)試:建立邊緣網(wǎng)關(guān)與PLC設(shè)備或者數(shù)據(jù)模擬系統(tǒng)的連接;在PLC設(shè)備或者數(shù)據(jù)模擬系統(tǒng)中配置大量持續(xù)發(fā)送的數(shù)據(jù);讓邊緣網(wǎng)關(guān)連續(xù)運(yùn)行7×24小時(shí),驗(yàn)證邊緣網(wǎng)關(guān)中有無數(shù)據(jù)丟失、進(jìn)程掛死等現(xiàn)象,觀察測(cè)試期間的系統(tǒng)負(fù)載情況;如果邊緣網(wǎng)關(guān)能夠穩(wěn)定運(yùn)行7×24小時(shí)以上,期間無異常發(fā)生(數(shù)據(jù)無丟失、錯(cuò)亂,進(jìn)程無掛死、重啟,CPU和內(nèi)存均平穩(wěn)),判定邊緣網(wǎng)關(guān)穩(wěn)定性通過測(cè)試,否則判定不通過。4)并發(fā)性的測(cè)試:通過測(cè)試系統(tǒng)模擬出200個(gè)PLC設(shè)備,使這些設(shè)備同時(shí)與邊緣網(wǎng)關(guān)建立連接;讓模擬出的PLC設(shè)備向邊緣網(wǎng)關(guān)發(fā)送數(shù)據(jù);逐量增加接入的PLC設(shè)備的數(shù)量直至達(dá)到最大值,驗(yàn)證邊緣網(wǎng)關(guān)中有無數(shù)據(jù)丟失、進(jìn)程掛死等現(xiàn)象,觀察測(cè)試期間的系統(tǒng)負(fù)載情況;如果正常并發(fā)情況下無異常發(fā)生(數(shù)據(jù)無丟失、錯(cuò)亂,進(jìn)程無掛死、重啟,CPU和內(nèi)存均平穩(wěn))并且邊緣網(wǎng)關(guān)允許接入的最大PLC數(shù)量在業(yè)務(wù)要求的范圍內(nèi),判定邊緣網(wǎng)關(guān)并發(fā)性通過測(cè)試,否則判定不通過。5.4.2邊緣網(wǎng)關(guān)測(cè)試方法2.邊緣網(wǎng)關(guān)網(wǎng)絡(luò)的測(cè)試方法1)網(wǎng)絡(luò)切換能力的測(cè)試:在邊緣網(wǎng)關(guān)上配置兩種或者兩種以上的網(wǎng)絡(luò)接入方式,如以太網(wǎng)或者WIFI等方式;啟動(dòng)邊緣網(wǎng)關(guān),在云服務(wù)器上檢測(cè)邊緣網(wǎng)關(guān)是否能夠正確接入;在邊緣網(wǎng)關(guān)上斷開任意一種網(wǎng)絡(luò)接入方式,在云服務(wù)器上檢測(cè)邊緣網(wǎng)關(guān)是否能夠正確接入;如果在邊緣網(wǎng)關(guān)上斷開任意一種網(wǎng)絡(luò)接入方式以后,邊緣網(wǎng)關(guān)依舊能夠正確接入云服務(wù)器或者短期中斷并在指定時(shí)間內(nèi)恢復(fù),判定邊緣網(wǎng)關(guān)網(wǎng)絡(luò)切換能力通過測(cè)試,否則判定不通過。5.4.2邊緣網(wǎng)關(guān)測(cè)試方法3.邊緣網(wǎng)關(guān)業(yè)務(wù)能力的測(cè)試方法(1)邊緣網(wǎng)關(guān)數(shù)據(jù)采集能力的測(cè)試方法1)傳輸時(shí)延的測(cè)試:在邊緣網(wǎng)關(guān)中對(duì)PLC時(shí)間進(jìn)行采集;將采集到的PLC時(shí)間轉(zhuǎn)發(fā)至檢測(cè)平臺(tái);檢測(cè)平臺(tái)收到數(shù)據(jù)的時(shí)間與所收到的PLC時(shí)間做差值,即為傳輸時(shí)延;如果傳輸時(shí)延在業(yè)務(wù)要求的范圍內(nèi),判定通過測(cè)試,否則判定不通過。2)采樣頻率的測(cè)試:在邊緣網(wǎng)關(guān)中對(duì)PLC周期變化的數(shù)據(jù)和PLC時(shí)間進(jìn)行采集;將采集到的PLC周期變化的數(shù)據(jù)和PLC時(shí)間轉(zhuǎn)發(fā)至檢測(cè)平臺(tái);檢測(cè)平臺(tái)通過PLC周期變化的數(shù)據(jù)和PLC時(shí)間的雙重校驗(yàn)計(jì)算采樣頻率并且檢測(cè)連續(xù)性;如果采樣頻率在業(yè)務(wù)要求的范圍內(nèi),判定通過測(cè)試,否則判定不通過。(2)邊緣網(wǎng)關(guān)數(shù)據(jù)分析能力的測(cè)試方法1)數(shù)據(jù)預(yù)處理的測(cè)試:在邊緣網(wǎng)關(guān)中對(duì)PLC持續(xù)發(fā)送的數(shù)據(jù)進(jìn)行采集;在邊緣網(wǎng)關(guān)中對(duì)采集到的數(shù)據(jù)進(jìn)行預(yù)處理,例如將工程值轉(zhuǎn)換為儀表值,設(shè)定數(shù)據(jù)篩選、過濾、抽取等規(guī)則,設(shè)定簡(jiǎn)單的函數(shù)規(guī)則;檢測(cè)處理后的結(jié)果和預(yù)設(shè)是否相符;如果相符,判定通過測(cè)試,否則判定不通過。2)數(shù)據(jù)可視化的測(cè)試:在邊緣網(wǎng)關(guān)中對(duì)PLC持續(xù)發(fā)送的數(shù)據(jù)進(jìn)行采集;在邊緣網(wǎng)關(guān)中對(duì)采集到的數(shù)據(jù)進(jìn)行簡(jiǎn)單的配置,展示其歷史趨勢(shì)、實(shí)時(shí)值;檢測(cè)可視化的結(jié)果和預(yù)設(shè)是否相符;如果相符,判定通過測(cè)試,否則判定不通過。5.4.2邊緣網(wǎng)關(guān)測(cè)試方法3.邊緣網(wǎng)關(guān)業(yè)務(wù)能力的測(cè)試方法(3)邊緣網(wǎng)關(guān)斷網(wǎng)續(xù)傳能力的測(cè)試方法1)斷網(wǎng)續(xù)傳的測(cè)試:在測(cè)試平臺(tái)上設(shè)置邊緣網(wǎng)關(guān)通過MQTT或者HTTP 方式傳輸數(shù)據(jù)到云服務(wù)器的測(cè)試腳本,啟動(dòng)測(cè)試腳本;手動(dòng)斷開邊緣網(wǎng)關(guān)的網(wǎng)絡(luò)連接,30秒后結(jié)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 石家莊理工職業(yè)學(xué)院《SOC設(shè)計(jì)基礎(chǔ)》2023-2024學(xué)年第二學(xué)期期末試卷
- 東營(yíng)職業(yè)學(xué)院《影視特效與合成》2023-2024學(xué)年第二學(xué)期期末試卷
- 江蘇食品藥品職業(yè)技術(shù)學(xué)院《城市數(shù)字化管理》2023-2024學(xué)年第二學(xué)期期末試卷
- 淮陰工學(xué)院《建筑設(shè)計(jì)原理及設(shè)計(jì)》2023-2024學(xué)年第二學(xué)期期末試卷
- 達(dá)州職業(yè)技術(shù)學(xué)院《舞臺(tái)化妝與造型Ⅰ》2023-2024學(xué)年第二學(xué)期期末試卷
- 2024年起動(dòng)腳蹬桿投資申請(qǐng)報(bào)告代可行性研究報(bào)告
- 算法分析與設(shè)計(jì):冒泡排序
- 2025年貴陽(yáng)中國(guó)電建集團(tuán)勘測(cè)設(shè)計(jì)研究院有限公司招聘筆試參考題庫(kù)含答案解析
- 2025年浙江臺(tái)州市基礎(chǔ)設(shè)施建設(shè)投資集團(tuán)有限公司招聘筆試參考題庫(kù)含答案解析
- 2025年浙江紹興諸暨市新城投資開發(fā)集團(tuán)有限公司招聘筆試參考題庫(kù)含答案解析
- 升壓站設(shè)備基礎(chǔ)施工方案
- 12SS508《混凝土模塊式室外給水管道附屬構(gòu)筑物》
- 23J916-1:住宅排氣道(一)
- 高中物理知識(shí)點(diǎn)清單(非常詳細(xì))
- 人機(jī)料法環(huán)測(cè)檢查表
- 2022小學(xué)勞動(dòng)課程標(biāo)準(zhǔn)電子版
- 物料采購(gòu)結(jié)算單
- 汽煤柴油加氫裝置操作工(技師)考試復(fù)習(xí)題庫(kù)寶典(含答案)
- 從業(yè)人員健康及衛(wèi)生管理制度
- 不退押金起訴材料范本
評(píng)論
0/150
提交評(píng)論