




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
ICS91.120.25
CCSP15
DB51
四川省地方標(biāo)準(zhǔn)
DB51/T3225—2024
地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程
2024-12-18發(fā)布2025-01-18實(shí)施
四川省市場監(jiān)督管理局發(fā)布
DB51/T3225—2024
目次
前言................................................................................II
1范圍...............................................................................1
2規(guī)范性引用文件.....................................................................1
3術(shù)語和定義.........................................................................1
4總則...............................................................................2
5技術(shù)要求...........................................................................4
6測試策劃...........................................................................5
7測試設(shè)計(jì)...........................................................................5
8測試執(zhí)行...........................................................................6
9評審..............................................................................18
10測試總結(jié).........................................................................18
附錄A(規(guī)范性)功能測試評分參考模板................................................19
附錄B(規(guī)范性)測試用例要素與分類..................................................20
附錄C(資料性)測試文檔參考模板....................................................22
參考文獻(xiàn).............................................................................28
I
DB51/T3225—2024
前言
本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分:標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定
起草。
請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。
本文件由四川省地震局提出、歸口、解釋并組織實(shí)施。
本文件起草單位:四川地震臺、中國地震局工程力學(xué)研究所、福建地震臺、廣東地震臺、成都理工
大學(xué)、電子科技大學(xué)、自貢市應(yīng)急管理局。
本文件主要起草人:江鵬、晉云霞、李同林、蘇金蓉、李萍萍、王競、曾維祖、李繼龍、于偉恒、
陳輝、歐陽龍斌、蘇柱金、周冬梅、胡旺、許艷。
II
DB51/T3225—2024
地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程
1范圍
本文件規(guī)定了地震預(yù)警系統(tǒng)軟件測試的技術(shù)要求、測試環(huán)境、測試用例、測試方法和測試過程,以
及對測試結(jié)果評價(jià)的方法和判定標(biāo)準(zhǔn)。
本文件適用于地震預(yù)警系統(tǒng)軟件的開發(fā)、使用和第三方測試。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,
僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本
文件。
GB/T11457軟件工程術(shù)語
GB/T22239信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求
GB/T29833.3系統(tǒng)與軟件可移植性第3部分:測試方法
GB/T29835.3系統(tǒng)與軟件效率第3部分:測試方法
GB/T29836.3系統(tǒng)與軟件易用性第3部分:測評方法
GB/T38634.3系統(tǒng)與軟件工程軟件測試第3部分:測試文檔
3術(shù)語和定義
GB/T11457界定的以及下列術(shù)語和定義適用于本文件。
地震預(yù)警earthquakeearlywarning
地震發(fā)生后,對即將到來的破壞性地震動(dòng)進(jìn)行預(yù)測和警報(bào)。
地震震級earthquakemagnitude
對地震大小的相對度量。
[來源:GB/T17740—2017,2.16]
預(yù)警時(shí)間leadingtime
地震發(fā)生至地震動(dòng)到達(dá)地震預(yù)警目標(biāo)的剩余時(shí)間,一般以秒為單位。
預(yù)警產(chǎn)出用時(shí)processingtime
地震發(fā)生至地震預(yù)警系統(tǒng)產(chǎn)出預(yù)警信息的時(shí)間間隔,一般以秒為單位。
測試用例testcase
為特定測試任務(wù)編制的一組測試輸入、執(zhí)行條件以及預(yù)期結(jié)果。
測試震例testseismicevent
1
DB51/T3225—2024
用于開展地震預(yù)警系統(tǒng)軟件測試的地震事件數(shù)據(jù)。
預(yù)警信息漏報(bào)themissedwarninginformation
達(dá)到地震預(yù)警信息產(chǎn)出或發(fā)布標(biāo)準(zhǔn)但未及時(shí)產(chǎn)出或發(fā)布預(yù)警信息。
預(yù)警信息偏差thedeviationofwarninginformation
地震預(yù)警系統(tǒng)軟件產(chǎn)出的地震預(yù)警參數(shù)相比測試用例的期望結(jié)果的差值。
預(yù)警信息誤報(bào)thefalsewarninginformation
未發(fā)生實(shí)際地震但地震預(yù)警系統(tǒng)軟件錯(cuò)誤產(chǎn)出或發(fā)布預(yù)警信息。
4總則
測試目的
通過構(gòu)建測試環(huán)境、設(shè)計(jì)測試用例,對地震預(yù)警系統(tǒng)軟件的質(zhì)量和能力進(jìn)行測試和評價(jià),驗(yàn)證系統(tǒng)
是否滿足地震預(yù)警軟件技術(shù)要求、設(shè)計(jì)文檔、需求說明書、軟件產(chǎn)品說明書和操作手冊等規(guī)定的質(zhì)量要
求,發(fā)現(xiàn)軟件的潛在缺陷,為軟件產(chǎn)品的質(zhì)量評價(jià)提供依據(jù)。
測試范圍
地震預(yù)警系統(tǒng)軟件測試包括文檔檢查、軟件的功能、性能、信息安全、兼容性和可移植性等內(nèi)容。
測試過程
測試過程包括測試策劃、測試設(shè)計(jì)、測試執(zhí)行、評審、測試總結(jié)五項(xiàng)活動(dòng)。測試流程如圖1所示。
2
DB51/T3225—2024
開始
測試需求分析
測試設(shè)計(jì)
測試環(huán)境組成測試用例設(shè)計(jì)
編寫測試計(jì)劃
不通過
評審測試計(jì)劃
通過
測試執(zhí)行
不通過
文檔檢查
通過
執(zhí)行測試指標(biāo)
測試評價(jià)
不通過
評審
通過
測試總結(jié)
結(jié)束
圖1測試流程圖
測試方法
本規(guī)程規(guī)定的地震預(yù)警系統(tǒng)軟件測試采用黑盒測試方法。
3
DB51/T3225—2024
測試文檔
軟件測試文檔通常包括測試計(jì)劃、測試說明、測試報(bào)告、測試記錄,根據(jù)軟件的完整性級別和軟件
規(guī)模等級可進(jìn)行合理的取舍與合并。測試文檔的基本內(nèi)容和要求參考GB/T38634.3。
5技術(shù)要求
地震預(yù)警系統(tǒng)的功能和性能要求由用戶需求決定,但須具備數(shù)據(jù)接收與處理、地震定位、震級估算、
烈度預(yù)測、預(yù)警信息更新、處理過程記錄六項(xiàng)通用功能,其他功能參照設(shè)計(jì)等相關(guān)文檔說明。功能技術(shù)
要求見表1。
表1功能列表
功能類別功能項(xiàng)功能項(xiàng)描述
具備獲取臺站信息的功能;
具備實(shí)時(shí)接收連續(xù)波形的功能;
通用功能數(shù)據(jù)接收及處理基于臺站端預(yù)處理或邊緣計(jì)算的地震預(yù)警系統(tǒng)應(yīng)提供
由連續(xù)波形提取關(guān)鍵參數(shù)的數(shù)據(jù)預(yù)處理模塊;
具備震相檢測識別功能。
具備震相關(guān)聯(lián)功能,通過震相特征值的分析,將同一個(gè)
事件的震相數(shù)據(jù)相關(guān)聯(lián);
具備地震預(yù)警連續(xù)定位功能,可從一個(gè)臺站觸發(fā)開始進(jìn)
通用功能地震定位
行地震定位,隨著觸發(fā)臺站數(shù)量的增加,分別進(jìn)行地震定位
處理,更新產(chǎn)出地震定位信息;
定位信息包括震中位置、震源深度、發(fā)震時(shí)刻等。
利用地震波觸發(fā)后的有限信息進(jìn)行預(yù)警震級估算;
將不同臺站計(jì)算得到的震級值進(jìn)行綜合計(jì)算,得到可靠
通用功能震級估算度更高的預(yù)警震級;
隨著臺站觸發(fā)信息和觸發(fā)臺站數(shù)量的增加,對震級參數(shù)
按一定規(guī)則進(jìn)行更新。
具備針對目標(biāo)區(qū)域的烈度預(yù)測功能;
通用功能預(yù)警目標(biāo)區(qū)烈度預(yù)測
目標(biāo)區(qū)域或目標(biāo)點(diǎn)位可根據(jù)需求自主配置。
隨著時(shí)間延長或記錄臺站信息的增加,可根據(jù)規(guī)則更新
通用功能預(yù)警信息更新地震預(yù)警結(jié)果;
具備自主配置地震預(yù)警信息更新規(guī)則功能。
具備記錄處理過程日志的功能;
日志內(nèi)容主要包括以下內(nèi)容:震相識別信息,震相關(guān)聯(lián)
情況,參與計(jì)算臺站估算震級,各報(bào)次地震定位結(jié)果和歷次
通用功能處理過程記錄定位使用的震相信息,預(yù)警烈度預(yù)測的重要步驟和結(jié)果,預(yù)
警信息更新的重要步驟和結(jié)果信息,系統(tǒng)運(yùn)行狀態(tài)記錄,系
統(tǒng)異常告警和報(bào)錯(cuò)記錄;
處理日志的記錄時(shí)間標(biāo)識應(yīng)精確到毫秒。
參照設(shè)計(jì)文檔、用戶手冊和技術(shù)手冊等其他功能指標(biāo)的
其他功能其他功能項(xiàng)
說明。
4
DB51/T3225—2024
6測試策劃
測試策劃是地震預(yù)警系統(tǒng)軟件測試的需求分析和制定計(jì)劃階段,具體實(shí)施內(nèi)容包括:
a)確定需要測試的內(nèi)容或質(zhì)量特性;
b)確定測試的充分性要求;
c)確定測試的資源和技術(shù)需求;
d)確定人員配置和培訓(xùn)需求;
e)提出測試的基本方法;
f)進(jìn)行風(fēng)險(xiǎn)分析與評估,制定測試計(jì)劃。
7測試設(shè)計(jì)
概述
測試設(shè)計(jì)是依據(jù)測試需求進(jìn)行設(shè)計(jì),具體實(shí)施內(nèi)容包括:
a)依據(jù)測試需求,分析并選用已有的測試用例或設(shè)計(jì)新的測試用例;
b)獲取并驗(yàn)證測試數(shù)據(jù);
c)根據(jù)測試資源、風(fēng)險(xiǎn)等約束條件,確定測試用例執(zhí)行順序;
d)建立并校準(zhǔn)測試環(huán)境;
e)進(jìn)行測試就緒評審。
測試環(huán)境
7.2.1測試環(huán)境組成
測試環(huán)境包括被測試的地震預(yù)警系統(tǒng)軟件運(yùn)行環(huán)境和測試工具及其運(yùn)行使用環(huán)境。
7.2.2測試環(huán)境要求
地震預(yù)警系統(tǒng)軟件的測試運(yùn)行環(huán)境應(yīng)符合測試任務(wù)書(測試合同或項(xiàng)目計(jì)劃)的要求,通常包括系
統(tǒng)硬件配置、系統(tǒng)軟件配置、操作系統(tǒng)、網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)庫、必要的中間件。若有特殊約定的,則按照
要求搭建;若未約定,則按照以下要求進(jìn)行測試環(huán)境搭建:
a)測試環(huán)境應(yīng)具有獨(dú)立的網(wǎng)絡(luò)環(huán)境;
b)利用有效的正版殺毒軟件檢測部署環(huán)境,確保測試環(huán)境中沒有病毒;
c)硬件配置符合軟件運(yùn)行的最低要求;
d)使用通用操作系統(tǒng)和相關(guān)軟件平臺;
e)建立相對獨(dú)立的測試環(huán)境,僅安裝軟件運(yùn)行和測試必須的軟件。
7.2.3測試工具
根據(jù)測試計(jì)劃、問題管理和測試配置管理等要求配備測試工具,測試工具應(yīng)具有可追溯性。地震預(yù)
警系統(tǒng)軟件測試的專用測試工具應(yīng)具備以下功能:
a)統(tǒng)計(jì)測試結(jié)果;
b)記錄測試過程和日志;
c)對失敗用例進(jìn)行錯(cuò)誤分類,分析提取測試指標(biāo)完成情況;
d)測試用例分級分類維護(hù)管理等功能。
5
DB51/T3225—2024
測試用例
7.3.1設(shè)計(jì)原則
測試用例設(shè)計(jì)原則要求:
a)測試用例應(yīng)具備完備性,輸入數(shù)據(jù)中不僅要包含合理正常的輸入數(shù)據(jù)和測試震例,還要包括邊
界值、異常值、錯(cuò)誤值、無效值,以及誤操作及非常規(guī)輸入等多種情況;
b)測試用例應(yīng)具備正確性,測試數(shù)據(jù)應(yīng)符合用戶實(shí)際工作流程,預(yù)期結(jié)果應(yīng)與測試數(shù)據(jù)發(fā)生的業(yè)
務(wù)相吻合;
c)測試用例應(yīng)具備可操作性,在測試用例中規(guī)定足夠詳細(xì)、準(zhǔn)確和清晰的步驟,明確不同操作步
驟相對應(yīng)的操作結(jié)果;
d)測試用例應(yīng)具備可重復(fù)性,測試用例的數(shù)據(jù)能夠被重復(fù)使用,對同樣的測試用例,系統(tǒng)的執(zhí)行
結(jié)果應(yīng)是相同的,且不同人員使用的測試結(jié)果應(yīng)保持一致。
7.3.2內(nèi)容和要素
測試用例由測試輸入、執(zhí)行條件以及預(yù)期結(jié)果等內(nèi)容組成,包括用例的編號、測試項(xiàng)、測試環(huán)境、
輸入數(shù)據(jù)、測試步驟、預(yù)期結(jié)果、測試結(jié)論等要素,其中功能測試的輸入數(shù)據(jù)應(yīng)以測試震例為主,具體
見附錄B。
7.3.3測試震例
測試震例由歷史地震事件的記錄數(shù)據(jù)和背景噪聲數(shù)據(jù)組成,按照事件類型(如網(wǎng)內(nèi)、網(wǎng)外、雙震、
震群、干擾等)和震級大小進(jìn)行分類。測試震例分類見附錄B。
一次完整的測試任務(wù)應(yīng)抽取一定數(shù)量的測試震例組成測試震例集。測試震例集應(yīng)包括多種類型,其
中干擾震例占比應(yīng)不低于5%。
7.3.4修改更新
在測試過程中出現(xiàn)設(shè)計(jì)測試用例時(shí)考慮不周,反饋的軟件缺陷是由于測試用例存在漏洞而造成測
試結(jié)果有誤,被測軟件自身新增功能以及版本更新等情形時(shí),需對測試用例進(jìn)行更新或完善。
就緒評審
在測試執(zhí)行前,對測試計(jì)劃和測試說明進(jìn)行評審,包括:
a)測試文檔內(nèi)容的完整性、正確性和規(guī)范性;
b)測試環(huán)境要求和配置的合理性;
c)測試項(xiàng)選擇的完整性和合理性;
d)測試用例的可行性、正確性和充分性;
e)測試震例的數(shù)量、類型以及震例事件權(quán)重。
8測試執(zhí)行
概述
在準(zhǔn)備好的測試環(huán)境中執(zhí)行測試用例,記錄測試過程,分析和判定測試結(jié)果。根據(jù)不同的判定結(jié)果
采取相應(yīng)的措施,對測試過程的正?;虍惓=K止情況進(jìn)行核對;根據(jù)核對結(jié)果,對尚未達(dá)到測試終止條
6
DB51/T3225—2024
件的測試用例,決定是停止測試,還是需要修改或補(bǔ)充測試用例集,并進(jìn)一步測試;按照測試計(jì)劃的規(guī)
定,記錄測試執(zhí)行日志。
準(zhǔn)入準(zhǔn)出條件
8.2.1準(zhǔn)入條件
地震預(yù)警系統(tǒng)開始軟件測試的準(zhǔn)入條件包括:
a)提交成熟被測軟件;
b)具有軟件測試所需的文檔,且文檔完整、合理、準(zhǔn)確并滿足測試需求;
c)形成測試任務(wù)書或測試合同。
8.2.2準(zhǔn)出條件
地震預(yù)警系統(tǒng)結(jié)束軟件測試的準(zhǔn)出條件包括:
a)軟件測試中的問題或異常有合理解釋或正確有效的處理,客觀、詳細(xì)地記錄了軟件測試過程和
軟件測試中發(fā)現(xiàn)的所有問題,軟件測試文檔齊全、符合規(guī)范,測試工作通過了測試評審;
b)被測軟件存在重大問題或異常影響軟件測試工作正常進(jìn)行,被測方不要求復(fù)測的;
c)被測方主動(dòng)要求停止測試的;
d)其他未提到但可能涉及的情況。
文檔檢查
8.3.1檢查內(nèi)容
地震預(yù)警系統(tǒng)軟件測試應(yīng)先對配套的文檔類部件進(jìn)行檢查,主要檢查文檔的完整性、正確性、一致
性、易理解性和易瀏覽性,具體包括以下方面:
a)明確文檔驗(yàn)收的標(biāo)準(zhǔn),軟件開發(fā)人員和用戶應(yīng)對此達(dá)成一致;
b)檢查文檔的完整性,主要檢查文檔的種類和內(nèi)容的完整程度;
c)檢查文檔的正確性,主要檢查編寫是否正確;
d)檢查文檔一致性,主要檢查軟件的設(shè)計(jì)描述是否按照需求定義進(jìn)行,系統(tǒng)與設(shè)計(jì)文檔的描述一
致;
e)檢查文檔的易理解性,主要檢查文檔針對的用戶,表達(dá)是否易于理解并且詳細(xì);
f)檢查文檔的易瀏覽性,主要檢查各類文檔之間的相互關(guān)系是否明確,每個(gè)文檔應(yīng)有目錄表或索
引表。
8.3.2檢查結(jié)果
地震預(yù)警系統(tǒng)軟件文檔檢查完成后,應(yīng)對軟件的文檔檢查結(jié)果進(jìn)行分析。文檔檢查達(dá)到驗(yàn)收標(biāo)準(zhǔn)后,
執(zhí)行其他測試指標(biāo)。
功能測試
8.4.1測試內(nèi)容
功能測試用于評估地震預(yù)警系統(tǒng)在指定條件下使用時(shí)滿足明確和隱含要求功能的能力。功能測試
主要從完備性、準(zhǔn)確性、時(shí)效性3個(gè)子特性開展。
8.4.2完備性測試
7
DB51/T3225—2024
除應(yīng)滿足全部通用功能外,評價(jià)地震預(yù)警系統(tǒng)軟件需求說明書提供的其他功能所覆蓋的全部任務(wù)
或用戶目標(biāo)的程度。測試時(shí),從地震預(yù)警系統(tǒng)需要實(shí)現(xiàn)的功能點(diǎn),與其實(shí)際實(shí)現(xiàn)的功能點(diǎn)進(jìn)行匹配,形
成功能對照。
以功能覆蓋率作為評價(jià)完備性的重要指標(biāo),具體表達(dá)為下式:
W=1-A(1)
B················································································
式中:
W—功能覆蓋率;
A—缺少的功能數(shù)量;
B—定的功能數(shù)量。
8.4.3準(zhǔn)確性測試
8.4.3.1測試要求
地震預(yù)警系統(tǒng)除完整實(shí)現(xiàn)所要求的功能以外,還應(yīng)該能正確實(shí)現(xiàn)所要求的功能。準(zhǔn)確性測試的目標(biāo)
是評估地震預(yù)警系統(tǒng)提供具有所需精度的正確結(jié)果的能力。準(zhǔn)確性測試包括通用功能準(zhǔn)確性測試和其
他功能準(zhǔn)確性測試。
通用功能的準(zhǔn)確性測試是評測地震預(yù)警系統(tǒng)在預(yù)警處理結(jié)果中對于預(yù)警信息誤報(bào)、預(yù)警信息漏報(bào)、
預(yù)警震級、預(yù)警定位、預(yù)測烈度、預(yù)警發(fā)震時(shí)刻六個(gè)通用功能結(jié)果與測試用例提供的期望結(jié)果進(jìn)行偏差
比對。
8.4.3.2預(yù)警信息誤報(bào)
以測試用例中的期望產(chǎn)出預(yù)警信息為標(biāo)準(zhǔn)計(jì)算預(yù)警信息誤報(bào)率,具體計(jì)算表達(dá)式:
Feew
Ferror=1-··········································································(2)
Fag
式中:
Ferror—預(yù)警信息誤報(bào)率;
Feew—預(yù)警系統(tǒng)軟件有預(yù)警信息產(chǎn)出的用例數(shù);
Fag—測試用例中期望產(chǎn)出的用例數(shù)。
8.4.3.3預(yù)警信息漏報(bào)
以測試用例中的期望產(chǎn)出預(yù)警信息為標(biāo)準(zhǔn)計(jì)算預(yù)警信息漏報(bào)率,具體計(jì)算表達(dá)式:
Ieew
Ierror=1-··········································································(3)
Iag
式中:
Ierror—預(yù)警信息漏報(bào)率;
Ieew—預(yù)警系統(tǒng)軟件有預(yù)警信息產(chǎn)出的用例數(shù);
Iag—測試用例中期望產(chǎn)出的用例數(shù)。
8.4.3.4預(yù)警震級偏差
以測試用例中的期望震級為標(biāo)準(zhǔn),計(jì)算測試中預(yù)警震級的偏差,具體計(jì)算表達(dá)式:
8
DB51/T3225—2024
Merror=Meew-Mag········································································(4)
式中:
Merror—震級偏差;
Meew—預(yù)警震級;
Mag—測試用例期望震級。
8.4.3.5預(yù)警定位偏差
以測試用例中的期望震中位置為標(biāo)準(zhǔn),計(jì)算震中位置偏差(單位:千米),具體計(jì)算表達(dá)式:
Lerror=2r*arcsin(√hav(lat2-lat1)+cos(lat1)cos(lat2)hav(lon2-lon1)···················(5)
式中:
Lerror—定位偏差,單位為千米(km);
r—地球半徑,單位為千米(km);
lon1—地震預(yù)警定位中震中位置的經(jīng)度,單位為度(°);
lat1—地震預(yù)警定位中震中位置的緯度,單位為度(°);
lon2—測試用例期望結(jié)果中震中位置參數(shù)的經(jīng)度,單位為度(°);
lat2—測試用例期望結(jié)果中震中位置參數(shù)的緯度,單位為度(°)。
8.4.3.6預(yù)測烈度偏差
預(yù)測烈度偏差將臺站作為目標(biāo)區(qū)進(jìn)行測試,以測試用例中臺站實(shí)際記錄的儀器烈度為標(biāo)準(zhǔn),計(jì)算預(yù)
測烈度的偏差,具體計(jì)算表達(dá)式:
Npreobs
δ=∑i(Ii-Ii)(6)
errorN·····································································
式中:
δerror—預(yù)測烈度偏差;
i—參與臺站數(shù),取值范圍為1?N;
pre
Ii—第i個(gè)臺站的烈度預(yù)測值;
obs
Ii—測試用例期望結(jié)果中第?個(gè)臺站的烈度實(shí)測值。
8.4.3.7預(yù)警發(fā)震時(shí)刻偏差
以測試用例中的實(shí)際發(fā)震時(shí)刻通過時(shí)間平移的方式獲得期望發(fā)震時(shí)刻,計(jì)算預(yù)警發(fā)震時(shí)刻偏差,具
體計(jì)算表達(dá)式:
ΔTerror=ΔTeew-ΔTag··································································(7)
式中:
ΔTerror—發(fā)震時(shí)刻偏差,單位為秒(s);
ΔTeew—預(yù)警發(fā)震時(shí)刻,單位為秒(s);
ΔTag—測試用例期望發(fā)震時(shí)刻,單位為秒(s)。
9
DB51/T3225—2024
8.4.3.8其他功能的準(zhǔn)確性測試
查看需求文檔、設(shè)計(jì)文檔、操作手冊等用戶文檔集陳述的地震預(yù)警系統(tǒng)軟件的使用條件限制,對文
檔中規(guī)定準(zhǔn)確度的功能點(diǎn)進(jìn)行測試,驗(yàn)證功能的測試結(jié)果是否與用戶文檔集中一致。
以功能正確率作為評價(jià)準(zhǔn)確性的重要指標(biāo),具體表達(dá)為下式:
Z=1-C(8)
D················································································
式中:
Z—功能正確率;
C—功能不正確的數(shù)量;
D—用于評價(jià)的功能數(shù)量。
8.4.4時(shí)效性測試
地震預(yù)警系統(tǒng)軟件的時(shí)效性測試主要通過首次預(yù)警產(chǎn)出用時(shí)體現(xiàn),計(jì)算預(yù)警產(chǎn)出用時(shí)與測試用例
提供的期望時(shí)間偏差,具體計(jì)算表達(dá)式:
Terror=Teew-Tag········································································(9)
式中:
Terror—首次預(yù)警產(chǎn)出用時(shí),單位為秒(s);
Teew—預(yù)警信息發(fā)布時(shí)間,單位為秒(s);
Tag—測試用例期望發(fā)布時(shí)間,單位為秒(s)。
性能測試
8.5.1測試內(nèi)容
依據(jù)地震預(yù)警系統(tǒng)設(shè)計(jì)文檔、用戶手冊和技術(shù)手冊等關(guān)于軟件性能指標(biāo)的說明和實(shí)際測試需求,確
定性能測試內(nèi)容,對被測軟件的負(fù)載、壓力、效率性能進(jìn)行測試,具體方法參考GB/T29835.3。性能測
試要求包括:
a)滿足軟件設(shè)計(jì)文檔中說明的性能要求;
b)一定時(shí)間內(nèi),最大存儲量、最多處理數(shù)據(jù)流量、數(shù)據(jù)處理效率、響應(yīng)時(shí)間等應(yīng)滿足設(shè)計(jì)文檔的
要求;
c)一定時(shí)間內(nèi),系統(tǒng)的CPU利用率、內(nèi)存使用率、磁盤I/O吞吐率、網(wǎng)絡(luò)吞吐量等應(yīng)滿足設(shè)計(jì)文
檔要求;
d)系統(tǒng)運(yùn)行時(shí)資源監(jiān)控指標(biāo)應(yīng)符合軟件設(shè)計(jì)文檔要求。
8.5.2負(fù)載測試
負(fù)載性能是在各種工作負(fù)載下地震預(yù)警系統(tǒng)的性能情況,通常用來度量系統(tǒng)的可擴(kuò)展性。通過測試
輸入臺站波形數(shù)據(jù)逐漸增加時(shí)各組成部分的相應(yīng)輸出項(xiàng),如處理時(shí)間、CPU負(fù)載、內(nèi)存使用等情況,通
過綜合分析評估系統(tǒng)的性能。
8.5.3壓力測試
10
DB51/T3225—2024
壓力性能是指在地震預(yù)警系統(tǒng)穩(wěn)定運(yùn)行情況下,能夠處理的最大工作量強(qiáng)度或提供的最大服務(wù)性
能??梢酝ㄟ^測試臨界臺站波形數(shù)據(jù)負(fù)載、容量變化、資源占用等指標(biāo),綜合分析功能執(zhí)行情況和系統(tǒng)
性能表現(xiàn)。
8.5.4效率測試
在一定規(guī)模臺站數(shù)據(jù)量下,相對所用資源的數(shù)量,測試地震預(yù)警系統(tǒng)可提供適當(dāng)性能的能力。性能
測試的效率應(yīng)符合下列要求:
a)功能指標(biāo)的執(zhí)行速度應(yīng)滿足用戶需求,包括數(shù)據(jù)處理效率、數(shù)據(jù)處理周期、產(chǎn)品產(chǎn)出時(shí)間、界
面響應(yīng)時(shí)間等;
b)CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等硬件資源的使用應(yīng)較為充分合理。
信息安全測試
8.6.1測試內(nèi)容
地震預(yù)警系統(tǒng)的信息安全測試包括權(quán)限管理、訪問控制及設(shè)計(jì)文檔明確的安全要求。系統(tǒng)的安全等
級應(yīng)滿足GB/T22239之規(guī)定。
8.6.2數(shù)據(jù)安全
地震預(yù)警系統(tǒng)的數(shù)據(jù)安全測試應(yīng)符合下列要求:
a)采用網(wǎng)絡(luò)隔離策略,外網(wǎng)不能直接訪問內(nèi)網(wǎng);
b)采用安全的部署策略、數(shù)據(jù)簽名等防止信息篡改措施;
c)采用數(shù)據(jù)備份策略,檢查本地和異地?cái)?shù)據(jù)備份和恢復(fù)能力。
8.6.3權(quán)限認(rèn)證
地震預(yù)警系統(tǒng)的功能權(quán)限認(rèn)證測試包括:
a)檢查用戶、角色、權(quán)限三要素的統(tǒng)一申請、審批和管理實(shí)現(xiàn)情況;
b)檢查參數(shù)和數(shù)據(jù)獲取的權(quán)限設(shè)置;
c)檢查不同用戶對數(shù)據(jù)進(jìn)行新增、刪除和更新讀寫權(quán)限認(rèn)證約束。
兼容性測試
8.7.1測試內(nèi)容
兼容性測試用于評估在共享相同的硬件或軟件環(huán)境的條件下,地震預(yù)警系統(tǒng)能夠與其他產(chǎn)品、系統(tǒng)
或組件交換信息或執(zhí)行其所需功能的程度。測試內(nèi)容和方法參考GB/T29836.3。
8.7.2共存性測試
共存性測試是評估在與其他產(chǎn)品共享通用的環(huán)境和資源的條件下,地震預(yù)警系統(tǒng)能夠有效執(zhí)行其
所需的功能并且不會對其他產(chǎn)品造成負(fù)面影響的程度。共存性測試的具體要求:
a)安裝測試軟件,驗(yàn)證測試軟件和已安裝組件均能成功安裝和正確運(yùn)行;
b)對產(chǎn)品說明列舉出與測試軟件兼容的軟件,在同一個(gè)操作環(huán)境下同時(shí)運(yùn)行兩個(gè)及以上軟件,
CPU、進(jìn)程等系統(tǒng)資源的使用情況正常。
8.7.3互操作性測試
11
DB51/T3225—2024
互操作性測試的目標(biāo)是評估兩個(gè)或多個(gè)系統(tǒng)或組件能夠交換信息并使用已交換信息的程度。測試
內(nèi)容主要包括產(chǎn)品說明和用戶文檔集中聲明的數(shù)據(jù)格式是否可交換、數(shù)據(jù)傳輸?shù)慕粨Q接口是否已實(shí)現(xiàn)。
互操作性測試的具體要求:
a)軟件之間共享并交換信息,能夠互相協(xié)作共同完成一項(xiàng)功能;
b)在與其他軟件進(jìn)行通信時(shí),對于規(guī)定的數(shù)據(jù)傳輸,正常實(shí)現(xiàn)交換接口的功能。
可移植性測試
8.8.1測試內(nèi)容
可移植性測試用于評估地震預(yù)警系統(tǒng)能夠從一種硬件、軟件或其他運(yùn)行環(huán)境遷移到另一種環(huán)境的
有效性和效率的程度。測試內(nèi)容和方法參考GB/T29833.3。
8.8.2適應(yīng)性測試
適應(yīng)性測試主要評估地震預(yù)警系統(tǒng)軟件能夠有效率地適應(yīng)不同的硬件、軟件或者其他運(yùn)行環(huán)境的
程度,包括:
a)對于產(chǎn)品說明中指定的每一種硬件環(huán)境,軟件均能成功安裝和正確運(yùn)行;
b)對于產(chǎn)品說明中指定的每一種軟件環(huán)境均能成功安裝和正確運(yùn)行。
8.8.3易安裝性測試
易安裝性測試主要評估在指定環(huán)境中地震預(yù)警系統(tǒng)軟件能夠成功安裝和卸載的有效性和效率的程
度,包括:
a)檢查按照產(chǎn)品說明或安裝手冊中的安裝方法進(jìn)行軟件安裝,是否可安全安裝軟件;
b)檢查按照產(chǎn)品說明中的卸載方法進(jìn)行軟件卸載,檢查是否可安全卸載軟件。
測試評價(jià)
8.9.1概述
本規(guī)程的測試評價(jià)是對地震預(yù)警系統(tǒng)軟件進(jìn)行的功能測試、性能測試、信息安全、兼容性、可移植
性等測試結(jié)果進(jìn)行綜合評價(jià)。
8.9.2評價(jià)方法
地震預(yù)警系統(tǒng)軟件測試中,功能測試評價(jià)、性能測試評價(jià)、信息安全測試評價(jià)、兼容性測試評價(jià)、
可移植性測試評價(jià)均是通過子特性來衡量,子特性是通過測試指標(biāo)項(xiàng)度量。對于測試結(jié)果,通過表示符
合要求(度量值等于或優(yōu)于期望值),不通過表示不符合要求(度量值低于期望值)。
8.9.3子特性測量方法
功能測試的子特性包括完備性測試、準(zhǔn)確性測試、時(shí)效性測試,性能測試子特性包括負(fù)載測試、壓
力測試和效率測試,信息安全測試子特性包括數(shù)據(jù)安全和權(quán)限認(rèn)證,兼容性測試子特性包括共存性測試、
互操作性測試,可移植性測試子特性包括適應(yīng)性測試和易安裝性測試。各子特性的測量值利用公式計(jì)算:
V=∑mi(10)
n··············································································
式中:
V—子特性的測量值;
mi—子特性的第i個(gè)測試指標(biāo)項(xiàng),通過時(shí)為1,否則為0;
12
DB51/T3225—2024
n—子特性的測試指標(biāo)總項(xiàng)。
8.9.4功能測試評價(jià)
功能完備性、功能準(zhǔn)確性、時(shí)效性的測量值分別為V1、V2、V3,則功能測試的測量值計(jì)算:
V=(V1+V2+V3)(11)
f3·········································································
式中:
Vf—功能測試測量值;
V1—完備性測試值;
V2—準(zhǔn)確性測試值;
V3—時(shí)效性測試值。
當(dāng)預(yù)警信息誤報(bào)率Ferror≠0或者漏報(bào)率Ierror≥15%時(shí),則判定V2=0、V3=0。
由于地震預(yù)警系統(tǒng)預(yù)警處理結(jié)果的特殊性(針對同一用例產(chǎn)出多次結(jié)果),故準(zhǔn)確性測量值V2、時(shí)
效性測量值V3要對多次結(jié)果進(jìn)行綜合計(jì)算,預(yù)警報(bào)次權(quán)重如表2所示,具體如下:
RM+RL+Rδ+R+Z
?T
V=,V=R(12)
253T·······························································
式中:
RM—震級偏差對應(yīng)的額定值;
RL—定位偏差對應(yīng)的額定值;
Rδ—烈度偏差對應(yīng)的額定值;
RΔT—發(fā)震時(shí)刻偏差對應(yīng)的額定值;
Z—其他功能準(zhǔn)確性對應(yīng)的額定值;
RT—時(shí)效性偏差對應(yīng)的額定值。
W1*Merror+W2*M+W3*(M+?Merror)
1error2error3n
M=n·····················································(13)
∑1Wi
式中:
M—震級偏差測量值;
W—預(yù)警報(bào)次對應(yīng)的權(quán)重值;
Merror—單個(gè)預(yù)警報(bào)次對應(yīng)的震級偏差。
W1*L+W*L+W3*(L+?L)
error12error2error3errorn
L=n·····················································(14)
∑1Wi
式中:
L—定位偏差測量值;
W—預(yù)警報(bào)次對應(yīng)的權(quán)重值;
Lerror—單個(gè)預(yù)警報(bào)次對應(yīng)的定位偏差。
W*δ+W*δ+W*(δ+?δ)
1error12error23error3errorn
δ=n·················································(15)
∑1Wi
式中:
δ—烈度偏差測量值;
W—預(yù)警報(bào)次對應(yīng)的權(quán)重值;
δerror—單個(gè)預(yù)警報(bào)次對應(yīng)的烈度偏差。
13
DB51/T3225—2024
W*ΔT+W*ΔT+W*(ΔT+?ΔT)
1error12error23error3errorn
ΔT=n············································(16)
∑1Wi
式中:
ΔT—發(fā)震時(shí)刻偏差測量值;
W—預(yù)警報(bào)次對應(yīng)的權(quán)重值;
ΔTerror—單個(gè)預(yù)警報(bào)次對應(yīng)的發(fā)震時(shí)刻偏差。
T=W1*Terror·········································································(17)
式中:
T—時(shí)效性測量值;
W1—首次預(yù)警報(bào)次對應(yīng)權(quán)重;
Terror—首次預(yù)警產(chǎn)出用時(shí),單位秒(s)。
權(quán)重值如表2所示。準(zhǔn)確性的評測結(jié)束時(shí)間按照下式確定:
3.4+1.3*Mag
5.1
T=E+10-24+20(18)
end6.5·······························································
式中:
Tend—準(zhǔn)確性的評測結(jié)束時(shí)間,單位秒(s);
Mag—測試用例期望震級;
E—測試震例為網(wǎng)內(nèi)地震時(shí),取0,當(dāng)測試震例為網(wǎng)外地震或其他時(shí)E等于首個(gè)觸發(fā)臺站的走時(shí)。
表2預(yù)警處理結(jié)果產(chǎn)出報(bào)次權(quán)重
預(yù)警報(bào)次參考值
W11
W20.7
剩余報(bào)次0.5
完備性測量值V1、準(zhǔn)確性測量值V2、時(shí)效性測量值V3,按照評價(jià)等級規(guī)約得到對應(yīng)測量結(jié)果,依據(jù)
功能測試結(jié)果計(jì)算公式計(jì)算功能測試結(jié)果值Vf。該結(jié)果按照表3確定的功能完備性、準(zhǔn)確性、時(shí)效性評
價(jià)等級,以最低等級作為功能測試的最終等級。
表3功能測試評價(jià)等級
額定值1(差)2(合格)3(良好)4(優(yōu)秀)
完備性[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
準(zhǔn)確性[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
時(shí)效性[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
功能測試[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
8.9.5性能測試評價(jià)
負(fù)載、壓力、效率的測量值分別為V1、V2、V3,則性能測試的測量值計(jì)算:
(V+V+V)
V=123(19)
p3········································································
式中:
Vp—性能測試的測量值;
14
DB51/T3225—2024
V1—負(fù)載性能的測量值;
V2—壓力性能的測量值;
V3—效率的測量值。
依據(jù)性能測試測試量Vp、負(fù)載性能測量值V1、壓力性能測量值V2和效率測量值V3,按照表4確定
地震預(yù)警軟件的負(fù)載性能、壓力性能和效率的評價(jià)等級;性能測試結(jié)果的評價(jià),確定以負(fù)載性能、
壓力性能和效率的評價(jià)等級的最低等級作為性能測試的最終等級。
示例:負(fù)載性能的等級為“合格”,壓力性能的等級為“良好”,效率的等級為“優(yōu)秀”,則性能測試的最終等級為“合格”。
表4性能測試評價(jià)等級
額定值1(差)2(合格)3(良好)4(優(yōu)秀)
負(fù)載性能[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
壓力性能[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
效率[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
性能測試[0,0.85)[0.85,0.90)[0.90,0.95)[0.95,1.0]
8.9.6信息安全測試評價(jià)
數(shù)據(jù)安全和權(quán)限認(rèn)證的測量值分別為V1和V2,則安全測試為:
V=(V1+V2)(20)
c2···········································································
式中:
Vc—信息安全測試的測量值;
V1—數(shù)據(jù)安全的測量值;
V2—權(quán)限認(rèn)證的測量值。
依據(jù)信息安全測試測量值Vc、數(shù)據(jù)安全測量值V1和權(quán)限認(rèn)證測量值V2,按照表5確定信息安全評價(jià)
等級,安全測試結(jié)果的評價(jià),以數(shù)據(jù)安全和權(quán)限認(rèn)證的評價(jià)等級的最低級作為安全測試的最終等級,如
表6所示。
表5信息安全測試評價(jià)等級
額定值1(差)2(合格)3(良好)4(優(yōu)秀)
數(shù)據(jù)安全[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
權(quán)限認(rèn)證[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
信息安全測試[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
表6信息安全測試等級評價(jià)方法
權(quán)限認(rèn)證等級
功能等級
1(差)2(合格)3(良好)4(優(yōu)秀)
數(shù)據(jù)安全等級1(差)差差差差
15
DB51/T3225—2024
表6信息安全測試等級評價(jià)方法(續(xù))
權(quán)限認(rèn)證等級
功能等級
1(差)2(合格)3(良好)4(優(yōu)秀)
2(合格)差合格合格合格
數(shù)據(jù)安全等級3(良好)差合格良好良好
4(優(yōu)秀)差合格良好優(yōu)秀
8.9.7兼容性測試評價(jià)
共存性和互操作性的測量值分別為V1和V2,則兼容性測試的測量值計(jì)算:
V=(V1+V2)(21)
d2···········································································
式中:
Vd—兼容性測試的測量值;
V1—共存性的測量值;
V2—互操作性的測量值。
依據(jù)兼容性測試測量值Vd、共存性測量值V1和互操作性V2測量值,按照表7確定兼容性評價(jià)等級,兼
容性測試結(jié)果的評價(jià),以共存性和互操作性的評價(jià)等級的最低級作為兼容性測試的最終等級,如表8所
示。
表7兼容測試評價(jià)等級
額定值1(差)2(合格)3(良好)4(優(yōu)秀)
共存性[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
互操作性[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
兼容測試[0,0.85)[0.85,0.90)[0.90,0.95)[0.95.1.0]
表8兼容性測試等級評價(jià)方法
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 學(xué)生自我管理能力對學(xué)習(xí)動(dòng)機(jī)的影響
- 醫(yī)療培訓(xùn)中激發(fā)學(xué)習(xí)動(dòng)力的方法論
- 創(chuàng)新教育模式以教育心理學(xué)為基礎(chǔ)的課程設(shè)計(jì)
- 創(chuàng)新教育政策塑造未來人才的關(guān)鍵
- 從神經(jīng)科學(xué)的角度探討提升學(xué)生參與度的方法
- 潛能激發(fā)教育心理學(xué)的實(shí)踐路徑
- 抖音商戶直播前預(yù)熱活動(dòng)規(guī)劃制度
- 22-富深木工膠!一文帶你看懂手工貼木皮開裂原因及解決辦法
- 公交優(yōu)先政策與城市交通擁堵治理:2025年交通擁堵治理技術(shù)裝備發(fā)展報(bào)告
- 江西中醫(yī)藥大學(xué)《細(xì)胞生物學(xué)與醫(yī)學(xué)遺傳學(xué)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024高考數(shù)學(xué)專項(xiàng)復(fù)習(xí):均值不等式及不等式綜合(含答案)
- 社會單位消防安全風(fēng)險(xiǎn)自查評估報(bào)告表模板
- 健康體檢醫(yī)療服務(wù) 投標(biāo)方案(技術(shù)方案)
- 外科護(hù)理學(xué)課程說課課件
- 同學(xué)聚會輕音樂
- 事業(yè)單位檔案個(gè)人自傳范文三篇
- 煙草制品購銷員(四級)職業(yè)技能鑒定-理-論-知-識-試-卷
- 生產(chǎn)現(xiàn)場變化點(diǎn)管理行動(dòng)指南
- 模擬電子技術(shù)基礎(chǔ)知到章節(jié)答案智慧樹2023年蘭州石化職業(yè)技術(shù)大學(xué)
- GA/T 1310-2016法庭科學(xué)筆跡鑒定意見規(guī)范
- 2023年本科招生考試
評論
0/150
提交評論