信用卡移動(dòng)客戶端應(yīng)用軟件用戶體驗(yàn)技術(shù)要求和測試方法

TAF-WG4AS0001-V1.0.0技術(shù)項(xiàng)技術(shù)子項(xiàng)具體指標(biāo)訪問控制基于用戶的控制a)授權(quán)用戶訪問的內(nèi)容不能超出授權(quán)的范圍；b)限制APP用戶賬號(hào)的多重并發(fā)會(huì)話。對(duì)APP的限制APP訪問終端數(shù)據(jù)和終端資源應(yīng)經(jīng)過終端操作系統(tǒng)用戶明確的許可：a)未得到許可前不應(yīng)訪問終端數(shù)據(jù)和終端資源；b)未得到許可前不應(yīng)修改和刪除終端數(shù)據(jù),不應(yīng)修改終端資源的配置。數(shù)據(jù)安全數(shù)據(jù)存儲(chǔ)安全APP不應(yīng)以明文形式存儲(chǔ)用戶敏感數(shù)據(jù),以防止數(shù)據(jù)被未授權(quán)獲?。篴)APP應(yīng)保證內(nèi)存中不存在完整的銀行卡密碼和網(wǎng)絡(luò)支付交易密碼明文；b)APP的臨時(shí)文件中不應(yīng)出現(xiàn)支付敏感信息，臨時(shí)文件包括但不限于Cookies、本地臨時(shí)文件等；c)APP應(yīng)禁止在身份認(rèn)證結(jié)束后存儲(chǔ)支付敏感信息，防止支付敏感信息泄露；d)APP運(yùn)行日志中不應(yīng)打印支付敏感信息，不應(yīng)打印完整的敏感數(shù)據(jù)原文。數(shù)據(jù)傳輸安全APP不應(yīng)以明文形式通過網(wǎng)絡(luò)傳輸用戶敏感數(shù)據(jù),以防止數(shù)據(jù)被未授權(quán)獲取數(shù)據(jù)刪除APP若具備數(shù)據(jù)刪除功能,在刪除數(shù)據(jù)前應(yīng)明確提示用戶,并由用戶再次確認(rèn)是否刪除數(shù)據(jù)運(yùn)行安全實(shí)現(xiàn)安全a)應(yīng)具備安全機(jī)制防止程序被反編譯、反調(diào)試；b)應(yīng)不存在已公布的高危風(fēng)險(xiǎn)漏洞?？构裟芰)APP應(yīng)具備基本抗攻擊能力，能抵御靜態(tài)分析、動(dòng)態(tài)調(diào)試等操作；b)APP安裝、啟動(dòng)、更新時(shí)應(yīng)對(duì)自身的完整性和真實(shí)性進(jìn)行校驗(yàn)，具備抵御篡改、替換或劫持的能力。接口安全a)APP應(yīng)對(duì)軟件接口進(jìn)行保護(hù)，防止其他應(yīng)用對(duì)客戶端APP接口進(jìn)行非授權(quán)調(diào)用；b)APP應(yīng)對(duì)傳入的URI進(jìn)行校驗(yàn)與安全處理，防止APP運(yùn)行異?；虿僮鳟惓＃籧)當(dāng)APP需要與TEE、SE結(jié)合使用時(shí)，應(yīng)避免使用存在已知漏洞的接口。5.4兼容性要求檢測APP在不同的硬件平臺(tái)、不同的操作系統(tǒng)平臺(tái)上的適配兼容情況。APP兼容性要求如下所述：a)選取市場上主流終端，安卓和鴻蒙終端總計(jì)不少于300臺(tái)，iOS終端不少于50臺(tái)，覆蓋至少上市近一/三/五年不同品牌終端設(shè)備；b)在終端上安裝、卸載、啟動(dòng)，并執(zhí)行相同的業(yè)務(wù)流程；c)測試時(shí)長不少于10分鐘。APP兼容性具體要求見表4。表4APP兼容性要求技術(shù)項(xiàng)具體指標(biāo)安裝卸載兼容性APP安裝、卸載過程中不應(yīng)有兼容問題界面兼容性APP執(zhí)行過程中不應(yīng)有頁面UI問題功能兼容性APP執(zhí)行過程中不應(yīng)有閃退、卡死和其他執(zhí)行失敗問題5.5性能效率要求通過監(jiān)控APP的性能數(shù)據(jù)和業(yè)務(wù)指標(biāo)，評(píng)估APP的資源利用情況。APP資源利用率要求如下所述：a)選取市場上主流終端，安卓和鴻蒙終端總計(jì)不少于300臺(tái)，iOS終端不少于50臺(tái)，覆蓋至少上市近一/三/五年不同品牌終端設(shè)備；b)在終端上執(zhí)行相同業(yè)務(wù)流程，獲取性能數(shù)據(jù)；c)測試時(shí)長不少于10分鐘。APP資源利用率具體要求見表5。表5資源利用率要求技術(shù)項(xiàng)技術(shù)子項(xiàng)具體指標(biāo)資源利用率冷啟動(dòng)響應(yīng)時(shí)間APP的冷啟動(dòng)響應(yīng)時(shí)間不宜超過3sFPSAPP頁面?zhèn)鬏斶^程中，如無特殊要求，幀率不宜低于20FPSCPU占用用戶在使用APP過程中，不應(yīng)引發(fā)智能移動(dòng)終端的CPU出現(xiàn)持續(xù)長時(shí)間超過70%占用的情況內(nèi)存占用用戶在使用APP過程中，不應(yīng)引發(fā)智能移動(dòng)終端內(nèi)存出現(xiàn)持續(xù)長時(shí)間超過70%占用的情況流量耗用在滿足業(yè)務(wù)場景需要的前提下，APP應(yīng)盡可能減少網(wǎng)絡(luò)資源消耗，在未告知用戶的情況下，不應(yīng)有與應(yīng)用無關(guān)的流量消耗通過監(jiān)控APP重要頁面的性能數(shù)據(jù)和響應(yīng)時(shí)間，評(píng)估APP的時(shí)間特性。APP響應(yīng)時(shí)間要求如下所述：a)選取上市近三年的終端，安卓和鴻蒙終端不少于50臺(tái)，iOS終端不少于10臺(tái)；b)在終端上執(zhí)行相同業(yè)務(wù)流程，獲取頁面響應(yīng)時(shí)間；c)測試輪次不少于12輪。APP響應(yīng)時(shí)間具體要求見表6。表6響應(yīng)時(shí)間要求技術(shù)項(xiàng)技術(shù)子項(xiàng)具體指標(biāo)響應(yīng)時(shí)間重要頁面響應(yīng)時(shí)長如無特殊要求，頁面響應(yīng)時(shí)長應(yīng)小于5s注：重要頁面應(yīng)包括但不限于如下所述功能：登錄、首頁、搜索、我的、商城（積分商城）、生活（優(yōu)惠）、查賬單、查額度、查積分、查交易、權(quán)益、優(yōu)惠券、還款。5.6創(chuàng)新性要求改進(jìn)或創(chuàng)造新的功能，包括但不限于各種方法、元素、路徑、活動(dòng)等，并能獲得一定有益效果。APP創(chuàng)新性要求見表7。表7響應(yīng)時(shí)間要求技術(shù)項(xiàng)具體指標(biāo)適老化專項(xiàng)具備適老化改造功能無障礙專項(xiàng)具備無障礙改造功能創(chuàng)新建設(shè)具備體驗(yàn)創(chuàng)新功能具備產(chǎn)品創(chuàng)新功能具備營銷創(chuàng)新功能注：體驗(yàn)創(chuàng)新：應(yīng)用在用戶體驗(yàn)方面進(jìn)行的創(chuàng)新；產(chǎn)品創(chuàng)新：應(yīng)用在產(chǎn)品功能方面進(jìn)行的創(chuàng)新；營銷創(chuàng)新：應(yīng)用在增加用戶消費(fèi)場景或者粘度等方面進(jìn)行的創(chuàng)新。測試方法6.1功能性測試功能性測試方法如下：a）測試目的：驗(yàn)證5.1功能性要求b）測試條件：安裝APPc）測試步驟：1) 運(yùn)行APP；2) 執(zhí)行功能性要求業(yè)務(wù)流程；3) 檢查業(yè)務(wù)功能是否具備；4) 檢查業(yè)務(wù)功能是否正常有效，有無缺陷；5) 按照5.1功能性要求內(nèi)容，重復(fù)執(zhí)行步驟2)到步驟4)，記錄測試結(jié)果。d）預(yù)期結(jié)果：1）評(píng)分標(biāo)準(zhǔn)若發(fā)現(xiàn)功能缺少，扣1分；若發(fā)現(xiàn)缺陷等級(jí)“致命”問題，一次扣1分；若發(fā)現(xiàn)缺陷等級(jí)“嚴(yán)重”問題，一次扣0.5分；若發(fā)現(xiàn)缺陷等級(jí)“一般”問題，一次扣0.25分；若發(fā)現(xiàn)缺陷等級(jí)“提示”問題，一次扣0.1分。此項(xiàng)滿分合計(jì)35分。2）缺陷判定標(biāo)準(zhǔn)：缺陷等級(jí)“致命”：核心功能未實(shí)現(xiàn)、無法正常運(yùn)行；缺陷等級(jí)“嚴(yán)重”：主功能、效果未達(dá)到預(yù)期結(jié)果、基本功能運(yùn)行時(shí)出現(xiàn)異常；缺陷等級(jí)“一般”：主要功能可以正常運(yùn)行，但仍然影響用戶其他使用的問題；缺陷等級(jí)“提示”：功能上滿足用戶需求，但是用戶體驗(yàn)不好的問題。6.2易用性測試易操作性測試方法如下：a）測試目的：驗(yàn)證5.2易用性要求——易操作性b）測試條件：安裝APPc）測試步驟：1) 按照易用性要求中的易操作性指標(biāo)編寫測試用例；2) 運(yùn)行APP，執(zhí)行測試用例；3) 檢查功能操作是否便捷，交互是否合理；4) 常用操作便捷度及交互合理度分別選取4個(gè)常用功能，重復(fù)執(zhí)行步驟2)到步驟3)，記錄測試結(jié)果。d）預(yù)期結(jié)果：1）評(píng)分標(biāo)準(zhǔn)分1-5等級(jí)進(jìn)行評(píng)分，單條測試用例滿分0.5分，此項(xiàng)滿分合計(jì)4分。2）等級(jí)判定標(biāo)準(zhǔn)：等級(jí)5（優(yōu)秀）：超過易操作性90%測試案例，得0.5分；等級(jí)4（良好）：超過易操作性80%測試案例，得0.4分；等級(jí)3（中等）：超過易操作性70%測試用案例，得0.3分；等級(jí)2（及格）：超過易操作性60%測試案例，得0.2分；等級(jí)1（不及格）：超過易操作性50%測試案例，得0.1分。用戶差錯(cuò)防御性測試方法如下：a）測試目的：驗(yàn)證5.2易用性要求——用戶差錯(cuò)防御性b）測試條件：安裝APPc）測試步驟：1) 運(yùn)行APP；2) 執(zhí)行用戶差錯(cuò)防御性業(yè)務(wù)流程；3) 檢查功能刪除操作是否有提示；4) 檢查功能受阻、出錯(cuò)后，是否有明確消息提示/幫助；5) 選取4個(gè)常用功能，重復(fù)執(zhí)行步驟2)到步驟4)，記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：單條測試用例有對(duì)應(yīng)功能，得0.5分;單條測試用例沒有對(duì)應(yīng)功能，得0分。此項(xiàng)滿分合計(jì)2分。用戶界面舒適性測試方法如下：a）測試目的：驗(yàn)證5.2易用性要求——用戶界面舒適性b）測試條件：安裝APPc）測試步驟：1) 運(yùn)行APP；2) 檢查全局配色方案是否一致；3) 檢查全局配圖風(fēng)格是否一致；4) 檢查同功能操作方式是否標(biāo)準(zhǔn)化；5) 檢查產(chǎn)品文案描述是否一致；6) 檢查頁面布局是否清晰；7) 檢查全局組件規(guī)范使用是否合理；8) 檢查圖標(biāo)風(fēng)格層級(jí)區(qū)分是否清晰；9) 檢查全局字體層級(jí)區(qū)分是否清晰；10) 選取10個(gè)頁面，重復(fù)執(zhí)行步驟2)到步驟9)，記錄測試結(jié)果。d）預(yù)期結(jié)果：1）評(píng)分標(biāo)準(zhǔn)：分1-5等級(jí)進(jìn)行評(píng)分，單條測試用例滿分0.5分，此項(xiàng)滿分合計(jì)5分。2）等級(jí)判定標(biāo)準(zhǔn)：等級(jí)5（優(yōu)秀）：超過90%的頁面配色、配圖、文案一致；頁面布局、層級(jí)方面清晰合理，得0.5分；等級(jí)4（良好）：超過80%的頁面配色、配圖、文案一致；頁面布局、層級(jí)方面清晰合理，得0.4分；等級(jí)3（中等）:超過70%的頁面配色、配圖、文案一致；頁面布局、層級(jí)方面清晰合理，得0.3分；等級(jí)2（及格）：超過60%的頁面配色、配圖、文案一致；頁面布局、層級(jí)方面清晰合理，得0.2分；等級(jí)1（不及格）：超過50%的頁面配色、配圖、文案一致；頁面布局、層級(jí)方面清晰合理，得0.1分。用戶體驗(yàn)互動(dòng)性測試方法如下：a）測試目的：驗(yàn)證5.2易用性要求——用戶體驗(yàn)互動(dòng)性b）測試條件：安裝APPc）測試步驟：1) 參照易用性要求中的用戶體驗(yàn)互動(dòng)性指標(biāo)編寫測試用例，其中步驟3）至步驟6）分別設(shè)計(jì)3條測試用例，步驟7）設(shè)計(jì)2條測試用例；2) 運(yùn)行APP，執(zhí)行測試用例；3) 檢查搜索互動(dòng)（搜索入口、搜索界面、搜索體驗(yàn)）是否有互通體驗(yàn)問題；4) 檢查客服互動(dòng)（客服入口、客服界面、客服體驗(yàn)）是否有互通體驗(yàn)問題；5) 檢查消息互動(dòng)（通知、提醒、設(shè)置）是否有互通體驗(yàn)問題；6) 檢查便捷互動(dòng)（語音搜索、語音互動(dòng)、視頻互動(dòng)）是否有互通體驗(yàn)問題；7) 檢查智能互動(dòng)（多形態(tài)登錄方式、智能推薦）是否有互通體驗(yàn)問題；8) 記錄測試結(jié)果。d）預(yù)期結(jié)果：1）評(píng)分標(biāo)準(zhǔn)分1-5等級(jí)進(jìn)行評(píng)分，單條測試用例滿分0.5分，此項(xiàng)滿分合計(jì)7分。2）等級(jí)判定標(biāo)準(zhǔn)：等級(jí)5（優(yōu)秀）：執(zhí)行通過超過90%的用戶體驗(yàn)互動(dòng)性測試用例，得0.5分；等級(jí)4（良好）：執(zhí)行通過超過80%的用戶體驗(yàn)互動(dòng)性測試用例，得0.4分；等級(jí)3（中等）:執(zhí)行通過超過70%的用戶體驗(yàn)互動(dòng)性測試用例，得0.3分；等級(jí)2（及格）：執(zhí)行通過超過60%的用戶體驗(yàn)互動(dòng)性測試用例，得0.2分；等級(jí)1（不及格）：執(zhí)行通過超過50%的用戶體驗(yàn)互動(dòng)性測試用例，得0.1分。系統(tǒng)友好性測試方法如下：a）測試目的：驗(yàn)證5.2易用性要求——系統(tǒng)友好性b）測試條件：安裝APPc）測試步驟：1) 運(yùn)行APP；2) 執(zhí)行幫助系統(tǒng)業(yè)務(wù)流程；3) 檢查是否有產(chǎn)品操作指引功能；4) 檢查是否有意見反饋功能；5) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：單條測試用例有對(duì)應(yīng)功能，得1分;單條測試用例沒有對(duì)應(yīng)功能，得0分。此項(xiàng)滿分合計(jì)2分。6.3安全性測試身份認(rèn)證測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——身份認(rèn)證b）測試條件：安裝APPc）測試步驟：1) 檢查在用戶訪問應(yīng)用業(yè)務(wù)前，APP是否對(duì)其身份進(jìn)行鑒別；2) 連續(xù)嘗試登錄失敗時(shí)，,檢查APP是否具備鑒別失敗處理措施(如鎖定賬號(hào)等)；3) 用戶登錄后長時(shí)間不進(jìn)行任何操作；4) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：只有身份認(rèn)證成功的應(yīng)用用戶才能使用APP；具備鑒別失敗處理措施；具備登錄超時(shí)后的鎖定或注銷功能。上述預(yù)期結(jié)果每滿足一條得0.5分。口令安全機(jī)制測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——口令安全機(jī)制b）測試條件：安裝APPc）測試步驟：1) 在APP中輸入口令，檢查口令是否以明文形式顯示或存儲(chǔ)；2) 檢查APP是否默認(rèn)保存用戶上次的賬號(hào)及口令信息；3) 檢查APP是否具備口令強(qiáng)度檢查機(jī)制(如口令長度、復(fù)雜度要求等)；4) 檢測APP是否具備口令時(shí)效性檢查機(jī)制(如主動(dòng)提示用戶定期修改口令等)；5) 檢測APP在修改或找回口令時(shí)，是否具備驗(yàn)證機(jī)制(如驗(yàn)證手機(jī)號(hào)碼等)；6) 檢查APP是否具備防鍵盤劫持機(jī)制；7) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 口令在使用、存儲(chǔ)過程中不出現(xiàn)明文；2) 未保存用戶上次的賬號(hào)及口令信息；3) 具備口令強(qiáng)度檢查機(jī)制,初始化及修改用戶口令時(shí),能夠根據(jù)策略檢查輸入口令的長度和復(fù)雜度，若輸入的口令不符合口令強(qiáng)度要求,能夠提示,并要求重新設(shè)置有效口令；4) 具備口令時(shí)效性檢查機(jī)制,能夠主動(dòng)提示用戶修改口令；5) 修改或找回口令時(shí),具備驗(yàn)證機(jī)制,以防止口令的被非授權(quán)獲取或篡改；6) 口令在使用過程中具備防鍵盤劫持機(jī)制,無法劫持獲取用戶輸入的口令。上述預(yù)期結(jié)果每滿足一條得0.5分。驗(yàn)證碼安全機(jī)制測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——驗(yàn)證碼安全機(jī)制b）測試條件：安裝APPc）測試步驟：1) 檢查APP驗(yàn)證碼是否在服務(wù)端生成而不是在客戶端生產(chǎn)；2) 檢查APP圖形驗(yàn)證碼是否具有時(shí)間限制，且在超出限制時(shí)間范圍外不再有效；檢查圖形驗(yàn)證碼使用一次返回后再次輸入相同的驗(yàn)證碼不再有效；3) 檢查APP圖形驗(yàn)證碼是否可以被機(jī)器識(shí)別出明文；4) 檢查APP手機(jī)短信驗(yàn)證碼是否具備限制應(yīng)用用戶短信驗(yàn)證碼的多重發(fā)送機(jī)制；5) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 驗(yàn)證碼在服務(wù)端生成；2) 圖形驗(yàn)證碼在使用過程中具備時(shí)間限制并且只能使用一次；3) 圖片驗(yàn)證碼在使用過程中具備一定的抗機(jī)器識(shí)別能力；4) APP手機(jī)短信驗(yàn)證碼具有防重放攻擊機(jī)制。上述預(yù)期結(jié)果每滿足一條得0.5分?；谟脩舻目刂茰y試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——基于用戶的控制b）測試條件：安裝APPc）測試步驟：1) 用戶成功登錄后,分別訪問其授權(quán)和非授權(quán)的業(yè)務(wù)；2) 使用同一用戶賬號(hào)在其他終端上同時(shí)登錄；3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 應(yīng)用用戶僅能訪問授權(quán)業(yè)務(wù)；2) 對(duì)用戶賬號(hào)的多重并發(fā)會(huì)話進(jìn)行限制。上述預(yù)期結(jié)果每滿足一條得0.5分。對(duì)APP的限制測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——對(duì)APP的限制b）測試條件：安裝APPc）測試步驟：1) 檢查APP訪問、修改和刪除終端數(shù)據(jù)前是否明確經(jīng)過終端操作系統(tǒng)用戶的許可；2) 檢查APP訪問、修改終端資源及其配置是否明確經(jīng)過終端操作系統(tǒng)用戶的許可。3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 未經(jīng)過終端操作系統(tǒng)用戶明確許可前，APP不能訪問、修改和刪除終端數(shù)據(jù)；2) 未經(jīng)過終端操作系統(tǒng)用戶明確許可前，APP不能訪問、修改終端資源及其配置。上述預(yù)期結(jié)果每滿足一條得0.5分。數(shù)據(jù)存儲(chǔ)安全測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——數(shù)據(jù)存儲(chǔ)安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP內(nèi)存中是否存在完整的銀行卡密碼和網(wǎng)絡(luò)支付交易密碼明文；2) 檢查是否存在臨時(shí)文件中保存支付敏感信息的現(xiàn)象；3) 檢查APP在身份驗(yàn)證登出后，輸入的支付敏感信息是否被記錄在系統(tǒng)日志中；4) 檢查APP運(yùn)行日志是否涉及支付敏感信息和敏感數(shù)據(jù)原文；5) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) APP未在內(nèi)存中明文存儲(chǔ)完整的銀行卡密碼和網(wǎng)絡(luò)支付交易密碼;2) 不存在臨時(shí)文件中保存支付敏感信息的現(xiàn)象；3) 支付敏感信息在身份驗(yàn)證結(jié)束后不會(huì)被記錄在系統(tǒng)日志中；4) APP運(yùn)行日志中未涉及支付敏感信息和敏感數(shù)據(jù)原文。上述預(yù)期結(jié)果每滿足一條得0.5分。數(shù)據(jù)傳輸安全測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——數(shù)據(jù)傳輸安全b）測試條件：安裝APPc）測試步驟：1) 截取數(shù)據(jù)包,檢查APP是否以明文形式通過網(wǎng)絡(luò)傳輸用戶敏感數(shù)據(jù)；2) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：不以明文形式通過網(wǎng)絡(luò)傳輸用戶敏感數(shù)據(jù)。上述預(yù)期結(jié)果每滿足一條得0.5分。數(shù)據(jù)刪除安全測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——數(shù)據(jù)刪除b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否提供數(shù)據(jù)刪除的功能；2) 檢查在數(shù)據(jù)刪除前，APP是否明確提示用戶，并由用戶再次確認(rèn)是否刪除數(shù)據(jù)。3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 提供數(shù)據(jù)刪除功能；2) 在數(shù)據(jù)刪除之前，APP能夠明確通知用戶,用戶能夠進(jìn)一步確認(rèn)或取消數(shù)據(jù)刪除操作；上述預(yù)期結(jié)果每滿足一條得0.5分。實(shí)現(xiàn)安全測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——實(shí)現(xiàn)安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機(jī)制防止程序被反編譯、反調(diào)試；2) 檢查測試APP是否存在已公布的高危風(fēng)險(xiǎn)漏洞；3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 提供有效的機(jī)制（如混淆技術(shù)）防止程序被反編譯、反調(diào)試；2) 不存在已公布的高危風(fēng)險(xiǎn)漏洞。上述預(yù)期結(jié)果每滿足一條得0.5分?？构裟芰y試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——抗攻擊能力b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機(jī)制防止程序代碼被靜態(tài)分析和動(dòng)態(tài)調(diào)試；2) 檢查APP是否具備安全機(jī)制防止程序代碼被篡改、替換或劫持；3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 提供有效的機(jī)制（如通過簡單的模糊技術(shù)、代碼混淆、檢測調(diào)試器）進(jìn)行安全保護(hù)，防止程序代碼被靜態(tài)分析和動(dòng)態(tài)調(diào)試；2) 提供有效的機(jī)制（如通過安全加固、資源加密、代碼混淆、虛擬執(zhí)行）防止程序代碼被篡改、替換或劫持。上述預(yù)期結(jié)果每滿足一條得0.5分。接口安全測試方法如下：a）測試目的：驗(yàn)證5.3安全性要求——接口安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機(jī)制防止其他應(yīng)用對(duì)客戶端APP接口進(jìn)行非授權(quán)調(diào)用；2) 檢查測試APP是否使用已公布漏洞的接口；3) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 提供有效的機(jī)制（如通過Baic認(rèn)證、動(dòng)態(tài)簽名）進(jìn)行安全保護(hù)，防止其他應(yīng)用對(duì)客戶端APP接口進(jìn)行非授權(quán)調(diào)用；2) 不使用已公布漏洞的接口。上述預(yù)期結(jié)果每滿足一條得0.5分。6.4兼容性測試兼容性測試方法如下：a）測試目的：驗(yàn)證5.4兼容性要求b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號(hào)強(qiáng)度大于-50dbm；3) 所有終端測試環(huán)境一致。c）測試步驟：1) 參照兼容性測試要求指標(biāo)編寫兼容性測試用例；2) 運(yùn)行APP；3) 在所有終端上執(zhí)行兼容性業(yè)務(wù)流程；4) 檢查每臺(tái)終端是否有安裝和卸載問題；5) 檢查每臺(tái)終端執(zhí)行過程中是否有頁面UI問題；6) 檢查每臺(tái)終端執(zhí)行過程中是否有閃退、卡死和其他執(zhí)行失敗問題；7) 記錄測試結(jié)果。d）預(yù)期結(jié)果：1）評(píng)分標(biāo)準(zhǔn)：若發(fā)現(xiàn)缺陷等級(jí)“致命”問題，一次扣1分;若發(fā)現(xiàn)缺陷等級(jí)“嚴(yán)重”問題，一次扣0.5分;若發(fā)現(xiàn)缺陷等級(jí)“一般”問題，一次扣0.25分;若發(fā)現(xiàn)缺陷等級(jí)“提示”問題，一次扣0.1分。此項(xiàng)滿分合計(jì)10分。2）缺陷判定標(biāo)準(zhǔn)：缺陷等級(jí)“致命”：程序主要功能流程阻塞，同時(shí)問題機(jī)型覆蓋的數(shù)量超過本次測試的20%（兩個(gè)條件全部滿足）；缺陷等級(jí)“嚴(yán)重”：程序主要功能流程阻塞，同時(shí)問題機(jī)型覆蓋的數(shù)量超過本次測試的20%（滿足一個(gè)條件）；缺陷等級(jí)“一般”：即不影響程序主要功能測試流程，問題覆蓋的機(jī)型數(shù)量未達(dá)到本次測試的20%（兩個(gè)條件都不滿足）；缺陷等級(jí)“提示”：不影響程序功能流程的UI類，體驗(yàn)類問題（不管是否滿足其他評(píng)級(jí)條件）。6.5性能效率測試資源利用率測試方法如下：a）測試目的：驗(yàn)證5.5性能效率要求——資源利用率b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號(hào)強(qiáng)度大于-50dbm；3) 所有終端測試環(huán)境一致。c）測試步驟：1) 參照性能效率要求中的資源利用率指標(biāo)編寫測試用例；2) 運(yùn)行APP；3) 在所有終端上執(zhí)行相同業(yè)務(wù)流程；4) 執(zhí)行過程中抓取冷啟動(dòng)、CPU、內(nèi)存、流量和FPS性能數(shù)據(jù)；5) 計(jì)算出平均性能數(shù)據(jù)作為本次測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：分別檢查冷啟動(dòng)、CPU、內(nèi)存、流量和FPS性能數(shù)據(jù)，若高于行業(yè)平均性能數(shù)據(jù)，得2分，若低于行業(yè)平均性能數(shù)據(jù)，得1分，此項(xiàng)滿分合計(jì)10分。響應(yīng)時(shí)間測試方法如下：a）測試目的：驗(yàn)證5.5性能效率要求——響應(yīng)時(shí)間b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號(hào)強(qiáng)度大于-50dbm；3) 所有終端測試環(huán)境一致。c）測試步驟：1) 參照性能效率要求中的響應(yīng)時(shí)間指標(biāo)編寫測試用例；2) 運(yùn)行APP；3) 在所有終端上執(zhí)行相同業(yè)務(wù)流程，共計(jì)執(zhí)行12輪次；4) 執(zhí)行過程中抓取重要頁面響應(yīng)時(shí)間；5) 選取5個(gè)重要頁面，計(jì)算出頁面平均響應(yīng)時(shí)間作為本次測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 若頁面響應(yīng)時(shí)間<=2秒，得1分；2) 若頁面響應(yīng)時(shí)間在2—5秒間，得0.5分；3) 若頁面響應(yīng)時(shí)間>=5秒，得0分。此項(xiàng)滿分合計(jì)5分。6.6創(chuàng)新性測試創(chuàng)新性測試方法如下：a）測試目的：驗(yàn)證5.6創(chuàng)新性要求b）測試條件：安裝APPc）測試步驟：1) 運(yùn)行APP；2) 執(zhí)行創(chuàng)新性業(yè)務(wù)流程；3) 檢查是否具備適老化、無障礙改造相關(guān)功能；4) 檢查是否具備體驗(yàn)創(chuàng)新、產(chǎn)品創(chuàng)新、營銷創(chuàng)新相關(guān)功能；5) 記錄測試結(jié)果。d）評(píng)分標(biāo)準(zhǔn)：1) 若有適老化改造，得1分，沒有則得0分；2) 若有無障礙改造，得1分，沒有則得0分；3) 列舉體驗(yàn)創(chuàng)新項(xiàng)，得1分，沒有則得0分；4) 列舉產(chǎn)品創(chuàng)新項(xiàng)，得1分，沒有則得0分；5) 列舉營銷創(chuàng)新項(xiàng)，得1分，沒有則得0分。此項(xiàng)滿分合計(jì)5分。評(píng)價(jià)方法7.1評(píng)分規(guī)則本文件指標(biāo)集分為兩層層級(jí)結(jié)構(gòu)，分別為測試項(xiàng)和測試子項(xiàng)，通過測試得分相加得到最終分值，其中測試項(xiàng)計(jì)算方式如公式1所示，測試子項(xiàng)計(jì)算方式如公式2所示。R=R項(xiàng)1+R項(xiàng)2…R項(xiàng)n……（1）R項(xiàng)=R子項(xiàng)1+R子項(xiàng)2…R子項(xiàng)n……（2）式中：R——結(jié)果。7.2扣分規(guī)則扣分指標(biāo)事項(xiàng)，扣減分值上限見表8。表8測試項(xiàng)目及對(duì)應(yīng)分值上限測試項(xiàng)測試子項(xiàng)測試指標(biāo)分值上限（分）功能性注冊和登錄具備注冊/登錄/安全退出/賬戶注銷功能，且不應(yīng)有功能缺陷1具備聯(lián)合賬戶注冊/登錄/賬戶解綁功能，且不應(yīng)有功能缺陷1卡管理和賬戶管理具備申卡/綁卡/卡激活/卡掛失/卡續(xù)簽/換卡面/賬戶管理/還