2023移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測規(guī)范

II移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測規(guī)范目 次前言 II112范引文件 13語定義 14略語 15測型 16測標 3功能 3視覺 3交互 4性能 4系統(tǒng) 5功耗 5網(wǎng)絡 57測法 6概述 6權設定 6評計算 6等評價 7參考獻 8PAGEPAGE1移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測規(guī)范范圍本文件規(guī)定了移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測的評測模型、評測指標、評測方法。本文件適用于指導移動互聯(lián)網(wǎng)應用企業(yè)和軟件評測機構對一般移動互聯(lián)網(wǎng)應用開展基于核心產(chǎn)品（GB/T11457信息技術軟件工程術語GB/T11457界定的術語和定義適用于本文件?？s略語下列縮略語適用于本文件。App：應用（Application）CPU（CentralProcessingUnit）OS（OperationSystem）PING（PacketInternetGrope）UI（UserInterface）WiFi：無線保真（WirelessFidelity）4G：第四代移動通信技術（4thGenerationMobileCommunicationTechnology）5G：第五代移動通信技術（5thGenerationMobileCommunicationTechnology）431圖1移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測模型722441——評估屬性：移動互聯(lián)網(wǎng)多維度體驗質(zhì)量在某一方面的特征；——評測指標：移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量反映在該方面特征表現(xiàn)好壞的具體評測項目，對所有評估屬性的綜合考察得到軟件的評測結果。表1移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測體系序號一級評估屬性二級評估屬性定義描述1功能有效性功能是否能夠達到預期的結果，正?？捎脺蚀_性界面的操作提示信息準確，用戶是否理解正確成功率多輪次功能測試中，成功次數(shù)與總測試次數(shù)的比值2視覺一致性色彩、字體、圖標、彈窗、按鈕、表單等元素等設計是否保持風格一致清晰度界面圖標、圖片、文字等元素是否顯示清晰美觀度界面風格、色彩、圖標、配圖是否美觀3交互易用性功能操作引導是否清晰、圖標寓意是否準確、提示語是否簡潔直觀，容易理解，功能操作不猶豫容錯性操作錯誤時，系統(tǒng)是否能夠通過提示和引導快速幫助用戶返回或解決問題效率目標任務從開始到結束的操作時間與點擊次數(shù)4性能啟動時延從桌面點擊APP圖標到APP界面完全顯示所需的時間加載時延指定功能元素觸發(fā)后，到預期結果完整顯示的時間卡頓次數(shù)每分鐘畫面發(fā)生卡頓的次數(shù)幀率每秒顯示的畫面幀數(shù)量5系統(tǒng)兼容性在多種不同型號的終端上是否能夠顯示正常、功能使用正常穩(wěn)定性長時間運行時，出現(xiàn)死機的頻率6功耗CPU占用率程序長時間運行過程中，是否會出現(xiàn)系統(tǒng)故障或問題內(nèi)存使用量運行過程中，對內(nèi)存的消耗統(tǒng)計表1移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測體系（續(xù)）序號一級評估屬性二級評估屬性定義描述6功耗流量消耗移動網(wǎng)絡環(huán)境下，運行時對流量的消耗統(tǒng)計電量消耗運行過程中，對電量的消耗統(tǒng)計7網(wǎng)絡PING時延測試服務器指定區(qū)域訪問服務器PING時延抖動測試服務器指定區(qū)域訪問服務器抖動丟包率測試服務器指定區(qū)域訪問服務器丟包率功能有效性有效性的等級評測分為以下2個等級：——未通過：測試發(fā)現(xiàn)問題，且該問題會導致功能無法正常使用，或達不到預期結果；——通過：測試未發(fā)現(xiàn)問題，功能使用正?；驕y試發(fā)現(xiàn)問題但不影響功能正常使用，可針對記錄問題。準確性界面的操作提示信息顯示以及用戶對信息提醒理解的準確程度。成功率成功率的評測分為以下2個等級：——成功：在全部自動化測試任務中，運行正常，未發(fā)現(xiàn)問題；——失?。涸谌孔詣踊瘻y試任務中，出現(xiàn)一次及以上運行異常，導致任務終止。視覺一致性一致性的評測分為以下3個等級：——優(yōu)：色彩、字體、圖標、彈窗、按鈕、表單等界面元素保持設計風格一致，未發(fā)現(xiàn)問題，或發(fā)現(xiàn)極少問題；——中：色彩、字體、圖標、彈窗、按鈕、表單等界面元素設計風格基本一致，但有部分問題，不影響整體效果；——差：色彩、字體、圖標、彈窗、按鈕、表單等界面元素設計風格有明顯一致性問題，整體風格不一致。清晰度清晰度的評測分為以下3個等級：——優(yōu)：界面圖標、圖片、文字等元素顯示清晰，未發(fā)現(xiàn)問題，或發(fā)現(xiàn)極少問題；——中：界面圖標、圖片、文字等元素大部分顯示清晰，但有部分問題，不影響正常瀏覽；——差：界面圖標、圖片、文字等元素明顯不清晰，問題較多，影響正常瀏覽。美觀度美觀度的評測分為以下3個等級：——優(yōu)：界面風格、色彩、圖標、配圖比較美觀，視覺舒適，設計有特色，未發(fā)現(xiàn)問題，或發(fā)現(xiàn)極少問題；——中：界面風格、色彩、圖標、配圖比較普通，設計沒有特色，有部分問題；——差：界面風格、色彩、圖標、配圖明顯不美觀，設計粗糙、視覺雜亂，問題較多。交互易用性（——易使用性：功能及界面交互操作簡單，操作引導清晰，新用戶無需特殊學習即可使用；——易記憶性：功能和界面交互路徑清晰，便于記憶，用戶使用過后可再次重復使用，并快速找到界面入口。容錯性容錯性的評測應包括以下方面：——節(jié)點容錯性：在部分節(jié)點故障后仍能對外提供服務的能力。效率效率的評測應包括以下方面：——任務完成時間：目標任務從開始到結束的整體過程操作時間；——點擊次數(shù)：目標任務從開始到結束的整體過程需要用戶點擊的次數(shù)。性能啟動時延的評測為從點擊應用圖標到應用主界面完全顯示所需的時間，通過采集多輪次自動化測試結果的數(shù)據(jù)并計算平均值表示，單位為s?？煞譃橐韵?個等級：——優(yōu)：＜2s；——中：2s～5s；——差：＞5s。ms——優(yōu)：＜190ms；——中：190ms～250ms；——差：＞250ms?？D次數(shù)的評測應通過固定時間內(nèi)畫面發(fā)生停頓、延遲的次數(shù)來表征。其中：——一次卡頓：顯示幀時間＞前三幀平均耗時2倍且顯示幀時間＞兩幀電影幀耗時；——一次嚴重卡頓：顯示幀時間＞前三幀平均耗時2倍且顯示幀時間＞三幀電影幀耗時。幀率系統(tǒng)兼容性兼容性的評測應包括以下方面：——終端：應用在不同終端設備中運行的兼容性，如UI適配、功能適配等；——操作系統(tǒng)：應用在不同操作系統(tǒng)或不同版本的操作系統(tǒng)中運行的兼容性，包括Android、iOS、HarmonyOS等；——網(wǎng)絡環(huán)境：應用在不同網(wǎng)絡環(huán)境中運行的兼容性，包括4G/5G、WiFi以及弱網(wǎng)環(huán)境等。穩(wěn)定性——系統(tǒng)穩(wěn)定運行時長：應用從開始運行到首次出現(xiàn)死機或崩潰的時間；——穩(wěn)定性通過率：在指定時長內(nèi)，多次運行穩(wěn)定性任務，計算任務運行通過的次數(shù)；——穩(wěn)定性失敗次數(shù)：在指定時長內(nèi)，由于被測系統(tǒng)問題導致的任務中斷次數(shù)。功耗CPUCPU占用率以穩(wěn)定運行時CPU的占用情況表示。內(nèi)存使用量的評測以穩(wěn)定運行時內(nèi)存的占用情況表示。流量消耗的評測穩(wěn)定運行時網(wǎng)絡帶寬的占用以及后臺應用流量使用情況表示。電量消耗的評測在移動終端穩(wěn)定運行時的耗電情況表示。網(wǎng)絡PINGPING抖動抖動以最大延遲與最小延遲的時間差表示，抖動時間小，網(wǎng)絡表征為穩(wěn)定。丟包率丟包率以測試中所丟失數(shù)據(jù)包數(shù)量占所發(fā)送數(shù)據(jù)組的比率表示。概述權重設定一級評估屬性的權重反映了使用機構對移動互聯(lián)網(wǎng)應用多維度體驗質(zhì)量評測的關注重點，使用機具體評測指標的權重取決于指標相對于相同一級評估屬性下其他指標的重要性和可實施性，即指 ??=??×??········································································（1）式中：X—E—F—評分計算??=1 ??=（??=1

????×????）/??····························································（2）式中：Y——一級評估屬性的評分值；Pi——該一級評估屬性下的第i個評測指標的評分值；Qi——該一級評估屬性下的第i個評測指標的的權重；n——該一級評估屬性下的評測指標數(shù)量。得出，即： ??=（

????×????）/??·······················································