北大測(cè)試全套課件和教案_軟件測(cè)試依據(jù)和規(guī)范(課件15)+3次上機(jī)實(shí)訓(xùn)

1、全程軟件測(cè)試全程軟件測(cè)試 - 軟件測(cè)試依據(jù)和規(guī)范軟件測(cè)試依據(jù)和規(guī)范 軟件測(cè)試依據(jù)和規(guī)范軟件測(cè)試依據(jù)和規(guī)范 1 軟件質(zhì)量標(biāo)準(zhǔn)軟件質(zhì)量標(biāo)準(zhǔn)2 軟件測(cè)試相關(guān)規(guī)范軟件測(cè)試相關(guān)規(guī)范3 CMM思想和結(jié)構(gòu)體系思想和結(jié)構(gòu)體系4 建立軟件測(cè)試管理和評(píng)判體系建立軟件測(cè)試管理和評(píng)判體系ISO9000ISO9000是什么是什么? ? ISO 9000 的由來(lái)的由來(lái) ISO 9000 總休思想總休思想 ISO 9000體系結(jié)構(gòu)體系結(jié)構(gòu)ISO 軟件質(zhì)量標(biāo)準(zhǔn)軟件質(zhì)量標(biāo)準(zhǔn)ISO (International Standardization Organization, 國(guó)際標(biāo)準(zhǔn)化組織) TC/176技術(shù)委員會(huì)制定的所有國(guó)際 標(biāo)

2、準(zhǔn)p 質(zhì)量保證標(biāo)準(zhǔn)（ISO9001/2/3）p 質(zhì)量管理標(biāo)準(zhǔn)（ISO9004)TC176即ISO中第176個(gè)技術(shù)委員會(huì)，成立于1980年，全稱是“質(zhì)量保證技術(shù)委員會(huì)”，1987年又更名為“質(zhì)量管理和質(zhì)量保證技術(shù)委員會(huì)”。TC176專門負(fù)責(zé)制定質(zhì)量管理和質(zhì)量保證技術(shù)的標(biāo)準(zhǔn) ISO 軟件質(zhì)量標(biāo)準(zhǔn)思想軟件質(zhì)量標(biāo)準(zhǔn)思想p 控制思想控制思想，即對(duì)產(chǎn)品形成的全過(guò)程進(jìn)行控制。任何事物都是由一個(gè)或多個(gè)過(guò)程活動(dòng)的結(jié)果，只要對(duì)產(chǎn)品形成的全過(guò)程進(jìn)行控制并達(dá)到過(guò)程質(zhì)量要求，最終產(chǎn)品的質(zhì)量就有了保證p 預(yù)防的思想預(yù)防的思想。通過(guò)對(duì)產(chǎn)品形成的全過(guò)程進(jìn)行控制以及建立并有效運(yùn)行自我完善機(jī)制達(dá)到預(yù)防不合格，從根本上減少或消除不

3、合格品ISO 軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu) ISO9001：設(shè)計(jì)/開發(fā)、生產(chǎn)、安裝和服務(wù)中質(zhì)量保證模式； ISO9002：生產(chǎn)和安裝中的質(zhì)量保證模式； ISO9003：最終檢驗(yàn)和測(cè)試中的質(zhì)量保證模式； ISO9004：質(zhì)量管理和質(zhì)量體系要素導(dǎo)則。ISO9000系列標(biāo)準(zhǔn)的主體部分分為兩組：系列標(biāo)準(zhǔn)的主體部分分為兩組：p“需方對(duì)供方要求質(zhì)量保證”的標(biāo)準(zhǔn)ISO90019003p“供方建立質(zhì)量保證體系”的標(biāo)準(zhǔn)ISO9004 ISO 軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)軟件質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)Zhu.KISO9000與與GB/T19000的關(guān)系的關(guān)系 GB/T(GB/T(國(guó)標(biāo)推薦國(guó)標(biāo)推薦) )IdtIdt( (等同于等同于)

4、) ISOISO標(biāo)準(zhǔn)標(biāo)準(zhǔn)GB/T 6583-1994idtISO 8402:1994 GB/T 19000.1-1994idtISO 9000-1:1994 GB/T 19000.2-1994idtISO 9000-2:1994 GB/T 19000.3-1994idtISO 9000-3:1994 GB/T 19001-1994idtISO 9001:1994 GB/T 19002-1994idtISO 9002:1994 GB/T 19003-1994idtISO 9003:1994 GB/T 19004.1-1994idtISO 9004-1:1994 GB/T 19004.2-1994

5、idtISO 9004-2:1991 GB/T 19004.3-1994idtISO 9004-3:1993 GB/T 19004.4-1994idtISO 9004-4:1993 GB/T 19021.1-1993idtISO 10011-1:1990 GB/T 19021.2-1993idtISO 10011-2:1991 GB/T 19021.3-1993idtISO 10011-3:1993 GB/T 19022.1-1994idtISO 10012-1:1994 Zhu.KISO9000-3 是什么是什么ISO9000-3其實(shí)是ISO質(zhì)量管理和質(zhì)量保證標(biāo)準(zhǔn)在軟件開發(fā)、供應(yīng)和維護(hù)中的使

6、用指南，并不作為質(zhì)量體系注冊(cè)/認(rèn)證時(shí)的評(píng)估準(zhǔn)則，主要考慮軟件行業(yè)的特殊性制定。參照ISO9001質(zhì)量體系 設(shè)計(jì)、開發(fā)、生產(chǎn)、安裝和服務(wù)的質(zhì)量保證模式，并引用ISO 8402質(zhì)量管理和質(zhì)量保證術(shù)語(yǔ)，使得ISO9000系列標(biāo)準(zhǔn)應(yīng)用范圍得以拓展 ISO9000-3標(biāo)準(zhǔn)標(biāo)準(zhǔn)n軟件開發(fā)、供應(yīng)、維護(hù)中應(yīng)用ISO9001的指南n是指南，不是標(biāo)準(zhǔn)n依然困惑：依然強(qiáng)調(diào)的是供應(yīng)商和顧客的關(guān)系，不是工程師該如何做ISO 9000-3 體系結(jié)構(gòu)體系結(jié)構(gòu)合同評(píng)審需方需求規(guī)格說(shuō)明開發(fā)計(jì)劃質(zhì)量計(jì)劃設(shè)計(jì)和實(shí)現(xiàn)測(cè)試和確認(rèn)驗(yàn)收復(fù)制、交付和安裝維護(hù)軟件測(cè)試規(guī)范軟件測(cè)試規(guī)范 軟件測(cè)試規(guī)范就是對(duì)軟件測(cè)試的流程過(guò)軟件測(cè)試規(guī)范就是對(duì)軟件測(cè)

7、試的流程過(guò)程化并對(duì)每一個(gè)過(guò)程元素進(jìn)行明確的界程化并對(duì)每一個(gè)過(guò)程元素進(jìn)行明確的界定，形成完整的規(guī)范體系。定，形成完整的規(guī)范體系。 完整的軟件測(cè)試規(guī)范是怎樣的完整的軟件測(cè)試規(guī)范是怎樣的規(guī)范本身的詳細(xì)說(shuō)明規(guī)范本身的詳細(xì)說(shuō)明,比如規(guī)范目的、范圍、文檔結(jié)構(gòu)、比如規(guī)范目的、范圍、文檔結(jié)構(gòu)、詞匯表、參考信息、可追溯性、方針、過(guò)程詞匯表、參考信息、可追溯性、方針、過(guò)程/規(guī)范、指規(guī)范、指南、模板、檢查表、培訓(xùn)、工具、參考資料等等。南、模板、檢查表、培訓(xùn)、工具、參考資料等等。制定測(cè)試規(guī)范需要考慮的內(nèi)容制定測(cè)試規(guī)范需要考慮的內(nèi)容 角色的確定角色的確定 進(jìn)入的準(zhǔn)則進(jìn)入的準(zhǔn)則 輸入項(xiàng)輸入項(xiàng) 活動(dòng)過(guò)程活動(dòng)過(guò)程 輸出項(xiàng)輸出

8、項(xiàng) 驗(yàn)證與確認(rèn)驗(yàn)證與確認(rèn) 退出的準(zhǔn)則退出的準(zhǔn)則 度量度量Zhu.KStartGet data to definethe testingpopulationERISABP via Mainframe DumpMM/SK via Excel DBCore via ERISA Lotus Notes DBGenerate ahardcopy censusCreate year-endpackagescustomized bymarketERISA - BPERISAReview censusERISANoNote source ofproblem on coversheet or checkshee

9、tERISAImage the censusand log imagenumbers on theExcel spreadsheetERISAAData enter census,send an electroniccopy via e-mail, andreturn the hardcopyto BP - ERISALog the hardcopycensus anddistribute them tothe ERISASpecialists fortestingBExtract data fromthe ERISAWorkstationERISA - BPBP - Account Mana

10、gement TeamCR - Case ManagersMM/SK - ERISA SpecialistsBP - ERISAReview and scrubdata in ASCADP/ACP Testing - As Is ProcessBP - ERISA SpecialistsData Entry Vendor118124153Mail year-endpackagesERISA/Marketing/VendorBP via VendorCR/MM/SK via in-houseWait forinformationfrom planInformationreceived byfol

11、low-up date?Executefollow-upletter processERISAMarketingNoLog receipt ofinformationYesERISAMissing orunreadableinformation?YesResolvable by aphone call?Call client forinformationYesReturn originalinformation to clientwith request foradditionalinformation orclarificationsNoBP - Account Management Tea

12、mCR - Case ManagersMM/SK - ERISA SpecialistsInformationobtained?Image and sendthe hardcopycensus to thevendor for dataentryBP - ERISAYesNoNoBRequest the OMNIdata on the ERISAWorkstationBP/MM/SK - ERISA SpecialistsCR - Case ManagersImport data toExcel, review andscrubBP/MM/SK - ERISA SpecialistsCR -

13、Case ManagersMM/SK - ERISA SpecialistsCR - Case ManagersImport data toASCBP/MM/SK - ERISA SpecialistsCR - Case ManagersThrough13 Through 1727Through2022Through254821264028 Through 36283738394352Through5455565760Through436570Through42647174Through64727461627579Through808182Load P-Census tothe AS400 w

14、hichautomaticallypopulates theAS400, OMNI andERISA WorkstationIT Operations83848592Through9394Data completeand accurate?YesACNoCToPage 2CMM思想和結(jié)構(gòu)體系思想和結(jié)構(gòu)體系 CMM即軟件能力成熟度模型即軟件能力成熟度模型（Capability Maturity Model）是向軟件組織提供如何增加對(duì)其開發(fā)和維護(hù)軟件過(guò)程的控制能力。設(shè)計(jì)并實(shí)施CMM是為了指導(dǎo)軟件組織：通過(guò)確定當(dāng)前過(guò)程的成熟度等級(jí)和識(shí)別出對(duì)軟件質(zhì)量和過(guò)程改進(jìn)至關(guān)重要的問(wèn)題，來(lái)選擇其過(guò)程改進(jìn)策略。通過(guò)

15、關(guān)注一組有限的活動(dòng)，并為實(shí)現(xiàn)它們而積極工作，組織能穩(wěn)步地改善其軟件過(guò)程，使其軟件過(guò)程能力持續(xù)不斷地增長(zhǎng)。CMM的歷史的歷史CMMCMM分階段的體系結(jié)構(gòu)源于己有60多年歷史的產(chǎn)品質(zhì)量原理。ITTITT的Philip CrosbyPhilip Crosby在其書“Quality is FreeQuality is Free”（Crosby 79Crosby 79）中首先提出將質(zhì)量原理改編為成熟度框架的思想。HumphreyHumphrey的成熟度框架早期版本發(fā)表在SEI技術(shù)報(bào)告（HumphreyHumphrey 87a，HumphreyHumphrey 87b）、文章（HumphreyHumphr

16、ey 88）和書“Managing the software Process”Managing the software Process”（Humphrey 89Humphrey 89）中?；诨贑MM模型的過(guò)程改進(jìn)模型的過(guò)程改進(jìn)n軟件過(guò)程改進(jìn)的方法論-IDEAL 修 改 組 織 的 方 法 記 錄 和 分 析 教 訓(xùn) 定 義 過(guò) 程 和 度 量 計(jì) 劃 及 執(zhí) 行 試 行 方 案 計(jì) 劃 ， 執(zhí) 行 和 跟 蹤 改 進(jìn) 方 案 建 立 過(guò) 程 行 動(dòng) 組 做 行 動(dòng) 計(jì) 劃 設(shè) 定 戰(zhàn) 略 和 優(yōu) 先 級(jí) 提 出 建 議 并 記 錄 階 段 成 果 評(píng) 估 當(dāng) 前 實(shí) 踐 情 況 改 進(jìn)

17、動(dòng) 機(jī) 確 定 改 進(jìn) 范 圍 以 及 獲 取 支 持 建 立 改 進(jìn) 機(jī) 制 診診 斷斷 建建 立立 行行 動(dòng)動(dòng) 學(xué)習(xí)學(xué)習(xí) 初初 始始 化化 InitiatingDiagnosingEstablishingActingLearningSix Sigma DMAIC Model1. IDENTIFY OPPORTUNITIESProcess Flow AnalysisSURVEYYES NOABCDBenchmarkingPareto Analysis2. FORM TEAM & SCOPE PROJECTIdentify Customersand RequirementsTree Diagr

18、amEstablish ProcessBoundaries3. ANALYZE CURRENT PROCESSAnalyze AvailableDataProcess Flow AnalysisCheck SheetHISTORYCHECK SHEETREPORT4. DEFINE DESIRED OUTCOMES FOR IMPROVED PROCESSDefine Performance MeasuresAgree on GoalsGOAL5. IDENTIFY ROOT CAUSES & PROPOSED SOLUTIONSWhy-Why DiagramBrainstormingProc

19、ess RedesignEFFECTCause & EffectDiagramNominal Group Technique6. PRIORITIZE, PLAN AND TEST PROPOSED SOLUTIONSDesign ofExperimentsC-C-C+C+90.0083.6777.3371.0064.6758.3352.00A-A+Level LoadingPRODUCTION DAYSABCD1 2 3 30Pull SystemPRIOROPERATIONNEXTOPERATION7. REFINE AND IMPLEMENT SOLUTIONSForce Field A

20、nalysisGANTT Chart9. ACKNOWLEDGE TEAM ANDCOMMUNICATE RESULTSTraining & ProceduresBrainstormingRECYCLE IF NECESSARY8. MEASURE PROGRESS & HOLDGAINSTrend ChartSPCREPORTTEAM RESULTSPhaseStep(s)Define 1 & 2Measure 3 & 4Analyze 5Improve 6 & 7Control 8 & 9流程改進(jìn)模型流程改進(jìn)模型PDCA CyclePlan: What you want to accomp

21、lish over a period of time; What you might do, or need to do to get the goalsDo: What you planned on doingStart on small scaleCheck: The results of what you did to see if the objective was achievedAct: On the informationIf the result is successful, standardize the planIf not successful, continue in

22、the cycle to plan for further improvementEvaluationNo perfect plan, do FirstDoing is not enough, how about its results?If has problem, how to correct it?Then new & improved planCMM的五個(gè)等級(jí)的五個(gè)等級(jí)Adapted from SEI-93-TR-24DisciplinedProcessRepeatable(2)Project Mgmt system in place, performance repeatableSt

23、andard,consistentprocessDefined(3)SW Engr & Mgmt processes defined & integratedPredictableprocessManaged(4)Product & processes quantitatively controlledContinuouslyimprovingprocessOptimizing(5)Process improvement institutionalizedInitial(1)Process is informal and unpredictableCMM的五個(gè)等級(jí)及關(guān)鍵過(guò)程域的五個(gè)等級(jí)及關(guān)鍵過(guò)

24、程域 (二二)22不同成熟度的項(xiàng)目結(jié)果不同成熟度的項(xiàng)目結(jié)果ProbabilityTime / $ / .4Based on quantitative understanding of process and product, performance continues to improveTargetProbabilityTime / $ / .3With well-defined processes, performance improvesTargetProbabilityTime / $ / .2Plans based on past performance are more reali

25、sticTargetAdapted from SEI-93-TR-24ProbabilityTime / $ / .1Schedules and cost targets are typically overrunTargetProbabilityTime / $ / .5TargetPerformance continuously improvesDistribution of actual outcomesTarget is the initial estimated objective for a critical project parameter (e.g., cost, deliv

26、ery date, defect counts)關(guān)鍵過(guò)程域關(guān)鍵過(guò)程域(Key Areas)過(guò)程更改管理過(guò)程更改管理* *技術(shù)更改管理技術(shù)更改管理* *錯(cuò)誤預(yù)防錯(cuò)誤預(yù)防*質(zhì)量管理質(zhì)量管理* *過(guò)程量化管理過(guò)程量化管理*同級(jí)評(píng)審?fù)?jí)評(píng)審* *組間協(xié)作組間協(xié)作軟件產(chǎn)品工程軟件產(chǎn)品工程* *軟件集成管理軟件集成管理* *培訓(xùn)計(jì)劃培訓(xùn)計(jì)劃軟件過(guò)程定義軟件過(guò)程定義* *軟件過(guò)程要點(diǎn)軟件過(guò)程要點(diǎn)* *軟件配置管理軟件配置管理軟件質(zhì)量保證軟件質(zhì)量保證軟件子合同管理軟件子合同管理軟件項(xiàng)目追蹤與監(jiān)控軟件項(xiàng)目追蹤與監(jiān)控* *軟件項(xiàng)目規(guī)劃軟件項(xiàng)目規(guī)劃* *需求管理需求管理II-可重復(fù)級(jí)可重復(fù)級(jí)III-已定義級(jí)已定義級(jí)

27、IV-已管理級(jí)已管理級(jí)V-優(yōu)化級(jí)優(yōu)化級(jí)CMM的五個(gè)等級(jí)及關(guān)鍵過(guò)程域的五個(gè)等級(jí)及關(guān)鍵過(guò)程域 (三三)個(gè)體軟件過(guò)程個(gè)體軟件過(guò)程PSP的演化的演化個(gè)體管理基線個(gè)體管理基線PSP0并行過(guò)程并行過(guò)程工作時(shí)間記錄工作時(shí)間記錄程序差錯(cuò)記錄程序差錯(cuò)記錄程序差錯(cuò)類型標(biāo)準(zhǔn)程序差錯(cuò)類型標(biāo)準(zhǔn)個(gè)體過(guò)程循環(huán)個(gè)體過(guò)程循環(huán)PSP3循環(huán)開發(fā)循環(huán)開發(fā)個(gè)體規(guī)劃過(guò)程個(gè)體規(guī)劃過(guò)程PSP1程序規(guī)模估計(jì)程序規(guī)模估計(jì)測(cè)試報(bào)告測(cè)試報(bào)告?zhèn)€體質(zhì)量管理個(gè)體質(zhì)量管理PSP2編碼評(píng)審編碼評(píng)審設(shè)計(jì)評(píng)審設(shè)計(jì)評(píng)審PSP1.1任務(wù)規(guī)劃任務(wù)規(guī)劃進(jìn)度安排進(jìn)度安排PSP2.1設(shè)計(jì)模板設(shè)計(jì)模板PSP0.1編碼標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)軟件規(guī)模度量軟件規(guī)模度量過(guò)程改善建議過(guò)程改善建議

28、PSP 流程流程TSP流程流程PSP-TSPPSP-TSP-CMMCMM、PSP和和TSP組成的軟件過(guò)程框架組成的軟件過(guò)程框架CMMPSPTSP原則原則技能技能費(fèi)用費(fèi)用期限期限組織級(jí)能力組織級(jí)能力高質(zhì)量的產(chǎn)品高質(zhì)量的產(chǎn)品個(gè)人的技能個(gè)人的技能建立建立生產(chǎn)并交付生產(chǎn)并交付建立建立ISO9000與與CMM的關(guān)系的關(guān)系nISO9000相當(dāng)于CMM二級(jí)和三級(jí)的一部分內(nèi)容(有人稱為2.5級(jí))nCMM和ISO9000認(rèn)證本身沒(méi)有優(yōu)劣之分nCMM是一個(gè)動(dòng)態(tài)的過(guò)程n對(duì)于預(yù)算、項(xiàng)目周期管理等ISO9000涉及不夠的內(nèi)容，CMM有所覆蓋ISO9000與與CMM的區(qū)別的區(qū)別nISO9001是通用的國(guó)際標(biāo)準(zhǔn),適用于各類組織。nCMM是美國(guó)軍方為評(píng)價(jià)軟件供應(yīng)商的質(zhì)量水平,委托SEI開發(fā)的一個(gè)評(píng)價(jià)模型,只用于軟件業(yè)。nCMM更詳細(xì),更專業(yè)。