第七讲验收测试.ppt

软件测试方法和技术软件测试方法和技术第第7章章 验收验收测试测试顾进广顾进广, Ph.D., Professorsimon@企业信息系统与语义Web研究室ONTOWEB@WUST第6章回顾①① 系统集成的模式和方法系统集成的模式和方法②② 功能测试与回归测试功能测试与回归测试③③性能测试、压力测试、容量测试性能测试、压力测试、容量测试④④ 安全性安全性⑤⑤ 可靠性测试可靠性测试⑥⑥容错性测试容错性测试企业信息系统与语义Web研究室ONTOWEB@WUST第7章 验收测试7.1 验收测试的过程和主要内容7.2 产品规格说明书的验证7.3 用户界面和可用性测试7.4 兼容性测试7.5 可安装性和可恢复性测试7.6 文档测试企业信息系统与语义Web研究室ONTOWEB@WUST什么是验收测试什么是验收测试验收测试验收测试(Acceptance Test):在软件产品完成了功能测试在软件产品完成了功能测试和系统测试之后、产品发布之前所进行的软件测试活动和系统测试之后、产品发布之前所进行的软件测试活动它是技术测试的最后一个阶段它是技术测试的最后一个阶段,也称为交付测试也称为交付测试 企业信息系统与语义Web研究室ONTOWEB@WUST7.1 7.1 验收测试的过程和主要内容验收测试的过程和主要内容前提前提: : 系统或软件产品已通过了系统测试的软件系统。

系统或软件产品已通过了系统测试的软件系统测试内容测试内容: :验证系统是否达到了用户需求规格说明书（可能包括项验证系统是否达到了用户需求规格说明书（可能包括项目或产品验收准则）中的要求，测试试图尽可能地发现目或产品验收准则）中的要求，测试试图尽可能地发现软件中存留的缺陷，从而为软件进一步改善提供帮助，软件中存留的缺陷，从而为软件进一步改善提供帮助，并保证系统或软件产品最终被用户接受主要包括易用并保证系统或软件产品最终被用户接受主要包括易用性测试、兼容性测试、安装测试、文档（如用户手册、性测试、兼容性测试、安装测试、文档（如用户手册、操作手册等）测试等几个方面的内容操作手册等）测试等几个方面的内容 企业信息系统与语义Web研究室ONTOWEB@WUST测试步骤测试步骤n制定测试计划，测试项，测试策略及验收通过准则，制定测试计划，测试项，测试策略及验收通过准则，并经过客户参与的计划评审并经过客户参与的计划评审n建立测试环境，设计测试用例，并经过评审建立测试环境，设计测试用例，并经过评审n准备测试数据，执行测试用例，记录测试结果准备测试数据，执行测试用例，记录测试结果n分析测试结果，根据验收通过准则分析测试结果，作分析测试结果，根据验收通过准则分析测试结果，作出验收是否通过及测试评价。

出验收是否通过及测试评价l测试项目通过；测试项目通过；l测试项目没有通过，并且不存在变通方法，需要很大的修改；测试项目没有通过，并且不存在变通方法，需要很大的修改；l测试项目没有通过，但存在变通方法，在维护后期或下一个版本改进；测试项目没有通过，但存在变通方法，在维护后期或下一个版本改进；l测试项目无法评估或者无法给出完整的评估此时必须给出原因如果测试项目无法评估或者无法给出完整的评估此时必须给出原因如果是因为该测试项目没有说明清楚，应该修改测试计划是因为该测试项目没有说明清楚，应该修改测试计划 n提交测试报告提交测试报告企业信息系统与语义Web研究室ONTOWEB@WUST验收标准和注意事项验收标准和注意事项验收测试完成标准验收测试完成标准:n完全执行了验收测试计划中的每个测试用例完全执行了验收测试计划中的每个测试用例n在验收测试中发现的错误已经得到修改并且通过了在验收测试中发现的错误已经得到修改并且通过了测试或者经过评估留待下一版本中修改测试或者经过评估留待下一版本中修改 n完成软件验收测试报告完成软件验收测试报告注意事项注意事项：：n必须编写正式的、单独的验收测试报告必须编写正式的、单独的验收测试报告n验收测试必须在实际用户运行环境中进行验收测试必须在实际用户运行环境中进行n由用户和测试部门共同执行。

如公司自开发产品，应由用户和测试部门共同执行如公司自开发产品，应由测试人员，产品设计部门，市场部门等共同进行由测试人员，产品设计部门，市场部门等共同进行企业信息系统与语义Web研究室ONTOWEB@WUST7.2 产品规格说明书的验证产品规格说明书的验证产品规格说明书的审核产品规格说明书的审核n 从客户的角度和立场进行审核工作从客户的角度和立场进行审核工作n 检验套用标准的正确性，不要和行业规范相抵触检验套用标准的正确性，不要和行业规范相抵触n 审查、研究同类产品审查、研究同类产品n 验证产品规格说明书的完整性、准确性、一致性、合理性等验证产品规格说明书的完整性、准确性、一致性、合理性等特性产品规格说明书的验证产品规格说明书的验证n 已经实现的特性标识为通过已经实现的特性标识为通过n 特性没有实现特性没有实现,报告报告bug并在报告中体现并在报告中体现n 特性基本实现特性基本实现,但与产品说明书内容不一致但与产品说明书内容不一致,报报bug并在报告中并在报告中体现n 特性基本实现特性基本实现,但存在一些问题或错误但存在一些问题或错误企业信息系统与语义Web研究室ONTOWEB@WUST什么是适用性什么是适用性( usability)?pp Easy to discover Easy to discoverpp Easy to learn Easy to learnpp Easy to use Easy to usepp Availability Availability企业信息系统与语义Web研究室ONTOWEB@WUSTMicrosoft的适用性测试的适用性测试-180 适用性测试工程师适用性测试工程师- 25 适用性测试实验室适用性测试实验室企业信息系统与语义Web研究室ONTOWEB@WUST7.3 用户界面和可用性测试用户界面和可用性测试用户界面的用户界面的7个要素个要素:n 符合标准和规范。

符合标准和规范n 直观性n 一致性n 灵活性n 舒适性n 正确性n 实用性易用性测试没有具体量化的指标，主观性较强易用性测试没有具体量化的指标，主观性较强企业信息系统与语义Web研究室ONTOWEB@WUST符合标准和规范符合标准和规范通常标准是已经确立的，多数用户已经熟悉并接受了这些通常标准是已经确立的，多数用户已经熟悉并接受了这些标准和规范、或已经认同了这些信息所代表的意义标准和规范、或已经认同了这些信息所代表的意义例：例：如果软件在某一个平台上运行，就需要把该平台的标准和如果软件在某一个平台上运行，就需要把该平台的标准和规范作为产品规格说明书的补充内容，在建立测试案例时规范作为产品规格说明书的补充内容，在建立测试案例时和产品规格说明书一样作为依据和产品规格说明书一样作为依据 企业信息系统与语义Web研究室ONTOWEB@WUST直观性和一致性直观性和一致性直观性直观性：：- 首先了解所需的功能或期待的响应应该明显，并在预期的首先了解所需的功能或期待的响应应该明显，并在预期的地方出现地方出现 其次要考虑用户界面的组织和布局是否合理其次要考虑用户界面的组织和布局是否合理一致性一致性：：- 包括软件本身的一致性，以及软件与其他软件的一致性包括软件本身的一致性，以及软件与其他软件的一致性。

企业信息系统与语义Web研究室ONTOWEB@WUST直观性例子直观性例子企业信息系统与语义Web研究室ONTOWEB@WUST灵活性灵活性用户喜欢可以灵活选择的软件，软件可以选择不同的状态用户喜欢可以灵活选择的软件，软件可以选择不同的状态和方式，完成相应的功能但灵活性也可能发展为复杂性，和方式，完成相应的功能但灵活性也可能发展为复杂性，太多的状态和方式的选择增加的不仅仅是用户理解和掌握太多的状态和方式的选择增加的不仅仅是用户理解和掌握的困难程度多种状态之间的转换，增加了编程的难度，的困难程度多种状态之间的转换，增加了编程的难度，更增加了软件测试人员的工作量更增加了软件测试人员的工作量例：例：企业信息系统与语义Web研究室ONTOWEB@WUST舒适性、正确性、实用性舒适性、正确性、实用性舒适性舒适性：：       恰当的表现、合理的安排、必要的提示或更正能力等是要考虑恰当的表现、合理的安排、必要的提示或更正能力等是要考虑的因素，包括容错处理和性能的因素，包括容错处理和性能正确性正确性：：        正确性的问题一般都很明显，比较容易发现正确性的问题一般都很明显，比较容易发现。

实用性实用性：：        实用性不是指的是软件本身是否实用，而仅仅指的是具体特性实用性不是指的是软件本身是否实用，而仅仅指的是具体特性是否实用大型软件的开发或周期较长经过几次反复的软件开发中是否实用大型软件的开发或周期较长经过几次反复的软件开发中容易产生一些没有实用性的功能容易产生一些没有实用性的功能 企业信息系统与语义Web研究室ONTOWEB@WUST舒适性例子舒适性例子企业信息系统与语义Web研究室ONTOWEB@WUST简单性简单性• • 1-click1-click• • Next Next  Next Next  Next … Next …企业信息系统与语义Web研究室ONTOWEB@WUST7.4 兼容性测试兼容性测试软件兼容性测试是指验证软件之间是否正确地交软件兼容性测试是指验证软件之间是否正确地交互和共享信息互和共享信息 注意：注意：从项目管理的角度出发，使平台清单在满足客户要求的前从项目管理的角度出发，使平台清单在满足客户要求的前提下尽可能的小是十分重要的，否则将会给编码和测试带来巨大的工提下尽可能的小是十分重要的，否则将会给编码和测试带来巨大的工作量。

作量 兼容性包括：兼容性包括：n 硬件兼容硬件兼容n 软件之间兼容软件之间兼容n 数据之间兼容数据之间兼容企业信息系统与语义Web研究室ONTOWEB@WUST向前和向后兼容向前和向后兼容n  向后兼容是指可以使用软件的以前版本向后兼容是指可以使用软件的以前版本n  向前兼容指的是可以使用软件的未来版本向前兼容指的是可以使用软件的未来版本 企业信息系统与语义Web研究室ONTOWEB@WUSTFigure 9.1Word EditorFrom Company U Running on Operating System WWord EditorFrom Company C Running on Operating System LSpreadsheetFrom Company L Running on Operating System NFile Import/ExportNetwork Import/ExportFile Load/SaveCut, Copy, PasteBackup企业信息系统与语义Web研究室ONTOWEB@WUSTBackward & forward compatibleData.docWord 98 running on Win98Word 2003 running on Windows XPForward CompatibilityBackward CompatibilityXXX running on OS 2005Word 2000 running onWindows 2KWord running on Win NTWord 95/97 running on Win95/97Data.RTFData.RTFData.txtData.txtToolsToolsMust doMust doHad better designHad better designLoad old dataLoad old dataImport old dataImport old dataExchange new dataExchange new data企业信息系统与语义Web研究室ONTOWEB@WUSTImpact of testing Multiple versionsNew Computing Platform 2005Painting and Drawing ProgramsDatabaseWord ProcessorsSpreadsheetProgramsGamesEducational ProgramsCompatibility testPopularity: Popularity: Top 100 or 1000 based on sales dadaAge: Age: <3-year oldType: Type: break into types: DB, Word, Graph, … ManufacturerManufacturerCriteria to Criteria to Choose programsChoose programs企业信息系统与语义Web研究室ONTOWEB@WUST多版本的测试多版本的测试一个庞大而又艰巨的任务，需要对所有可能的软一个庞大而又艰巨的任务，需要对所有可能的软件组合等价分配，验证软件之间正确交互的最件组合等价分配，验证软件之间正确交互的最小有效集合。

小有效集合 通常我们的做法是：通常我们的做法是：n  将软件分类例如：字处理，电子表格，数据库，图将软件分类例如：字处理，电子表格，数据库，图形处理，游戏等从每种类型中选择部分测试软件形处理，游戏等从每种类型中选择部分测试软件n  按软件的流行程度选择较流行的软件按软件的流行程度选择较流行的软件n  按年份，选取一定年份内的程序和版本按年份，选取一定年份内的程序和版本企业信息系统与语义Web研究室ONTOWEB@WUST例例: 设计测试矩阵表设计测试矩阵表每一个浏览器和版本支持的特性上都有细微的差别，在不每一个浏览器和版本支持的特性上都有细微的差别，在不同的操作系统上表现也有所不同同的操作系统上表现也有所不同 PCUnix/MacWin98 WinME WinNT Win2000Solaris HP-UX OS IXOS XIE5√√IE5.5√√√IE6√√√NS4.7√√√√NS6.0√√…企业信息系统与语义Web研究室ONTOWEB@WUST7.5 可安装性和可恢复性测试可安装性和可恢复性测试可安装性测试可安装性测试:n  系统软件安装系统软件安装n  应用软件安装应用软件安装n  服务器的安装服务器的安装n  客户端的安装客户端的安装n  产品升级安装产品升级安装n  等等等等企业信息系统与语义Web研究室ONTOWEB@WUST可安装性测试可安装性测试安装测试注意事项安装测试注意事项:n  是否需要专业人员安装。

是否需要专业人员安装n  安装说明书有无对安装环境做限制和要求安装说明书有无对安装环境做限制和要求n  过程是否简单、易掌握过程是否简单、易掌握n  过程中是否有明显的、合理的提示信息过程中是否有明显的、合理的提示信息n  是否会出现不可预见或不可修复的错误是否会出现不可预见或不可修复的错误n  安装程序是否占用系统资源与原系统冲突，是否会影安装程序是否占用系统资源与原系统冲突，是否会影响原系统安全性响原系统安全性n  软件安装的完整性和灵活性软件安装的完整性和灵活性n  许可证号码与注册号码的验证许可证号码与注册号码的验证n  升级安装后原有程序是否可正常运行升级安装后原有程序是否可正常运行n  卸载测试卸载测试企业信息系统与语义Web研究室ONTOWEB@WUST可恢复性测试可恢复性测试n  恢复测试主要检查系统的容错能力当系统出恢复测试主要检查系统的容错能力当系统出错时，能否在指定时间间隔内修正错误或重新启错时，能否在指定时间间隔内修正错误或重新启动系统n  恢复测试首先要通过各种手段，让软件强制性恢复测试首先要通过各种手段，让软件强制性地发生故障，然后验证系统是否能尽快恢复地发生故障，然后验证系统是否能尽快恢复。

p  对于自动恢复需验证重新初始化、检查点、数据恢对于自动恢复需验证重新初始化、检查点、数据恢复和重新启动等机制的正确性；复和重新启动等机制的正确性；p  对于人工干预的恢复系统，还需估测平均修复时间，对于人工干预的恢复系统，还需估测平均修复时间，确定其是否在可接受的范围内确定其是否在可接受的范围内企业信息系统与语义Web研究室ONTOWEB@WUST7.6 文档测试文档测试软件文档已成为软件的一个重要组成部分，而且软件文档已成为软件的一个重要组成部分，而且种类繁多，对文档的测试也变得必不可少种类繁多，对文档的测试也变得必不可少 n  文档的种类文档的种类p  联机帮助文档或用户手册；联机帮助文档或用户手册；p  指南和向导；指南和向导；p  安装、设置指南；安装、设置指南；p  示例及模板；示例及模板；p  错误提示信息；错误提示信息；p  用于演示的图像和声音；用于演示的图像和声音；p  授权授权/注册登记表及用户许可协议；注册登记表及用户许可协议；p  软件的包装、广告宣传材料；软件的包装、广告宣传材料；p  等等企业信息系统与语义Web研究室ONTOWEB@WUST怎样进行文档测试怎样进行文档测试好的文档能达到提高易用性、提高可靠性、降低技术支持好的文档能达到提高易用性、提高可靠性、降低技术支持的费用的目的，从而提高了产品的整体质量。

的费用的目的，从而提高了产品的整体质量 非代码的文档测试主要检查文档的正确性、完备性和可理非代码的文档测试主要检查文档的正确性、完备性和可理解性p验证正确性验证正确性p验证完备性验证完备性p验证可理解性验证可理解性软件驱动的文档还得像程序一样运行起来测试软件驱动的文档还得像程序一样运行起来测试 企业信息系统与语义Web研究室ONTOWEB@WUST验收测试报告和用户验收测试验收测试报告和用户验收测试α测试是指软件开发公司组织内部人员模拟各类用户行对即测试是指软件开发公司组织内部人员模拟各类用户行对即将面市软件产品（称为将面市软件产品（称为α版本）进行测试，试图发现错误并版本）进行测试，试图发现错误并修正经过经过α测试调整的软件产品称为测试调整的软件产品称为β版本紧随其后的版本紧随其后的β测试测试是指软件开发公司组织各方面的典型用户在日常工作中实是指软件开发公司组织各方面的典型用户在日常工作中实际使用际使用β版本，并要求用户报告异常情况、提出批评意见版本，并要求用户报告异常情况、提出批评意见然后软件开发公司再对然后软件开发公司再对β版本进行改错和完善版本进行改错和完善验收测试报告，也称为发布报告（验收测试报告，也称为发布报告（Release Report）） 企业信息系统与语义Web研究室ONTOWEB@WUSTQ & A。