测试设计方法诠释

一、边界值设计方法A、定义：边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法，边界值分析将一定程度的异常测试加入；通常边界值分析法是作为对等价类划分法的补充，这种情况下，其测试用例来自等价类的边界。B、什么情况下用：属于基本测试设计方法，经验表明，大量的错误是发生在输入或输出范围的边界上，而不是发生在输入输出范围的内部。C、具体方法：最大数、最小数、比最大数多1、比最小数少1、中间数做为测试数据；常见的边界值1、对16-bit 的整数而言 32767 和 -32768 是边界2、屏幕上光标在最左上、最右下位置3、报表的第一行和最后一行4、数组元素的第一个和最后一个5、循环的第 0 次、第 1 次和倒数第 2 次、最后一次6、边界类型：数字、字符、位置、重量、大小、速度、方位、尺寸、空间等，以上类型的边界值应该在：最大/最小、首位/末位、上/下、最快/最慢、最高/最低、最短/最长、 空/满等外部边界值(页面可见)数据边界值连接大小、超时时间、重量、大小、速度、尺寸等字符边界值名称、描述、字符、位置、方位、空间等内部边界值(程序内部)长度边界值针对URL有分析和处理时，需覆盖URL长度最大值测试例子：网上问题6107：OA页面存在一个超长的图片，共666个字节导致程序处理崩溃；尝试次数边界值基本方边界基本方最小值、最小值-1、中间值、最大值、最大值+1；包括最大/最小、首位/末位、上/下、最快/最慢、最高/最低、最短/最长、空/满等二、容量类设计方法A、定义：重点关注数据量，容量类设计方法其实应该是边界值的一种：最大值，但还是有一些区别，比如引用、组合等，另外由于产品线容量类出现的问题较多，所有把容量类单独梳理出来，形成一种设计方法；B、什么情况下用：容量类型需分析，包括内部、外部、组合、合并后容量；C、具体方法：基本的测试设计方法，数据量情况验证最后一条、中间某一条的业务访问；容量方式最大容量单个项的最大容量，IP组的最大个数为200个；每个IP组中的IP个数最大为200个单一容量IP组的最大个数为200个；单一IP组中的IP个数最大为200个引用容量最大IP组中最大的IP个数为: 最大IP组数200个*每组最大IP个数200个=40000组合容量名称、描述、规则、参数、各个选项都满配的情况容量类型外部容量可以从页面看到的容量测试：比如规则、配置项等内部容量主要从内部程序和逻辑实现来看：比如哈希、连接数、超时时间、尝试次数等；如：IP组配置满配时，首先进行相交IP合并，最终下发到驱动中的不是真正的满配基本方容量基本方要验证最后一条、中间某一条的业务访问；二、等价类设计方法A、定义：把所有可能的输入数据,即程序的输入域划分成若干部分，然后从每一个子集中选取少数具有代表性的数据，也可以叫做域分析法；输出域分析法在逻辑法中体现。所以分为有效等价类、无效等价类，因为软件不仅要能接收合理的数据，也要能经受意外的考验。B、什么情况下用：数据等价、输入等价、类型等价，协议等价等等；专科、本科、硕士、博士算有效等价，成教算无效等价类；C、具体方法：划分为互不相交的一组子集，而子集合并是整个集合；子集互不相交：保证无冗余性；划分依据基于类型划分基于不同类型的划分，如:TCP、UDP、ICMP、ALL；不同的兼容性覆盖、浏览器覆盖基于输入内容输入内容的不同进行划分，如:文字、字母、数字有效等价类(支持类)例子：用户名范围为1-95字节的英文字母，有效等价类为1-95间的英文大小写字母；无效等价类(非支持类)例子：无效等价类为直接提交、大于95字节的英文字母；处于1-95字节的非英文字母，如:汉字、数字等四、错误推测方法A、定义：基于经验和直觉推测程序中所有可能存在的各种错误，从而有针对性的设计测试用例的方法，类似我们的设计经验库；B、什么情况下用：通过方法设计用例，通过经验补充用例；C、具体方法：用等价分类法和边界值分析法设计过测试用例的基础上，用猜错法补充一些测试用例，例如：文件上传和下载要覆盖4G和4G以上文件；针对规则页面要做容量限制，并给出提示信息；例子：设备上架后内网有一个网段武断无法访问外网，区域接口容量未做限制涉及到下发规则、客户端操作，必须各个选项和小功能满配下发最大规则容量测试；同时需考虑页面和后台的效率；例子：网上问题4444：通过SG3.0r1防火墙规则不生效；网上问题4465：win7客户端产生了150*255=38250条路由规则导致CPU占用100%；当上传和下载文件时要检查MD5。例子：下载的文件和传输前文件不一样；验证页面各选项默认显示和提示信息时，检查前需删除IE缓存进行检查：语言描述准确，无错别字、提示提示与实际事实一致；例子：初始化状态时显示的提示信息错误；模块的配置文件、调试日志、临时生成文件的存放位置需做检查，比如：配置文件要入到/etc目录下；例子：网上问题4201：DB2的部分配置放在/var目录下，设备重启后/var下的配置丢失，从而导致用户同步失败。各模块在测试过程中要关注服务日志和管理日志要需满足日志规范，且日志显示正确，并有用例覆盖；例子：ACT:39134 系统日志中有邮件告警的日志，且日志显示不正确下载和上传数据一段时间后，查看数据传输过程中是否会出现抖动，比如流控、上网加速、单边加速等模块；例子：WCCBUG：11720：wanacc6.0b2流缓存：关闭file_cache后，传输cifs二次流缓存有较大的抖动现象排序要覆盖单列、多列排序，排序后结果要检查某一个行数据准确性，保证排序后数据准确性不受影响；例子：第一次采用流量排序，第二次采用IP排序，导致每行数据对应错误；五、正交设计方法A、定义：正交设计方法：主要解决多个变化因子，多个变化参数的测试设计方法，科学的提高用例覆盖率和效率。就是从大量的实验中选择住有代表性的、适量的点，合理的安排实验，正交试验法是一种用来测试组合的方法，所谓正交试验法，就是从大量的试验点中挑选出适量的，有代表性的点，合理的安排试验。对任意多个因素取值组合实施“等概率”覆盖，以便我们得到的实验样本均匀的分布在样本空间。有时因子和参数比较多时，可以给因子和参数定权重，使最后生成的测试用例集缩减到我们可以接受的范围；组合设计方法：就是确保每一个参数的每一个值只需要和其他参数至少配对一次；组合分析利于快速的生成测试用例，不需要对测试对象有深刻的了解，每个参数的重要性、权重等。尤其对规则类、覆盖类(多样性覆盖)、配置类、选项类效果最好；B、什么情况下用：规则内参数、配置参数、设置参数、数据查询等；C、具体方法：例子：假设一个web站点，有大量的服务器和操作系统，并支持多种浏览器，如下所示，纵向是Web站点所有因子，横向是每一个因子的状态；比如单边加速；正常覆盖要用3*2*3*3=54个用例覆盖；因子因子的状态Web浏览器IE8.0FireFox3.6Opera10插件ReadPlayerMediaPlayer应用服务器IISApacheWeblogic操作系统Windows2000Windows NTLinux从上面标个可以看出，各个因子的不同状态之间存在着组合的关系，上面的表格是4因子，三状态，因此使用4因子3状态正交表：可以看到，在上面的正交表中，不同因子的每一个状态有组合了两次，且没有任何重复，这就是正交表的数学算法，在一定程度上节省了测试用例的数量。Web浏览器插件应用服务器操作系统FireFox3.6ReadPlayerWeblogicWindows2000Opera10MediaPlayerIISWindows NTOpera10ReadPlayerApacheWindows2000IE8.0MediaPlayerWeblogicLinuxIE8.0ReadPlayerApacheWindows NTFireFox3.6MediaPlayerWeblogicWindows NTFireFox3.6ReadPlayerIISLinuxFireFox3.6MediaPlayerApacheLinuxOpera10MediaPlayerWeblogicLinuxIE8.0MediaPlayerIISWindows2000Allpairs 组合：Web浏览器插件应用服务器操作系统IE8.0ReadPlayerIISWindows2000IE8.0MediaPlayerApacheWindows NTIE8.0无WeblogicLinuxFireFox3.6ReadPlayerLinuxLinuxFireFox3.6MediaPlayerIISWindows2000FireFox3.6无IISWindows NTOpera10ReadPlayerWeblogicWindows NTOpera10MediaPlayerIISLinuxOpera10无ApacheWindows2000FireFox3.6MediaPlayerWeblogicWindows2000AP防火墙ACL模块：源和目的用户发起用户接收服务服务组自定义服务预定义服务Any时间组Always时间组动作允许拒绝丢包流量优先级高中低组合法：得到14个用例；源和目的服务时间组动作流量优先级用户发起AnyAlways允许中用户接收服务组时间组丢包高用户接收自定义服务Always拒绝高用户发起Any时间组拒绝低用户接收服务组Always允许低用户发起AnyAlways丢包高用户发起预定义服务时间组允许高用户接收预定义服务Always拒绝中用户发起自定义服务时间组丢包低用户发起预定义服务时间组丢包中用户发起服务组时间组拒绝中用户接收预定义服务Always允许低用户发起自定义服务时间组允许中用户接收AnyAlways拒绝低正交表：L16_4_5正交表， 得到如下： 二点法：采用相邻两两组合的方式进行覆盖，要确保所有线路全覆盖，也可以有效减少用例数量，各位也可以试用。六、匹配方法A、定义：用正交和组合设计方法可以覆盖各种参数，但不能覆盖规则与规则的匹配测试，由于公司产品线的特性，匹配出现的问题比较多，匹配方法重点是多规则的匹配和配合。B、什么情况下用：涉及到规则测试的模块C、具体方法：首先要分析规则下发逻辑，是单独下发，还是合并下发，找到关键切入点，匹配方法采用空间数据处理而来。同时要关注多规则的匹配，因为从用户场景收集来看，客户的规则和策略配置很复杂，针对不同的IP，不同的组，不同的应用，等都配置了，而我们内部的测试